La question
Un benchmark statique mesure un agent sur un jeu de tests figé, en labo. En production, l'agent rencontre des entrées qu'aucun test n'avait prévues, et ses pires défaillances sont souvent silencieuses — il répond avec aplomb une chose fausse, et personne ne le voit. Comment noter ça, en continu, sans terrain de vérité ?
Le socle est là — l'éval, non
L'observabilité, elle, est mûre : événements de monitoring, KPIs auto-décrits (chaque métrique porte son label et son unité), journal d'audit append-only, historique avec sparklines. C'est la fondation sur laquelle on construit. Mais mesurer un débit ou un solde n'est pas juger un agent.
Les premiers pas
Des juges LLM qui notent les sorties ; des évals de mémoire (axe 03) — qui nous ont surtout appris à nous méfier de nos propres métriques.
Ce qui reste ouvert
Le cœur de l'axe, encore non résolu : des juges silencieux qui notent en continu en prod, une cartographie des défaillances qui passent inaperçues, une éval qui ne soit pas un benchmark figé déconnecté du réel. C'est la question qu'on garde ouverte le plus longtemps — d'où le statut exploratoire.