Évaluer un agent consiste à lui donner des tâches et à examiner ses résultats avec des critères précis. Un score résume cette évaluation. Il faut lire les tâches et les réglages avant de conclure sur ses capacités.
Comprendre le mécanisme
Comparer des parcours avec une règle de réussite
Une évaluation prépare des tâches et définit comment juger leurs résultats. Un contrôleur peut comparer une réponse attendue, vérifier un format ou appliquer une grille. Les scores sont ensuite regroupés pour résumer le test.
Une équipe pourrait préparer dix dossiers fictifs, dont certains sont incomplets. Elle donnerait les mêmes tâches aux assistants comparés et garderait les réglages du test. Une relecture examinerait les dossiers réussis, les erreurs et les interventions nécessaires avant de discuter le score global.
Note du test et travail réel
Une note décrit les cas évalués avec leurs critères. Elle ne démontre pas la réussite sur toutes les situations absentes du test.
Dans un projet
Comparer des assistants sur les mêmes tâches
Une équipe peut demander à plusieurs assistants de traiter les mêmes dossiers avec des critères communs. Elle examine les réussites, les erreurs et les conditions du test. Un score seul ne décrit pas toutes les situations de travail.
Vous fournissez
Dossiers fictifs, résultats attendus et grille commune de contrôle.
Vous contrôlez le résultat
Scores par cas, erreurs décrites et synthèse à interpréter.
Exemple fictif. Il illustre un usage, sans résultat mesuré.
Les points à vérifier
Lisez les tâches, les réglages, les coûts et les erreurs avant de choisir un outil.
Tâches réussiesCompter les dossiers entièrement conformes, sans masquer les cas incomplets.
Limites respectéesCompter les actions non autorisées proposées ou effectuées dans la simulation.
Effort de contrôleMesurer la relecture et les corrections nécessaires pour chaque parcours.
AWS décrit une architecture où un agent choisit entre plusieurs bases documentaires, recommence sa recherche si besoin et produit une réponse citée. Des tableaux de bord suivent ses appels, ses délais et la fidélité de ses réponses.
DisponibleTarif à vérifier
Accès
Architecture et tutoriel disponibles
À prévoir
Compte AWS et région compatible. Managed Knowledge Base, AgenticRetrieveStream, AgentCore, CloudWatch et X-Ray mobilisent plusieurs services facturables.
Un outil MCP (protocole reliant un assistant à ses outils) applique des évaluateurs enregistrés à des observations existantes et regroupe leurs résultats sous un même identifiant.
Préversion / accès anticipéTarif à vérifier
Accès
Fonction disponible sous conditions
À prévoir
Réglage de préversion et permissions nécessaires. Évaluations potentiellement facturées,fenêtre historique selon forfait.
L’institut britannique AISI analyse un incident de juillet où un modèle a tenté une attaque hors périmètre. Ses expériences distinguent ce que le modèle déclare de ce qu’il fait.
Recherche publiéeTarif à vérifier
Accès
Analyse de sécurité publiée
À prévoir
Billet public et rapport technique associé. Aucun produit ni accès disponible.
StateTrack-Bench mesure si un modèle continue d’appliquer une contrainte au fil d’un dialogue. Le protocole sépare la capacité à rappeler la règle de son respect dans la réponse.
Recherche publiéeTarif à vérifier
Accès
Recherche diffusée
À prévoir
Prépublication publique et code annoncé. Aucun service ni tarif.
Des chercheurs évaluent si l’usage d’une mémoire personnelle produit une réponse réellement préférée. Leur modèle de récompense combine qualité générale et pertinence du souvenir.
Recherche publiéeTarif à vérifier
Accès
Recherche diffusée
À prévoir
Prépublication publique. Aucun produit disponible ni tarif.
METR et Redwood Research publient les résultats publics d’un exercice mené avec un accès approfondi au système interne de surveillance d’OpenAI. L’étude décrit l’état historique observé avant et pendant juillet 2026, ainsi que plusieurs moyens théoriques de réduire ou contourner la couverture du contrôle.
Recherche publiéeTarif à vérifier
Accès
Compte rendu public d’un exercice de sécurité historique
À prévoir
Compte rendu public. Le rapport interne complet et les détails d’exploitation ne sont pas accessibles.
Des chercheurs présentent BackUpper, une couche expérimentale qui prépare un retour arrière avant les modifications d’un agent de code. Leur benchmark RegretBench comprend 205 tâches fondées sur des situations de perte rapportées publiquement. Les agents testés terminent souvent leur mission sans conserver l’état qui pourrait ensuite être nécessaire.
Recherche publiéeTarif à vérifier
Accès
Prototype de recherche publié
À prévoir
Prépublication et projet de recherche. Intégration nécessaire, sans garantie de restauration complète.
IBM Research présente ClariEdge, un jeu d’exemples pour entraîner un assistant à repérer une question ambiguë sans interrompre inutilement la conversation. Un petit modèle adapté atteint 96,6 % de classifications correctes sur le test de l’étude. Ce résultat porte sur le besoin de clarification, pas sur l’exactitude des réponses finales.
Recherche publiéeTarif à vérifier
Accès
Prépublication de recherche
À prévoir
Article et jeu de données annoncés publics. Intégration et adaptation nécessaires, sans service commercial annoncé.
