Évaluer un agent consiste à lui donner des tâches et à examiner ses résultats avec des critères précis. Un score résume cette évaluation. Il faut lire les tâches et les réglages avant de conclure sur ses capacités.
Comprendre le mécanisme
Comparer des parcours avec une règle de réussite
Une évaluation prépare des tâches et définit comment juger leurs résultats. Un contrôleur peut comparer une réponse attendue, vérifier un format ou appliquer une grille. Les scores sont ensuite regroupés pour résumer le test.
Une équipe pourrait préparer dix dossiers fictifs, dont certains sont incomplets. Elle donnerait les mêmes tâches aux assistants comparés et garderait les réglages du test. Une relecture examinerait les dossiers réussis, les erreurs et les interventions nécessaires avant de discuter le score global.
Note du test et travail réel
Une note décrit les cas évalués avec leurs critères. Elle ne démontre pas la réussite sur toutes les situations absentes du test.
Dans un projet
Comparer des assistants sur les mêmes tâches
Une équipe peut demander à plusieurs assistants de traiter les mêmes dossiers avec des critères communs. Elle examine les réussites, les erreurs et les conditions du test. Un score seul ne décrit pas toutes les situations de travail.
Vous fournissez
Dossiers fictifs, résultats attendus et grille commune de contrôle.
Vous contrôlez le résultat
Scores par cas, erreurs décrites et synthèse à interpréter.
Exemple fictif. Il illustre un usage, sans résultat mesuré.
Les points à vérifier
Lisez les tâches, les réglages, les coûts et les erreurs avant de choisir un outil.
Tâches réussiesCompter les dossiers entièrement conformes, sans masquer les cas incomplets.
Limites respectéesCompter les actions non autorisées proposées ou effectuées dans la simulation.
Effort de contrôleMesurer la relecture et les corrections nécessaires pour chaque parcours.
Anthropic publie une enquête auprès de 10 980 adultes américains et 1 334 salariés. Ces groupes anticipent des changements différents dans leur travail avec l’IA. L’étude décrit des opinions, pas les capacités futures des modèles ni des suppressions d’emplois mesurées.
Recherche publiéeTarif à vérifier
Accès
Étude publiée
À prévoir
Rapport public. Enquêtes américaines et internes, sans lancement de produit ni essai à souscrire.
Pydantic AI, une bibliothèque Python pour construire des agents, introduit un mécanisme de revue des actions en attente. Un second modèle peut approuver certains appels d’outils ou les laisser à une personne.
DisponibleTarif à vérifier
Accès
Disponibilité annoncée
À prévoir
Notes 2.57.0 et paquet publiés le 16 octobre. Composant de revue dans Pydantic AI Harness. Fournisseur de modèle à configurer.
Le NIST, organisme américain de normalisation, publie avec la NSA et la CISA dix pratiques pour préparer la réponse aux incidents pendant l’entraînement et l’évaluation d’agents d’IA avancés.
Recherche publiéeTarif à vérifier
Accès
Guide volontaire publié
À prévoir
Annonce et guide publics du 16 octobre. Recommandations visant surtout les laboratoires et équipes d’évaluation d’agents avancés.
LangChain publie un guide sur l’évaluation des agents avant déploiement et en production. Il recommande d’examiner les conversations, les outils appelés et les changements réellement effectués, au-delà de la réponse finale.
Recherche publiéeTarif à vérifier
Accès
Guide méthodologique publié
À prévoir
Principes consultables publiquement. Utilisation de LangSmith et coûts d’évaluation selon la configuration.
Anthropic annonce l’intégration de six membres de METR pour examiner ses risques et pratiques. Leur accès est proche de celui des équipes internes d’évaluation, avec des exceptions définies.
Annonce / accès prévuTarif à vérifier
Accès
Dispositif d’évaluation annoncé
À prévoir
Accès réservé à une petite équipe sous accords. Aucun accès public aux systèmes internes.
La Commission européenne élargit ses recommandations sur l’IA en recherche aux agents et à l’évaluation scientifique. Les chercheurs gardent la responsabilité des travaux et des décisions. Le document est daté du 15 octobre, avant son communiqué du 16.
DisponibleTarif à vérifier
Accès
Quatrième version publiée, présentée le lendemain
À prévoir
Document public du 15 octobre. Communiqué du 16. Recommandations à articuler avec les règles institutionnelles applicables.
Google publie un guide pour construire des évaluations répétables d’agents. La méthode combine lecture humaine des traces, contrôles automatiques et comparaison avec une référence stable.
Recherche publiéeTarif à vérifier
Accès
Guide et outils de référence publics
À prévoir
Mise en place technique et accès aux services utilisés. Coûts variables selon les évaluations.
LlamaIndex publie ExtractBench Pro, un test de 100 documents artificiels plus difficiles à interpréter. Il évalue la capacité des outils d’IA à relever les bonnes informations et à les justifier. Il ne rend pas lui-même ces outils plus performants.
Recherche publiéeTarif à vérifier
Accès
Documents et code d’évaluation publiés
À prévoir
Données et code publics. Exécuter une évaluation avec une API (interface de communication entre logiciels) payante peut entraîner des frais. Aucun essai réalisé ici.
AWS publie un benchmark interne de son agent de sécurité, désormais dans Continuum. Sur 37 vulnérabilités connues reproduites dans des cibles isolées, 33 réussites suivent le chemin attendu après contrôle.
Recherche publiéeTarif à vérifier
Accès
Benchmark fournisseur publié
À prévoir
Résultats d’un protocole interne. Ils ne constituent pas des conditions d’accès ou un tarif de service.
GitHub généralise deux fonctions distinctes. AI Scan signale des vulnérabilités dans les modifications de code. Agentic Autofix prépare une correction d’alertes existantes et ouvre une proposition de changement à relire.
DisponibleOffre payante
Accès
Disponibilité générale sous conditions d’offre
À prévoir
AI Scan selon dépôt et offre de sécurité. Autofix : Enterprise Cloud, offre de sécurité, activation et facturation. Crédits IA et minutes Actions.
