Évaluer un agent consiste à lui donner des tâches et à examiner ses résultats avec des critères précis. Un score résume cette évaluation. Il faut lire les tâches et les réglages avant de conclure sur ses capacités.
Comprendre le mécanisme
Comparer des parcours avec une règle de réussite
Une évaluation prépare des tâches et définit comment juger leurs résultats. Un contrôleur peut comparer une réponse attendue, vérifier un format ou appliquer une grille. Les scores sont ensuite regroupés pour résumer le test.
Une équipe pourrait préparer dix dossiers fictifs, dont certains sont incomplets. Elle donnerait les mêmes tâches aux assistants comparés et garderait les réglages du test. Une relecture examinerait les dossiers réussis, les erreurs et les interventions nécessaires avant de discuter le score global.
Note du test et travail réel
Une note décrit les cas évalués avec leurs critères. Elle ne démontre pas la réussite sur toutes les situations absentes du test.
Dans un projet
Comparer des assistants sur les mêmes tâches
Une équipe peut demander à plusieurs assistants de traiter les mêmes dossiers avec des critères communs. Elle examine les réussites, les erreurs et les conditions du test. Un score seul ne décrit pas toutes les situations de travail.
Vous fournissez
Dossiers fictifs, résultats attendus et grille commune de contrôle.
Vous contrôlez le résultat
Scores par cas, erreurs décrites et synthèse à interpréter.
Exemple fictif. Il illustre un usage, sans résultat mesuré.
Les points à vérifier
Lisez les tâches, les réglages, les coûts et les erreurs avant de choisir un outil.
Tâches réussiesCompter les dossiers entièrement conformes, sans masquer les cas incomplets.
Limites respectéesCompter les actions non autorisées proposées ou effectuées dans la simulation.
Effort de contrôleMesurer la relecture et les corrections nécessaires pour chaque parcours.
Agent Fabric peut arrêter des requêtes au plafond budgétaire. Les évaluations automatiques sont prévues en bêta en novembre, puis leur lien avec l’arrêt d’un agent doit arriver en janvier.
DisponibleTarif à vérifier
Accès
Contrôles disponibles, évaluations prévues
À prévoir
Contrôles de coûts et arrêt d’agent annoncés disponibles. Scanner personnalisé en bêta, autres fonctions selon leur calendrier.
L’étude décrit des pratiques pour mutualiser contexte, corrections et évaluations. Les associations financières portent sur des résultats antérieurs aux pratiques mesurées et ne prouvent pas un gain causé par les agents.
Recherche publiéeTarif à vérifier
Accès
Source officielle vérifiée
À prévoir
Recherche et pratiques décrites publiquement. Aucun produit autonome ni prix universel du socle partagé annoncé.
Une étude Anthropic examine des arbitrages réalisés avec Claude Code. Les analystes suivent souvent la préférence assignée à l’agent, dans une expérience qui ne représente pas tous les usages.
Recherche publiéeTarif à vérifier
Accès
Recherche publiée
À prévoir
Accès et restrictions propres aux fonctions décrites. Conditions commerciales et compatibilité à vérifier.
L’indice donne une place accrue au code, à la recherche scientifique et aux tâches professionnelles. Les données privées ou réponses réservées pèsent désormais 60 %, avec des limites de reproductibilité.
DisponibleTarif à vérifier
Accès
Protocole publié
À prévoir
Résultats et protocole consultables. Certaines tâches ou réponses de référence restent privées.
IBM ajoute à watsonx Orchestrate une passerelle pour découvrir des agents, modèles et serveurs MCP (protocole reliant un assistant à ses outils) provenant de plusieurs plateformes. Certaines évaluations sont disponibles, tandis que la découverte et l’exécution isolée restent en préversion.
Préversion / accès anticipéTarif à vérifier
Accès
Fonctions annoncées et préversions techniques
À prévoir
watsonx Orchestrate. Certaines évaluations sont disponibles. La découverte multiplateforme et le Premium Runtime isolé sont présentés en préversion technique.
Anthropic présente cinq chaînes de failles trouvées avec un modèle de recherche non diffusé. Les correctifs ont été signalés aux éditeurs, avec des confirmations externes partielles et des limites de généralisation.
Recherche publiéeTarif à vérifier
Accès
Recherche documentée
À prévoir
Résultats de recherche publiés, modèle interne non diffusé. Programmes de cybersécurité accessibles sous conditions distinctes.
Le module DevSecOps de Bob contrôle les changements proposés par les agents et analyse le code. L’offre est disponible le 28 octobre, tandis que la revue des demandes de fusion reste prévue pour novembre.
DisponibleOffre payante
Accès
Module disponible
À prévoir
Module premium hébergé, tarif individuel affiché à partir de 20 dollars par utilisateur autorisé. Conditions et offre entreprise à vérifier.
Le cadre alterne interaction et entraînement hors ligne pour conserver des informations nouvelles. Les résultats expérimentaux sont rapportés par les auteurs.
Recherche publiéeTarif à vérifier
Accès
Publication de recherche ou d’analyse
À prévoir
Méthode expérimentale publiée. Pas de fonction grand public annoncée dans ce billet.
Aristotle peut proposer puis vérifier des propriétés de code C et Verilog. Les ingénieurs relisent ces propriétés et leurs hypothèses, sans confondre preuve ciblée et sécurité générale du système.
DisponibleOffre payante
Accès
Extension disponible
À prévoir
Accès autonome avec facturation à l’usage annoncé. Offres entreprise, déploiement privé ou sur site selon conditions commerciales.
Microsoft décrit ses méthodes pour faire transformer de grands logiciels par des agents. Le contrôle porte sur les règles approuvées, les tests et la conservation du comportement, pas seulement sur le code produit.
Cas documentéTarif à vérifier
Accès
Annonce documentée
À prévoir
Accès et restrictions propres aux fonctions décrites. Conditions commerciales et compatibilité à vérifier.
