Évaluer un agent consiste à lui donner des tâches et à examiner ses résultats avec des critères précis. Un score résume cette évaluation. Il faut lire les tâches et les réglages avant de conclure sur ses capacités.
Comprendre le mécanisme
Comparer des parcours avec une règle de réussite
Une évaluation prépare des tâches et définit comment juger leurs résultats. Un contrôleur peut comparer une réponse attendue, vérifier un format ou appliquer une grille. Les scores sont ensuite regroupés pour résumer le test.
Une équipe pourrait préparer dix dossiers fictifs, dont certains sont incomplets. Elle donnerait les mêmes tâches aux assistants comparés et garderait les réglages du test. Une relecture examinerait les dossiers réussis, les erreurs et les interventions nécessaires avant de discuter le score global.
Note du test et travail réel
Une note décrit les cas évalués avec leurs critères. Elle ne démontre pas la réussite sur toutes les situations absentes du test.
Dans un projet
Comparer des assistants sur les mêmes tâches
Une équipe peut demander à plusieurs assistants de traiter les mêmes dossiers avec des critères communs. Elle examine les réussites, les erreurs et les conditions du test. Un score seul ne décrit pas toutes les situations de travail.
Vous fournissez
Dossiers fictifs, résultats attendus et grille commune de contrôle.
Vous contrôlez le résultat
Scores par cas, erreurs décrites et synthèse à interpréter.
Exemple fictif. Il illustre un usage, sans résultat mesuré.
Les points à vérifier
Lisez les tâches, les réglages, les coûts et les erreurs avant de choisir un outil.
Tâches réussiesCompter les dossiers entièrement conformes, sans masquer les cas incomplets.
Limites respectéesCompter les actions non autorisées proposées ou effectuées dans la simulation.
Effort de contrôleMesurer la relecture et les corrections nécessaires pour chaque parcours.
Des chercheurs de Berkeley présentent D-Skill, une méthode qui transforme les différences de travail entre deux agents en consignes réutilisables. Le modèle moins performant reçoit ce document au moment de réaliser une tâche, sans modification de ses paramètres. Les résultats portent sur trois bancs d’essai, dont la manipulation de feuilles de calcul.
Recherche publiéeTarif à vérifier
Accès
Méthode expérimentale publiée
À prévoir
Article de recherche public. Collecte de traces, fabrication des consignes et intégration nécessaires.
Microsoft et Hugging Face publient une méthode qui entraîne un agent à partir de contrôles exécutables sur l’état final d’une base de données. La récompense dépend du résultat réellement enregistré, pas de la déclaration de l’agent. Le code est ouvert, mais le jeu privé utilisé pour l’entraînement et l’importante infrastructure de calcul ne le sont pas.
Recherche publiéeTarif à vérifier
Accès
Recherche publiée
À prévoir
Article et code publiés sous licence MIT. Le jeu privé de 187 tâches et l’infrastructure utilisée pour les résultats ne sont pas fournis.
Des chercheurs de Fudan et de l’équipe Hunyuan de Tencent proposent TIDE, une méthode pour examiner les forces et les faiblesses des modèles derrière leur score global. Elle regroupe les questions en familles puis confronte ces groupes aux résultats réellement obtenus. L’étude reste limitée à des évaluations écrites en anglais, statiques et à un seul tour.
Recherche publiéeTarif à vérifier
Accès
Méthode de recherche publiée
À prévoir
Prépublication et protocole publics. Logiciel utilisable non confirmé dans les pages relues.
Sierra, éditeur d’agents de relation client, présente τ-Entity. Ce benchmark évalue la collecte exacte d’un nom, d’une adresse ou d’un numéro dans une conversation vocale. Chaque appel porte sur un seul champ. Les résultats montrent surtout l’écart entre une réponse correcte en situation ordinaire et une capture fiable quand les conditions changent.
Recherche publiéeTarif à vérifier
Accès
Recherche publiée
À prévoir
Annonce, protocole résumé et classement publics. Évaluation contrôlée, sans produit universel garanti.
GitHub ajoute une comparaison volontaire au tableau de bord Copilot impact. Elle situe certains indicateurs d’adoption face à des organisations de taille et de secteur comparables.
DisponibleTarif à vérifier
Accès
Comparaison disponible sur participation volontaire
À prévoir
Entreprises et organisations indépendantes éligibles. Politique de métriques active et participation volontaire.
Des chercheurs de Tencent et de l’université Renmin présentent ChartMind, une méthode qui apprend à un agent d’analyse quand utiliser du texte, un graphique ou les deux. Les conseils sont conservés dans une mémoire externe, sans modifier les poids du modèle. Les gains observés dans l’étude s’accompagnent d’une consommation supplémentaire.
Recherche publiéeTarif à vérifier
Accès
Prépublication de recherche
À prévoir
Méthode et protocole publiés. Aucun service ou dépôt logiciel public confirmé dans les sources relues.
Mistral et NVIDIA annoncent des travaux communs pour relier modèles d’IA, conception et simulation. Ils prévoient des jeux de données ouverts et des évaluations publiques pour les modèles physiques et les agents utilisant des outils d’ingénierie. Il s’agit d’une feuille de route, sans protocole final ni résultat comparable déjà publié dans cette annonce.
Annonce / accès prévuTarif à vérifier
Accès
Annonce, accès prévu
À prévoir
Collaboration et futures évaluations annoncées. Jeux de données et protocoles finaux à venir.
Sierra étend son benchmark vocal avec τ-i18n, qui ajoute l’espagnol, le portugais brésilien, l’hindi, le coréen et le mandarin à l’anglais. Les tâches de service restent identiques entre les langues. L’évaluation examine séparément la réussite, l’interaction et la qualité de la parole, plutôt qu’un seul score global.
Recherche publiéeTarif à vérifier
Accès
Recherche publiée
À prévoir
Annonce et classement publics. Code et cadre linguistique annoncés ouverts, sans essai effectué.
OpenAI décrit une réponse coordonnée à deux failles critiques de PHP, un langage utilisé par de nombreux sites. Calif a identifié une faille avec GPT-5.6 Sol dans Patch the Planet, tandis que Wiz a signalé indépendamment les deux. Les mainteneurs PHP ont dirigé les corrections et leur diffusion.
DisponibleTarif à vérifier
Accès
Disponible dans le périmètre annoncé
À prévoir
Avis et correctifs publics. Application à examiner avec le fournisseur des logiciels concernés.
Des chercheurs de Meta AI et d’Oxford présentent OverSeer, un modèle qui génère les points de vue de plusieurs agents dans un même monde. Des vues fixes auxiliaires servent de référence commune lorsque les agents se séparent. Les expériences concernent surtout Minecraft et Doom, avec des exemples qualitatifs sur des vidéos réelles.
Recherche publiéeTarif à vérifier
Accès
Recherche publiée
À prévoir
Prépublication et ressources de projet publiques. Modèles entraînés par domaine, accès opérationnel à vérifier.
