Technologie
Évaluer un agent consiste à lui donner des tâches et à examiner ses résultats avec des critères précis. Un score résume cette évaluation. Il faut lire les tâches et les réglages avant de conclure sur ses capacités.
Comprendre le mécanisme
Une évaluation prépare des tâches et définit comment juger leurs résultats. Un contrôleur peut comparer une réponse attendue, vérifier un format ou appliquer une grille. Les scores sont ensuite regroupés pour résumer le test.
Une équipe pourrait préparer dix dossiers fictifs, dont certains sont incomplets. Elle donnerait les mêmes tâches aux assistants comparés et garderait les réglages du test. Une relecture examinerait les dossiers réussis, les erreurs et les interventions nécessaires avant de discuter le score global.
Une note décrit les cas évalués avec leurs critères. Elle ne démontre pas la réussite sur toutes les situations absentes du test.
Dans un projet
Une équipe peut demander à plusieurs assistants de traiter les mêmes dossiers avec des critères communs. Elle examine les réussites, les erreurs et les conditions du test. Un score seul ne décrit pas toutes les situations de travail.
Exemple fictif. Il illustre un usage, sans résultat mesuré.
Lisez les tâches, les réglages, les coûts et les erreurs avant de choisir un outil.
Un travail défini à l’avance
Chaque résultat est évalué
À comparer avec les conditions du test
Illustration du principe. Les fonctions disponibles dépendent de l’outil et de vos accès.
Articles 61 - 68 sur 68. Les mots-clés, les dates et les conditions d’accès vous aident à choisir.
L’essentiel
Le Royaume-Uni étend des pilotes d’IA pour détecter les failles des services publics. Les autorités préparent aussi la réponse aux incidents impliquant des agents qui agissent de façon autonome.
Source vérifiée le
L’essentiel
Rigour 7 modifie les blocages et les alertes des assistants de code.
Source vérifiée le
L’essentiel
AWS DevOps Agent ouvre quatre régions supplémentaires et ajoute une évaluation des enquêtes terminées. Paris, Stockholm, Ohio et Séoul sont concernés.
Source vérifiée le
L’essentiel
Microsoft-Decision-1 attribue un score aux réponses proposées par l’application. Il est accessible en préversion dans Foundry, ainsi que par OpenRouter.
Source vérifiée le
L’essentiel
OSS Scanner analyse périodiquement le code de projets éligibles. Les rapports sont produits par l’IA, sans validation humaine préalable.
Source vérifiée le
L’essentiel
Elastic annonce AlertZero pour répartir le travail de sécurité entre agents spécialisés. L’accès est prévu en préversion technique.
Source vérifiée le
L’essentiel
ImpactBench évalue les modèles sur plus de 800 mesures et 26 tests. Les résultats alimentent des fiches lisibles sur les comportements et le bien-être.
Source vérifiée le
L’essentiel
OpenAI et Ironclad évaluent des agents sur 11 tâches liées aux contrats. Les scores comptent des critères satisfaits, sans mesurer des tâches entièrement réussies ni des gains de temps chez les clients.
Source vérifiée le
