Artificial Analysis remanie son indice pour évaluer davantage le travail des agents
L’essentiel de l’annonce
L’indice donne une place accrue au code, à la recherche scientifique et aux tâches professionnelles. Les données privées ou réponses réservées pèsent désormais 60 %, avec des limites de reproductibilité.
- Date de la source
- Catégorie
- Techniques et recherche
- À qui cela s’adresse
- Publication du 2026-10-27. Protocole publié.
- Sujet du contenu
- Artificial Analysis remanie son indice pour évaluer davantage le travail des agents
- Entreprises / organismes
- Artificial Analysis
- Technologies
- Évaluation d’un agent
Présentation
Artificial Analysis compare des modèles au moyen d’un indice composé de plusieurs évaluations. Sa version publiée le 27 octobre change les tests et leurs poids pour représenter davantage le travail réalisé par des agents.
Ce changement de protocole modifie la signification des classements. Il ne permet pas de conclure qu’un modèle a brusquement gagné ou perdu des capacités simplement parce que son rang change.
Ce qui change
La publication du 2026-10-27 décrit les apports suivants, dans le périmètre indiqué.
Comparer quatre familles de travail
L’indice répartit son poids également entre travail professionnel, programmation, sciences et capacités générales. Neuf évaluations couvrent ces ensembles, avec de nouveaux tests de code et de tâches scientifiques en terminal.
Séparer niveau actuel et progression historique
Un nouvel indice de progression cherche à suivre les capacités sur une échelle continue depuis 2022. L’indice principal reste destiné à comparer les modèles pour les usages actuels. Les deux mesures répondent à des questions différentes.
Fonctionnement
Un indice composite réunit plusieurs épreuves. Son interprétation nécessite de regarder les tâches, leurs poids et les conditions d’exécution.
Définir les épreuves
Le protocole choisit les tâches professionnelles, de code, scientifiques et générales.
Évaluer dans un cadre donné
Les modèles travaillent avec des outils et un niveau d’effort précisés. Les critères propres à chaque tâche déterminent la réussite.
Lire score et coût ensemble
Le résultat agrège les épreuves, mais les différences entre tâches et budgets restent nécessaires pour choisir un modèle.
Usages possibles
Les équipes qui comparent des modèles peuvent utiliser ce protocole comme point de départ et examiner les sous-tests proches de leurs propres besoins.
Exemple possible
Un exemple possible
Un projet de programmation pourrait privilégier les épreuves de code et son budget plutôt que le seul score global. Cela resterait à confirmer avec des tâches représentatives du projet.
Accès et limites
Les jeux privés réduisent le risque de contamination mais limitent la reproduction publique. Le coût et le score dépendent du niveau d’effort, des outils et de l’environnement de l’évaluation. Des poids de modèles annoncés mais non publiés ne doivent pas être traités comme disponibles. Aucun classement ne désigne un meilleur modèle pour tous les usages.
Conditions d’accès. Résultats et protocole consultables. Certaines tâches ou réponses de référence restent privées.
Pour votre projet
Pour votre projet, conserver le protocole et les paramètres avec chaque comparaison. Une évolution de l’indice ne prouve pas à elle seule une évolution du marché ou des performances en production.
- Quelles épreuves ressemblent à vos tâches ?
- Le coût et le niveau d’effort sont-ils comparables ?
Un examen sur vos propres données et contraintes reste nécessaire avant toute décision d’usage.
Sources et vérifications
Source de l’annonce
Artificial Analysis remanie son indice pour évaluer davantage le travail des agents
Lire la source officielleSource vérifiée le . Les résultats présentés sont ceux annoncés par les auteurs.
Sources consultées lors de la tâche planifiée. Aucun logiciel présenté n’a été installé ni essayé.
Fiche préparée avec ChatGPT. Notre méthode éditoriale.