Techniques et rechercheDocuments et code d’évaluation publiés

ExtractBench Pro met l’extraction IA à l’épreuve de documents plus difficiles

Source publiée le LlamaIndex2 min de lecture

L’essentiel de l’annonce

LlamaIndex publie ExtractBench Pro, un test de 100 documents artificiels plus difficiles à interpréter. Il évalue la capacité des outils d’IA à relever les bonnes informations et à les justifier. Il ne rend pas lui-même ces outils plus performants.

Date de publication de la source
Catégorie
Techniques et recherche
Périmètre et accès
Annonce du 15 octobre et documentation du dépôt ExtractBench.
Sujet du contenu
Évaluer la valeur et sa justification
Entreprises / organismes
LlamaIndex

Ce qui est annoncé

Les exercices peuvent demander de relier plusieurs pages, de comprendre un schéma ou d’appliquer une règle de calcul. Le système doit remplir des champs définis et indiquer les passages qui justifient les valeurs. L’évaluation distingue exactitude et preuve.

Comprendre le fonctionnement
1

Le document

Un exercice définit les champs à extraire.

2

Les valeurs

L’outil fournit les informations et leurs preuves.

3

La référence

L’évaluateur mesure les écarts aux réponses attendues.

Le document

Un exercice définit les champs à extraire.

Les valeurs

L’outil fournit les informations et leurs preuves.

La référence

L’évaluateur mesure les écarts aux réponses attendues.

Illustration simplifiée. Les dessins ne montrent pas de résultats mesurés.

Points techniques et opérationnels

  • Le nouveau corpus complète les 370 documents du premier test.
  • Le protocole annoncé limite chaque document à trente minutes.

Ce que cela pourrait changer

Exemples possibles. L’annonce ne démontre pas de gains pour ces usages.

Exemple pédagogique

Lire une facture avec une règle inhabituelle

Exemple fictif : une facture renvoie à une règle située sur une autre page. L’outil doit retrouver cette règle et la bonne valeur, pas seulement un montant proche.

Deux questions pour évaluer l’intérêt

  • Contrôler le type de document évalué.
  • Distinguer valeur correcte et justification correcte.

Qui peut l’utiliser, avec quelles limites ?

Documents et code d’évaluation publiés

Ce test est conçu par un fournisseur dont les produits sont comparés. Les documents synthétiques ne représentent pas tous les documents d’entreprise. Les résultats dépendent des outils, des réglages, du temps et du coût. Aucun classement universel n’en découle.

Conditions d’accès : Données et code publics. Exécuter une évaluation avec une API payante peut entraîner des frais. Aucun essai réalisé ici.

Le périmètre à retenir

Interprétation éditoriale à partir de l’annonce.

Une équipe pourrait mieux repérer les limites d’un extracteur avant de comparer ses propres documents.

Les mots utiles pour comprendre

Extraction d’informations

L’extraction repère des informations dans un document et les place dans des champs, comme une date ou un montant. Retrouver le passage d’origine aide à contrôler le résultat. Une information peut être oubliée ou mal interprétée.

Comprendre cette technologie

Évaluation d’un agent

Évaluer un agent consiste à lui donner des tâches et à examiner ses résultats avec des critères précis. Un score résume cette évaluation. Il faut lire les tâches et les réglages avant de conclure sur ses capacités.

Comprendre cette technologie

Sources et vérifications

LlamaIndex - ExtractBench Pro: The Long Tail of Document Extraction

Lire la source officielle

Source complémentaire : LlamaIndex - ExtractBench — documentation du dépôt

Source vérifiée le . Synthèse originale. Les résultats annoncés restent attribués à leur source. Les dessins expliquent le principe ; les exemples présentent un usage possible.

Sources primaires relues le 16 octobre 2026. Aucun essai du produit.

Publié sur ce site le . Mis à jour le . Rédaction : Boris Shutov, avec l’aide de ChatGPT. Notre méthode éditoriale.