Modèles et assistantsPréversion API

Mistral Large 4 peut lire le texte et les images d’un même document

L’essentiel de l’annonce

Mistral propose une version de test de Large 4, capable de lire du texte et des images. Les fichiers permettant d’exécuter le modèle sont annoncés pour fin octobre.

Date de publication de la source
Catégorie
Modèles et assistants
Périmètre et accès
Accès par API ; poids annoncés pour plus tard.
Sujet du contenu
Lecture du texte et des images avec Mistral Large 4
Entreprises / organismes
Mistral
Technologies
Modèle multimodal

Comment le modèle relie un texte et son graphique

Un rapport peut contenir une explication écrite et un graphique qui la complète. Un modèle capable de lire plusieurs formats, dit multimodal, peut utiliser ces deux éléments pour répondre. Il reste à vérifier qu’il les relie correctement, avec les bonnes valeurs, les bonnes unités et le passage pertinent du document.

Lire le texte et les images d’un document

Texte seulement

Lire les paragraphes

Le modèle utilise les informations écrites que vous lui donnez.

Texte + image

Lire aussi le visuel

Un modèle multimodal peut examiner une image, selon ses capacités.

Par exemple, un graphique peut contenir des chiffres qui ne figurent pas dans les paragraphes du document.

Lire les passages et les images

La demande porte sur un document qui peut contenir des paragraphes, des graphiques et des pages illustrées.

Croiser les informations écrites et visuelles

Le modèle utilise plusieurs formats pour préparer sa réponse. C’est le rôle d’un modèle multimodal.

Retrouver les éléments qui justifient le résultat

Les valeurs, les unités, les légendes et les passages du document sont à comparer avec la réponse produite.

Illustration simplifiée. Les dessins ne montrent pas de résultats mesurés.

Points techniques et opérationnels

  • Un rapport peut contenir des paragraphes, des graphiques et des pages illustrées. La question peut porter sur ces différents éléments.
  • Le modèle multimodal, c’est-à-dire capable de traiter plusieurs formats, utilise le texte et les éléments visuels pour préparer sa réponse.
  • Il faut comparer la réponse aux valeurs, aux unités et aux légendes du graphique. Une interprétation plausible peut rester fausse.

Usages possibles pour analyser des documents illustrés

Exemples possibles. L’annonce ne démontre pas de gains pour ces usages.

Exemple pédagogique

Comprendre un graphique dans un rapport

Dans un essai, vous pourriez demander : « Quel chiffre du graphique explique le résultat décrit dans ce paragraphe ? » Vous compareriez la réponse aux axes, à la légende et au texte. Un modèle qui lit les deux éléments doit encore les relier correctement.

Deux questions pour évaluer l’intérêt

  • La réponse cite-t-elle le bon passage et le bon graphique ?
  • Les valeurs et leurs unités sont-elles correctes ?

Qui peut l’utiliser, avec quelles limites ?

Préversion API

Une version à tester est accessible par API, une connexion destinée aux applications. Les poids sont annoncés pour fin octobre. Les performances présentées par Mistral doivent être vérifiées sur les documents que vous utilisez.

Conditions d’accès : Accès par API ; poids annoncés pour plus tard.

Comparer les formats lus et les erreurs sur vos documents

Interprétation éditoriale à partir de l’annonce.

Le modèle peut utiliser les éléments écrits et visuels d’un document dans la même réponse. Une équipe pourrait l’évaluer sur des tableaux en image accompagnés d’explications partielles. L’accès de test passe par une connexion destinée aux applications. Les fichiers du modèle sont annoncés pour fin octobre. Les erreurs de lecture et les formats acceptés restent à comparer sur les documents de travail.

Les mots utiles pour comprendre

Modèle multimodal

Un modèle multimodal peut lire plusieurs formats, comme le texte et les images. Dans un rapport, il peut examiner un paragraphe et le graphique qui l’accompagne. Les formats réellement pris en charge dépendent de l’outil.

Comprendre cette technologie

Sources et vérifications

Mistral - Mistral Large 4 passe en préversion

Lire la source officielle

Source vérifiée le . Synthèse originale. Les résultats annoncés restent attribués à leur source. Les dessins expliquent le principe ; les exemples présentent un usage possible.

Publié sur ce site le . Mis à jour le . Rédaction : Boris Shutov, avec l’aide de ChatGPT. Notre méthode éditoriale.