Technologie
Modèle multimodal
Un modèle multimodal peut lire plusieurs formats, comme le texte et les images. Dans un rapport, il peut examiner un paragraphe et le graphique qui l’accompagne. Les formats réellement pris en charge dépendent de l’outil.
Comprendre le mécanisme
Poser une question avec du texte et une image
Un modèle multimodal reçoit plusieurs formats, comme du texte et une image. Un traitement prépare chaque format avant le calcul de la réponse. Certains modèles acceptent aussi le son et la vidéo.
Une équipe pourrait créer un graphique fictif et demander quel mois atteint la plus forte valeur. Elle comparerait la réponse avec les chiffres écrits sur le graphique. Un second essai utiliserait une image moins nette pour repérer ce que le modèle ne lit plus correctement.
Lire un format et le produire
Accepter une image en entrée ne signifie pas pouvoir créer une image en sortie. Les capacités doivent être examinées pour chaque format.
Dans un projet
Lire un rapport et ses graphiques
Une personne peut fournir un rapport comportant du texte et des graphiques. Un outil compatible peut examiner ces formats pour préparer une synthèse. Il faut conserver les pages d’origine afin de vérifier les valeurs et leur interprétation.
- Vous fournissez
- Graphique fictif et question sur la valeur la plus élevée.
- Vous contrôlez le résultat
- Réponse à confronter aux valeurs et aux libellés visibles.
Exemple fictif. Il illustre un usage, sans résultat mesuré.
Les points à vérifier
Vérifiez les formats acceptés, la lecture des petits caractères et la correspondance entre la réponse et les pages citées.
- Formats couvertsLister les formats effectivement acceptés dans le parcours choisi.
- Valeurs exactesCompter les valeurs et libellés correctement lus sur les graphiques.
- Détails lisiblesComparer les erreurs entre images nettes, réduites et moins contrastées.
