Technologie
Un modèle multimodal peut lire plusieurs formats, comme le texte et les images. Dans un rapport, il peut examiner un paragraphe et le graphique qui l’accompagne. Les formats réellement pris en charge dépendent de l’outil.
Comprendre le mécanisme
Un modèle multimodal reçoit plusieurs formats, comme du texte et une image. Un traitement prépare chaque format avant le calcul de la réponse. Certains modèles acceptent aussi le son et la vidéo.
Une équipe pourrait créer un graphique fictif et demander quel mois atteint la plus forte valeur. Elle comparerait la réponse avec les chiffres écrits sur le graphique. Un second essai utiliserait une image moins nette pour repérer ce que le modèle ne lit plus correctement.
Accepter une image en entrée ne signifie pas pouvoir créer une image en sortie. Les capacités doivent être examinées pour chaque format.
Dans un projet
Une personne peut fournir un rapport comportant du texte et des graphiques. Un outil compatible peut examiner ces formats pour préparer une synthèse. Il faut conserver les pages d’origine afin de vérifier les valeurs et leur interprétation.
Exemple fictif. Il illustre un usage, sans résultat mesuré.
Vérifiez les formats acceptés, la lecture des petits caractères et la correspondance entre la réponse et les pages citées.
Texte seulement
Le modèle utilise les informations écrites que vous lui donnez.
Texte + image
Un modèle multimodal peut examiner une image, selon ses capacités.
Par exemple, un graphique peut contenir des chiffres qui ne figurent pas dans les paragraphes du document.
Illustration du principe. Les fonctions disponibles dépendent de l’outil et de vos accès.
Articles 11 - 20 sur 49. Les mots-clés, les dates et les conditions d’accès vous aident à choisir.
L’essentiel
Prism écoute la voix, prépare un texte vérifiable et peut continuer d’écouter pendant sa réponse. Rime travaille son adaptation avec des clients bêta, sans accès général aux poids établi.
Source vérifiée le
L’essentiel
Nemotron 3.5 Transcribe peut traiter un enregistrement selon une consigne pour le transcrire, le traduire ou répondre à des questions sur son contenu. NVIDIA publie aussi des outils de préparation des données audio.
Source vérifiée le
L’essentiel
Un prototype relie vision, langage et mouvement pour déplacer du matériel dans un laboratoire. Les premiers résultats portent sur une tâche précise et ne démontrent pas une autonomie spatiale sûre.
Source vérifiée le
L’essentiel
Genie 4 génère un environnement explorable avec du son et des événements guidés par Gemini. Google le réserve pour l’instant à des testeurs de confiance.
Source vérifiée le
L’essentiel
Baidu publie Unlimited-OCR 2 pour convertir des documents très longs en texte. Le modèle réduit le contexte conservé à chaque étape, avec un compromis possible sur les liens entre pages.
Source vérifiée le
L’essentiel
Gemini Robotics ER 2 devient accessible sur Google Cloud pour planifier des tâches et vérifier leur progression. Le modèle s’appuie sur des contrôleurs spécialisés et ne certifie pas la sûreté du robot.
Source vérifiée le
L’essentiel
La famille LFM3 réunit texte, images, vidéo et voix selon la variante. Les poids sont téléchargeables, avec des conditions commerciales et des limites liées à la petite taille des modèles.
Source vérifiée le
L’essentiel
MAI Image 2.7 permet de demander des retouches sur une image existante. Microsoft ouvre une préversion, tandis que la génération à partir de texte seul reste annoncée pour plus tard.
Source vérifiée le
L’essentiel
GPT-6.1 Terra associe raisonnement visuel, usage d’ordinateur et rédaction. OpenAI le rend accessible dans Work, Codex et son API (interface de communication entre logiciels), avec un tarif inférieur à celui du précédent Terra.
Source vérifiée le
L’essentiel
Tencent publie un modèle qui traduit pendant que la personne parle. Code et ressources sont annoncés ouverts, avec une intégration nécessaire pour restituer la voix.
Source vérifiée le
