Technologie

Modèle multimodal

Un modèle multimodal peut lire plusieurs formats, comme le texte et les images. Dans un rapport, il peut examiner un paragraphe et le graphique qui l’accompagne. Les formats réellement pris en charge dépendent de l’outil.

Comprendre le mécanisme

Poser une question avec du texte et une image

Un modèle multimodal reçoit plusieurs formats, comme du texte et une image. Un traitement prépare chaque format avant le calcul de la réponse. Certains modèles acceptent aussi le son et la vidéo.

Une équipe pourrait créer un graphique fictif et demander quel mois atteint la plus forte valeur. Elle comparerait la réponse avec les chiffres écrits sur le graphique. Un second essai utiliserait une image moins nette pour repérer ce que le modèle ne lit plus correctement.

Lire un format et le produire

Accepter une image en entrée ne signifie pas pouvoir créer une image en sortie. Les capacités doivent être examinées pour chaque format.

Dans un projet

Lire un rapport et ses graphiques

Une personne peut fournir un rapport comportant du texte et des graphiques. Un outil compatible peut examiner ces formats pour préparer une synthèse. Il faut conserver les pages d’origine afin de vérifier les valeurs et leur interprétation.

Vous fournissez
Graphique fictif et question sur la valeur la plus élevée.
Vous contrôlez le résultat
Réponse à confronter aux valeurs et aux libellés visibles.

Exemple fictif. Il illustre un usage, sans résultat mesuré.

Les points à vérifier

Vérifiez les formats acceptés, la lecture des petits caractères et la correspondance entre la réponse et les pages citées.

  • Formats couvertsLister les formats effectivement acceptés dans le parcours choisi.
  • Valeurs exactesCompter les valeurs et libellés correctement lus sur les graphiques.
  • Détails lisiblesComparer les erreurs entre images nettes, réduites et moins contrastées.

Texte seulement

Lire les paragraphes

Le modèle utilise les informations écrites que vous lui donnez.

Texte + image

Lire aussi le visuel

Un modèle multimodal peut examiner une image, selon ses capacités.

Par exemple, un graphique peut contenir des chiffres qui ne figurent pas dans les paragraphes du document.

Illustration du principe. Les fonctions disponibles dépendent de l’outil et de vos accès.

49 articles à explorer

Articles 1 - 10 sur 49. Les mots-clés, les dates et les conditions d’accès vous aident à choisir.

Outils et usagesCas d’usage

Ricoh et Kawasaki testent l’IA sur les plans industriels et le savoir-faire des ingénieurs

Ricoh et Kawasaki Heavy Industries

L’essentiel

Les partenaires prévoient des modèles de langage et multimodaux dans l’environnement interne de Kawasaki. Ils veulent relier documents techniques et critères de décision des spécialistes.

ExpérimentationTarif à vérifier
Accès
Sources officielles vérifiées
À prévoir
Partenariat de vérification dans l’environnement Kawasaki, sans accès public ni tarif annoncé.
Modèle multimodalGénération de contenuDonnées connectées

Source vérifiée le

Modèles et assistantsAnnonce

Apple prépare Apple Intelligence en Chine avec Qwen pour certaines demandes

Apple

L’essentiel

Apple prévoit une bêta développeur le 4 novembre et une sortie en décembre avec iOS 27.3. Certaines demandes dans Siri, les outils d’écriture et l’intelligence visuelle pourront utiliser Qwen.

Annonce / accès prévuTarif à vérifier
Accès
Sources officielles vérifiées
À prévoir
Bêta développeur prévue le 4 novembre, sortie iOS 27.3 en décembre. iPhone et langues compatibles requis, autres plateformes sous approbation.
Génération de contenuModèle multimodal

Source vérifiée le

Agents et développementAnnonce

Google généralise Computer Use dans les deux interfaces de l’API Gemini

Google AI for Developers

L’essentiel

Computer Use passe en disponibilité générale sur Interactions et GenerateContent. Les développeurs peuvent bâtir des agents qui lisent un écran et proposent des actions, avec un environnement d’exécution à leur charge.

DisponibleTarif à vérifier
Accès
Sources officielles vérifiées
À prévoir
API (interface de communication entre logiciels) Gemini, modèles compatibles et environnement d’exécution géré par le développeur. Contrôles des actions et confirmations à intégrer.
Agent IAModèle multimodalInterface interactive

Source vérifiée le

Création et médiasCas d’usage

Une ingénieure NVIDIA assemble un personnage vocal et visuel sur une station locale

NVIDIA

L’essentiel

MonsterHouse combine reconnaissance vocale, dialogue, synthèse et animation pour un personnage d’Halloween. Le récit explique l’orchestration locale et ses compromis, sans annoncer un produit prêt à déployer.

ExpérimentationTarif à vérifier
Accès
Sources officielles vérifiées
À prévoir
Prototype documenté, pas de produit commercial. Code spécifique non publié sous forme prête à l’emploi, accès aux composants à vérifier.
Agent IAModèle multimodalGénération de contenu

Source vérifiée le

Modèles et assistantsAnnonce

ServiceNow ouvre Apriel Voice en préversion pour comprendre la parole et appeler des outils

ServiceNow

L’essentiel

Apriel Voice comprend des demandes orales et produit du texte ou des appels aux outils d’une application. ServiceNow publie cette préversion sous licence MIT. La synthèse et les interruptions de parole restent gérées par des composants externes, avec une qualité à évaluer selon la langue et le déploiement.

Préversion / accès anticipéTarif à vérifier
Accès
Source officielle vérifiée
À prévoir
Poids sous licence MIT, préversion. Infrastructure, synthèse vocale et gestion de conversation à prévoir.
Modèle multimodalAgent IA

Source vérifiée le

Création et médiasAnnonce

Canva lance Brush pour retoucher des designs par instructions tout en gardant leurs éléments modifiables

Canva Research Team

L’essentiel

Brush comprend la structure d'un design et utilise une boucle d'actions et de contrôle visuel pour le retoucher dans Canva AI. Les modifications prises en charge sont proposées aux abonnés Canva Pro, avec des fonctions encore à venir.

Déploiement progressifOffre payante
Accès
Annonce officielle et disponibilité initiale vérifiées
À prévoir
Modifications compatibles dans Canva AI pour Canva Pro. Extension de l'accès et fonctions supplémentaires annoncées sans calendrier précis.
Modèle multimodalAgent IAGénération de contenuApprentissage par renforcement

Source vérifiée le

Modèles et assistantsAnnonce

Baseten lance joey-1 pour les décisions rapides dans les systèmes d’agents

Baseten

L’essentiel

joey-1 est un modèle spécialisé de deux milliards de paramètres qui retourne des choix et probabilités à partir de questions structurées. Baseten le propose par API (interface de communication entre logiciels) et avec des poids sous licence MIT. Ses performances annoncées restent à vérifier sur les décisions du projet.

DisponibleOffre payante
Accès
Source officielle vérifiée
À prévoir
API (interface de communication entre logiciels) à 0,01 dollar par million de tokens d’entrée, sorties à 0 dollar selon la fiche. Poids annoncés disponibles sous licence MIT.
Exécution d’un modèleModèle multimodal

Source vérifiée le

Modèles et assistantsAnnonce

Mistral ouvre les poids améliorés de Large 4 pour les agents et la cybersécurité

Mistral AI

L’essentiel

Mistral diffuse les poids améliorés de son modèle Large 4 après sa préversion. L’hébergement propre devient possible, avec une licence spécifique et des performances rapportées par l’éditeur.

DisponibleTarif à vérifier
Accès
Source officielle vérifiée
À prévoir
Poids sous Mistral Ecosystem Open-Weight License. Restriction spécifique pour les entreprises proposant des modèles en tant que service.
Modèle multimodalAgent IA

Source vérifiée le

Modèles et assistantsAnnonce

AWS détaille comment déployer Nemotron 3.5 Super VL pour des agents multimodaux

AWS

L’essentiel

AWS documente le déploiement du modèle ouvert NVIDIA Nemotron 3.5 Super VL sur EKS et SageMaker HyperPod EKS. Le guide sépare le chargement des poids, le service d’inférence et la mesure de latence sous plusieurs charges. Il ne prouve pas un gain universel ni la première sortie du modèle.

DisponibleTarif à vérifier
Accès
Source officielle vérifiée
À prévoir
Déploiement dans un compte AWS avec modèles et GPU (processeurs spécialisés dans le calcul) compatibles. Coûts d’infrastructure et conditions des poids à vérifier.
Modèle multimodalExécution d’un modèleAgent IA

Source vérifiée le

Création et médiasAnnonce

Pika H3 Flex associe vidéo, son et références pour accélérer les itérations créatives

Pika

L’essentiel

Pika H3 Flex génère vidéo et audio synchronisés avec jusqu’à douze références. L’accès passe par l’API (interface de communication entre logiciels) et des poids téléchargeables, avec des fonctions de finition hébergées. L’interface créative doit l’intégrer le 2 novembre et la licence des poids impose ses propres conditions.

DisponibleTarif à vérifier
Accès
Source officielle vérifiée
À prévoir
API (interface de communication entre logiciels) Club et poids disponibles. Finition haute définition et pistes audio hébergées. Conditions de licence à examiner.
Génération de contenuModèle multimodal

Source vérifiée le