Un modèle multimodal peut lire plusieurs formats, comme le texte et les images. Dans un rapport, il peut examiner un paragraphe et le graphique qui l’accompagne. Les formats réellement pris en charge dépendent de l’outil.
Comprendre le mécanisme
Poser une question avec du texte et une image
Un modèle multimodal reçoit plusieurs formats, comme du texte et une image. Un traitement prépare chaque format avant le calcul de la réponse. Certains modèles acceptent aussi le son et la vidéo.
Une équipe pourrait créer un graphique fictif et demander quel mois atteint la plus forte valeur. Elle comparerait la réponse avec les chiffres écrits sur le graphique. Un second essai utiliserait une image moins nette pour repérer ce que le modèle ne lit plus correctement.
Lire un format et le produire
Accepter une image en entrée ne signifie pas pouvoir créer une image en sortie. Les capacités doivent être examinées pour chaque format.
Dans un projet
Lire un rapport et ses graphiques
Une personne peut fournir un rapport comportant du texte et des graphiques. Un outil compatible peut examiner ces formats pour préparer une synthèse. Il faut conserver les pages d’origine afin de vérifier les valeurs et leur interprétation.
Vous fournissez
Graphique fictif et question sur la valeur la plus élevée.
Vous contrôlez le résultat
Réponse à confronter aux valeurs et aux libellés visibles.
Exemple fictif. Il illustre un usage, sans résultat mesuré.
Les points à vérifier
Vérifiez les formats acceptés, la lecture des petits caractères et la correspondance entre la réponse et les pages citées.
Formats couvertsLister les formats effectivement acceptés dans le parcours choisi.
Valeurs exactesCompter les valeurs et libellés correctement lus sur les graphiques.
Détails lisiblesComparer les erreurs entre images nettes, réduites et moins contrastées.
ElevenLabs lance Realtime Translation, un modèle de traduction vocale bidirectionnelle destiné aux appels, centres de contact et événements. L’accès commence en alpha pour les clients Enterprise d’ElevenAPI.
Préversion / accès anticipéOffre payante
Accès
Alpha pour les clients Enterprise d’ElevenAPI
À prévoir
Accès alpha réservé aux clients Enterprise d’ElevenAPI, sur prise de contact avec ElevenLabs. Aucun tarif public détaillé dans l’annonce.
Des chercheurs de Meta AI et d’Oxford présentent OverSeer, un modèle qui génère les points de vue de plusieurs agents dans un même monde. Des vues fixes auxiliaires servent de référence commune lorsque les agents se séparent. Les expériences concernent surtout Minecraft et Doom, avec des exemples qualitatifs sur des vidéos réelles.
Recherche publiéeTarif à vérifier
Accès
Recherche publiée
À prévoir
Prépublication et ressources de projet publiques. Modèles entraînés par domaine, accès opérationnel à vérifier.
Kakao publie deux composants de vision pour les assistants multimodaux. Le modèle medium compte 426 millions de paramètres et la version tiny environ 98 millions. Ils transforment les éléments visuels d’une image en représentations que le modèle de langage peut utiliser pour lire un document, repérer un objet ou répondre à une question.
DisponibleTarif à vérifier
Accès
Poids publiés
À prévoir
Poids annoncés disponibles sur Hugging Face sous Kanana Open License. L’intégration et l’infrastructure restent à la charge de l’utilisateur.
Google annonce en préversion une recherche documentaire pour Google Distributed Cloud air-gapped, son infrastructure déconnectée. Gemini peut rechercher, comparer ou résumer des fichiers conservés dans le périmètre physique de l’organisation, avec des citations.
Préversion / accès anticipéTarif à vérifier
Accès
Recherche documentaire en préversion
À prévoir
Google Distributed Cloud air-gapped requis. Limites annoncées : 100 Mo par fichier et 500 Mo par conversation. Prix non précisé.
Abacus.AI, qui développe des outils d’IA pour les entreprises, publie Smaug. Ce modèle estime si une image a été produite par une IA et peut fonctionner sur une machine locale.
DisponibleTarif à vérifier
Accès
Disponibilité annoncée
À prévoir
Publication du 17 octobre sous Apache 2.0. Modèle à déployer. Matériel, intégration et coûts de calcul restent à prévoir.
OpenAI ouvre la création de voix à tous ses clients API, l’interface qui relie ses modèles aux applications. Une description écrite suffit pour concevoir une voix destinée à GPT-Live, sans fournir d’enregistrement.
DisponibleOffre payante
Accès
Disponibilité annoncée
À prévoir
Accès par API (interface de communication entre logiciels) ou Playground. Jusqu’à 100 voix générées par organisation. Les autres interfaces vocales ne sont pas compatibles.
Les notes du 15 octobre annoncent GPT-Live-1.1 et sa variante légère Quip dans ChatGPT Voice. Le déploiement ajoute des options vocales, dont le français, avec une couverture variable selon le compte et la région.
Déploiement progressifTarif à vérifier
Accès
Déploiement progressif de ChatGPT Voice
À prévoir
Voix visibles selon le compte et la région. Conditions tarifaires non détaillées dans cette note.
NVIDIA annonce la disponibilité de Nemotron 3.5 Super VL et Bolt 74B-A9B 24GB. Le premier traite texte et contenu visuel. Bolt E4B 4GB reste annoncé pour le 23 octobre.
DisponibleTarif à vérifier
Accès
Super VL et Bolt 74B disponibles, E4B prévu le 23 octobre
À prévoir
Poids et logiciels d’exécution accessibles. Matériel compatible, licence et mémoire totale de fonctionnement à vérifier.
Google décrit un parcours de recherche de peptides antimicrobiens dans Antigravity. Un candidat identifié reste en validation au laboratoire. L’annonce ne démontre ni traitement disponible ni efficacité clinique.
Recherche publiéeTarif à vérifier
Accès
Démonstration scientifique publiée
À prévoir
Parcours présenté dans Antigravity. Conditions d’accès détaillées à vérifier pour un laboratoire.
Lovable annonce un accès intégré à plusieurs modèles et outils pour les applications créées sur sa plateforme. L’annonce concerne leur intégration, pas le lancement simultané de chaque modèle cité.
DisponibleTarif à vérifier
Accès
Intégrations annoncées dans Lovable
À prévoir
Accès par la plateforme Lovable. Vérifier les conditions de chaque modèle et outil utilisé.
