Technologie
La recherche multimodale utilise plusieurs formats, comme le texte et les images, pour retrouver une information. Elle peut repérer une page grâce à un détail visuel. Les documents couverts et les résultats doivent être vérifiés.
Comprendre le mécanisme
Une recherche multimodale rapproche des formats différents. Dans une approche par représentations, chaque image et chaque texte deviennent des listes de nombres comparables. Le système calcule leur proximité pour classer les contenus susceptibles de correspondre à la demande.
Une équipe pourrait préparer une collection de photographies fictives et rechercher une étagère portant des boîtes rouges. Elle vérifierait les premiers résultats sans utiliser les noms de fichiers. Une seconde recherche inclurait un détail absent pour examiner les propositions sans correspondance exacte.
Un résultat proche est un candidat à examiner. Sa place dans le classement ne prouve pas qu’il contient exactement le détail recherché.
Dans un projet
Une personne peut rechercher un document en décrivant un détail présent dans une image ou un graphique. Un outil compatible compare cette demande aux documents préparés. Le passage retrouvé permet de contrôler si le résultat est pertinent.
Exemple fictif. Il illustre un usage, sans résultat mesuré.
Vérifiez les documents couverts, les formats pris en charge et la pertinence des passages retrouvés.
Des textes, images ou vidéos préparés
Le système cherche les éléments proches
Vous vérifiez leur lien avec la question
Illustration du principe. Les fonctions disponibles dépendent de l’outil et de vos accès.
Articles 1 - 3 sur 3. Les mots-clés, les dates et les conditions d’accès vous aident à choisir.
L’essentiel
Perplexity publie des modèles pour retrouver des textes, des images et des pages de PDF. Les modèles sont accessibles sur Hugging Face, avec un accès par connexion applicative annoncé progressivement.
Source vérifiée le
L’essentiel
EmbeddingGemma 2 rapproche textes, images, sons et vidéos pour les retrouver. Ses fichiers sont disponibles pour un appareil compatible.
Source vérifiée le
L’essentiel
Condé Nast utilise les images, les sons et les paroles de ses vidéos pour retrouver des scènes. La recherche peut repérer un détail visible même si personne ne le mentionne à voix haute.
Source vérifiée le
