Google publie un modèle pour rechercher dans les textes, images et enregistrements
L’essentiel de l’annonce
EmbeddingGemma 2 rapproche textes, images, sons et vidéos pour les retrouver. Ses fichiers sont disponibles pour un appareil compatible.
- Date de publication de la source
- Catégorie
- Modèles et assistants
- Périmètre et accès
- Intégration et matériel conditionnent l’exécution locale.
- Sujet du contenu
- Recherche locale
- Entreprises / organismes
- Technologies
- Modèle multimodal, Recherche multimodale, Exécution d’un modèle
Comment les formats sont rapprochés
Le modèle transforme les contenus en listes de nombres comparables. La recherche rapproche la question des fichiers pertinents, même si leurs formats diffèrent.
Texte seulement
Lire les paragraphes
Le modèle utilise les informations écrites que vous lui donnez.
Texte + image
Lire aussi le visuel
Un modèle multimodal peut examiner une image, selon ses capacités.
Par exemple, un graphique peut contenir des chiffres qui ne figurent pas dans les paragraphes du document.
Choisissez une étape pour lire son explication.
Préparer les représentations
Le modèle convertit les formats en nombres.
Comparer les représentations
La demande devient comparable aux contenus.
Retrouver les éléments proches
Les éléments proches sont proposés à examiner.
Illustration simplifiée. Les dessins ne montrent pas de résultats mesurés.
Points techniques et opérationnels
- 740 millions de paramètres, licence Apache 2.0.
Tester une recherche dans des documents variés
Exemples possibles. L’annonce ne démontre pas de gains pour ces usages.
Exemple pédagogique
Retrouver un passage illustré fictif
Une équipe pourrait créer une note fictive avec un schéma et un enregistrement décrivant la même situation. Elle poserait une question sans employer le titre exact des fichiers. Le responsable vérifierait les passages retrouvés et les résultats sans rapport avec la demande. Il comparerait aussi le délai sur deux appareils avant d’envisager un usage avec des documents de travail.
Deux questions pour évaluer l’intérêt
- Les passages retrouvés correspondent-ils à la question et aux bons fichiers ?
- Où l’application traite-t-elle et conserve-t-elle les données ?
Qui peut l’utiliser, avec quelles limites ?
Disponible
Ce composant recherche des contenus, sans rédiger la réponse.
Conditions d’accès : Fichiers sur Hugging Face et Kaggle. Intégration nécessaire.
Comparer la pertinence et les ressources nécessaires
Interprétation éditoriale à partir de l’annonce.
Un responsable pourrait comparer la recherche avec son classement habituel de fichiers. L’intérêt serait mesuré sur les passages retrouvés, les erreurs et les ressources nécessaires. Il vérifierait où sont traitées les données dans l’application complète. La possibilité d’exécuter le modèle sur un appareil ne suffirait pas à décrire toutes les connexions d’un service construit autour.
Les mots utiles pour comprendre
Modèle multimodal
Un modèle multimodal peut lire plusieurs formats, comme le texte et les images. Dans un rapport, il peut examiner un paragraphe et le graphique qui l’accompagne. Les formats réellement pris en charge dépendent de l’outil.
Sources et vérifications
Source vérifiée le . Synthèse originale. Les résultats annoncés restent attribués à leur source. Les dessins expliquent le principe ; les exemples présentent un usage possible.
Sahil Dua et Henrique Schechter Vera.
Publié sur ce site le . Mis à jour le . Rédaction : Boris Shutov, avec l’aide de ChatGPT. Notre méthode éditoriale.