Google généralise Computer Use dans les deux interfaces de l’API Gemini
L’essentiel de l’annonce
Computer Use passe en disponibilité générale sur Interactions et GenerateContent. Les développeurs peuvent bâtir des agents qui lisent un écran et proposent des actions, avec un environnement d’exécution à leur charge.
- Date de la source
- Catégorie
- Agents et développement
- À qui cela s’adresse
- Annonce du 30 octobre 2026, distincte de la préversion antérieure. Documentation relue le 31 octobre.
- Sujet du contenu
- Computer Use passe en disponibilité générale
- Entreprises / organismes
- Technologies
- Agent IA, Modèle multimodal, Interface interactive
Présentation
Google annonce le 30 octobre la disponibilité générale de Computer Use dans les interfaces Interactions et GenerateContent de l’API Gemini. Cet outil permet à un modèle d’observer une capture d’écran et de proposer des clics, des frappes au clavier ou des déplacements dans une application.
Le changement porte sur le statut d’accès d’une capacité déjà proposée en préversion. Google ne fournit pas automatiquement un ordinateur hébergé prêt à travailler. Le développeur doit exécuter les actions, transmettre les nouveaux écrans et gérer les confirmations nécessaires.
Ce qui change
L’ouverture générale concerne le même outil de manipulation visuelle, accessible par les deux interfaces de programmation Gemini.
Observer plusieurs types d’environnement
Le guide décrit des environnements navigateur, mobile et bureau. Les actions possibles dépendent de cet environnement et doivent être prises en charge par l’application.
Conserver le contrôle des actions
Le modèle propose une action structurée et peut signaler un besoin de confirmation ou un blocage. L’application applique cette décision puis renvoie le nouvel écran pour poursuivre.
Fonctionnement
L’agent progresse par échanges successifs entre une capture d’écran, une proposition du modèle et le résultat de l’action exécutée par l’application.
Présenter l’écran
L’application transmet une capture, la demande et la configuration de l’environnement.
Contrôler la proposition
Elle reçoit une action, vérifie les restrictions et demande confirmation si nécessaire.
Exécuter et observer
L’action autorisée est exécutée, puis une nouvelle capture alimente la suite du parcours.
Usages possibles
Pour les développeurs et équipes qualité, l’intérêt possible concerne les saisies répétitives et les tests d’interfaces. La disponibilité générale ne dispense pas de mesurer les erreurs sur ces parcours.
Exemple possible
Un exemple possible
Une équipe pourrait préparer un environnement de test sans données réelles et demander à l’agent de remplir un formulaire fictif. Elle vérifierait ensuite le résultat et les actions proposées avant d’étendre le scénario.
Accès et limites
L’outil peut commettre des erreurs et présenter des vulnérabilités. Google déconseille les décisions critiques, les données sensibles et les actions dont les erreurs graves ne peuvent être corrigées. Le développeur reste responsable de l’environnement isolé et du traitement des actions bloquées ou à confirmer. La détection des instructions malveillantes dans les captures est facultative et désactivée par défaut. Le statut général de l’outil ne rend pas général chaque modèle compatible. Aucun tarif précis ni gain de fiabilité vérifié ici. Aucun service essayé.
Conditions d’accès. API Gemini, modèles compatibles et environnement d’exécution géré par le développeur. Contrôles des actions et confirmations à intégrer.
Pour votre projet
Prévoir l’environnement d’exécution, les permissions et les points de reprise humaine avant de construire un parcours réel.
- L’environnement et les actions autorisées correspondent-ils au risque du parcours ?
- Les confirmations, erreurs et interruptions sont-elles traitées avant toute exécution ?
Le guide liste des modèles compatibles de statuts différents, dont un modèle en préversion.
Sources et vérifications
Source de l’annonce
Gemini API release notes — October 30, 2026 — Computer Use generally available
Lire la source officielleSources complémentaires
- Guide officiel Computer Use
Fonctionnement, environnements, modèles compatibles, restrictions et traitement des confirmations. Exemples consultés sans exécution.
Source vérifiée le . Les résultats présentés sont ceux annoncés par les auteurs.
Sources consultées lors de la tâche planifiée. Aucun logiciel présenté n’a été installé ni essayé.
Fiche préparée avec ChatGPT. Notre méthode éditoriale.