Techniques et rechercheÉtude et ressources de recherche publiques

miHoYo et Tsinghua étudient comment entraîner des agents visuels à jouer en temps réel

Source publiée le Équipe GameScaling / arXiv3 min de lecture

L’essentiel de l’annonce

L’équipe GameScaling, qui associe miHoYo, Tsinghua et plusieurs universités, publie une étude sur l’apprentissage d’agents dans des jeux vidéo. Elle fait varier la taille des modèles, les heures de jeu et le mélange des environnements. Les résultats montrent surtout des progrès dans les mondes proches de l’entraînement, avec un rôle décisif du temps de réponse.

Date de publication de la source
Catégorie
Techniques et recherche
Périmètre et accès
Nouvelle annonce publique arXiv du 22 octobre 2026, après dépôt le 20 à 11 h 09 UTC. La disponibilité initiale des ressources est distincte.
Sujet du contenu
Agir pendant que l’environnement évolue
Entreprises / organismes
miHoYo, Tsinghua University

Comment cela fonctionne

Les chercheurs poursuivent l’entraînement de modèles Qwen3.5 à partir de parties enregistrées. L’agent reçoit l’image courante et un historique court, puis produit des commandes de clavier et de souris couvrant 200 millisecondes. L’étude compare 120 configurations et quatre évaluations. Elle sépare les parties mises en pause pendant le calcul des parties qui continuent à évoluer. Un modèle peut choisir une action pertinente mais agir trop tard pour la situation affichée. Le projet fournit un client d’inférence et annonce huit jeux de poids. Il s’agit de ressources de recherche à exécuter dans un environnement adapté, pas d’un service de jeu prêt à l’emploi.

Agir pendant que l’environnement évolue

Texte seulement

Lire les paragraphes

Le modèle utilise les informations écrites que vous lui donnez.

Texte + image

Lire aussi le visuel

Un modèle multimodal peut examiner une image, selon ses capacités.

Par exemple, un graphique peut contenir des chiffres qui ne figurent pas dans les paragraphes du document.

Lire l’image du jeu

Le modèle reçoit une vue et un historique court.

Produire une courte séquence

L’agent génère les prochaines commandes de clavier et de souris.

Mesurer l’action en contexte

Le protocole sépare environnement figé et jeu en temps réel.

Illustration simplifiée. Les dessins ne montrent pas de résultats mesurés.

Points techniques et opérationnels

  • La diversité des parties aide surtout le transfert vers des mondes proches.
  • Un bon résultat en temps réel ne démontre pas une supériorité générale.

Ce que cela pourrait changer

Exemples possibles. L’annonce ne démontre pas de gains pour ces usages.

Exemple pédagogique

Un exemple pour comprendre

Dans un exemple fictif de jeu, un obstacle se déplace pendant que l’agent prépare une action. Une décision adaptée à l’image précédente peut devenir inutile lorsqu’elle arrive. Mettre le jeu en pause changerait ce qui est mesuré.

Deux questions pour évaluer l’intérêt

  • Vérifier si l’environnement avance pendant le calcul.
  • Comparer des modèles avec leurs réglages et leurs conditions d’hébergement.

Qui peut l’utiliser, avec quelles limites ?

Étude et ressources de recherche publiques

Les modèles étudiés tournent sur des GPU H200, tandis que d’autres sont appelés par les interfaces de leurs fournisseurs. La latence et les réglages de raisonnement influencent la comparaison. Le corpus complet et le code d’entraînement ne sont pas distribués. Le transfert vers des jeux très différents reste limité et ne prouve pas une compétence générale sur ordinateur.

Conditions d’accès : Client d’inférence et poids annoncés. Hébergement et ressources matérielles nécessaires, corpus d’entraînement non publié.

La portée de l’annonce

Interprétation éditoriale à partir de l’annonce.

L’évaluation d’un agent interactif dépend du temps dont il dispose pour décider. Les résultats invitent à publier le score, la latence et l’infrastructure ensemble, dans le périmètre du jeu étudié.

Les mots utiles pour comprendre

Modèle multimodal

Un modèle multimodal peut lire plusieurs formats, comme le texte et les images. Dans un rapport, il peut examiner un paragraphe et le graphique qui l’accompagne. Les formats réellement pris en charge dépendent de l’outil.

Comprendre cette technologie

Agent IA

Un agent IA organise plusieurs étapes et utilise des outils pour réaliser une demande. Il peut préparer une action ou l’exécuter si elle est autorisée. L’équipe doit définir les étapes qui demandent une validation humaine.

Comprendre cette technologie

Exécution d’un modèle

Exécuter un modèle consiste à lui envoyer une demande et à utiliser du calcul pour produire son résultat. Le délai dépend du modèle, du matériel et des autres tâches en cours. Une mise à jour du logiciel peut modifier ce fonctionnement sans changer les connaissances du modèle.

Comprendre cette technologie

Sources et vérifications

Équipe GameScaling / arXiv - Scaling in Games: Continued Pre-Training For Embodied Agents In Diverse Virtual Worlds

Lire la source officielle

Source vérifiée le . Synthèse originale. Les résultats annoncés restent attribués à leur source. Les dessins expliquent le principe ; les exemples présentent un usage possible.

Sources primaires publiques relues le 22 octobre 2026. Lecture documentaire, sans essai du produit.

Publié sur ce site le . Mis à jour le . Rédaction : Boris Shutov, avec l’aide de ChatGPT. Notre méthode éditoriale.