NgramRL réutilise les réponses passées pour accélérer l’entraînement des modèles

1Présentation

NgramRL est une méthode étudiée par des chercheurs de l’université de Californie à San Diego et de West Virginia University. Elle intervient lorsqu’une IA déjà entraînée apprend à améliorer ses réponses à partir d’évaluations. Cette étape s’appelle le post-entraînement par renforcement.

Pendant ce travail, le modèle répond plusieurs fois aux mêmes consignes. Certaines parties de ses réponses se répètent. NgramRL garde des fragments récents pour proposer plus vite la suite d’une nouvelle réponse. Le modèle principal vérifie ces propositions avant de les utiliser.

La méthode garde cette mémoire dans le processeur, la puce qui exécute les calculs courants. Elle cherche aussi à préparer les prochains fragments pendant que la carte graphique travaille. L’objectif est de réduire les temps d’attente entre ces deux composants, sans ajouter un second modèle d’IA.

2Ce qui change

Cette prépublication présente une méthode d’entraînement. Il ne s’agit pas d’une nouvelle version d’un assistant que l’on peut utiliser directement.

Réutiliser les réponses récentes

La méthode conserve de petits morceaux de texte pour chaque consigne. Lorsque cette consigne revient, ces morceaux peuvent servir de propositions. Ils viennent des réponses récentes du modèle, ce qui permet de renouveler cette mémoire à mesure que son entraînement avance.

Préparer la suite pendant les calculs

Le processeur cherche des fragments possibles pendant que la carte graphique vérifie la réponse en cours. Ce travail en parallèle cherche à limiter les pauses. Si les propositions préparées ne conviennent pas, le système revient à la recherche habituelle. Il ne les impose pas au modèle.

3Fonctionnement

Le modèle continue de décider quels fragments sont acceptés.

4Usages possibles

Cette approche peut intéresser une équipe qui entraîne une IA sur des tâches répétées. Elle vise la production des réponses pendant cet entraînement. Elle ne rend pas directement un assistant public plus rapide.

5Accès et limites

L’étude porte sur deux familles de modèles de 7 à 8 milliards de paramètres et trois types de tâches, les mathématiques, les questions sur des bases de données et le code.

Sur un essai avec Qwen et le jeu de questions Spider, les auteurs annoncent une génération des réponses 1,38 fois plus rapide que leur propre variante sans préparation anticipée. Ce chiffre ne mesure pas l’accélération d’un entraînement complet. Sur d’autres tâches, le gain de cette préparation reste de 5 à 6 %.

L’intérêt dépend des répétitions dans les réponses, de la mémoire déjà remplie et du matériel. Ces résultats n’ont pas été reproduits indépendamment pour cette fiche.

Conditions d’accès. L’article de recherche est public. La méthode demande une intégration dans les logiciels d’entraînement. Aucun service prêt à l’emploi n’est établi ici.

6Pour votre projet

Avant d’envisager cette méthode avec une équipe technique, deux points méritent d’être examinés.

• Les mêmes consignes et les mêmes fragments reviennent-ils assez souvent pendant l’entraînement ?
• Le gain reste-t-il utile lorsque l’on mesure tout l’entraînement, avec le matériel réellement disponible ?

Des essais sur votre propre entraînement restent nécessaires pour mesurer l’intérêt de cette méthode.