Google compare le tutorat Gemini à des aides humaines et mesure ses limites en classe

1Présentation

Google présente deux évaluations menées dans des établissements scolaires au Royaume-Uni et en Italie. L’étude britannique a comparé pendant dix semaines un indice fixe, un tutorat humain et un tutorat fondé sur Gemini auprès d’élèves de 12 à 15 ans.

Les réponses de l’IA étaient contrôlées en temps réel par des experts avant d’être montrées aux élèves. L’étude italienne a suivi l’utilisation de Gemini pour préparer des cours dans 31 établissements, à partir des activités de classe et des déclarations de 1 600 enseignants.

2Ce qui change

Les deux études apportent des protocoles et des limites différents plutôt qu’une seule mesure globale de l’efficacité de Gemini.

Comparer trois formes d’aide au Royaume-Uni

Plus de 1 100 élèves ont reçu un indice fixe, un tutorat humain ou un tutorat IA pendant dix semaines. Des experts contrôlaient chaque réponse de l’IA. Les performances sur les exercices et quiz étaient proches de celles du tutorat humain, sans effet visible sur le test STAR.

Expliquer l’écart entre les mesures

Le tutorat pas à pas a pris davantage de temps. Les élèves concernés ont traité environ 14 problèmes par séance contre 19 avec les indices fixes, ce qui a réduit la couverture du programme pendant l’essai.

Observer les pratiques de classe en Italie

L’étude italienne porte sur 1 600 enseignants représentant plus de 24 500 élèves. Elle décrit davantage d’activités collaboratives et des déclarations positives, mais son protocole ne permet pas la même attribution causale que l’essai britannique.

3Fonctionnement

L’évaluation sépare le type d’aide reçu, la supervision des réponses et plusieurs niveaux de résultats afin d’éviter une conclusion fondée sur un seul score.

4Usages possibles

Ces résultats sont utiles aux établissements et chercheurs qui veulent tester un assistant pédagogique sans confondre qualité des réponses, engagement et progression générale.

5Accès et limites

Google publie et interprète les deux études. Au Royaume-Uni, les gains sur les exercices et quiz ne se retrouvent pas dans le test standardisé STAR. Les élèves avec tutorat IA ont résolu moins de problèmes par séance que ceux recevant un indice fixe. En Italie, les comparaisons reposent en grande partie sur des déclarations et des activités observées. Elles ne démontrent pas la même causalité qu’un essai randomisé. Les résultats ne justifient pas de remplacer les enseignants.

Conditions d’accès. Études en établissements scolaires. Les protocoles, accès à Gemini et supervision varient selon le pays et le projet.

6Pour votre projet

Comparer plusieurs mesures d’apprentissage et documenter le rôle exact des enseignants ou relecteurs avant d’attribuer un effet au tutorat IA.

• Les réponses sont-elles relues avant leur affichage aux élèves et selon quels critères ?
• Les mesures couvrent-elles les exercices immédiats, le programme parcouru et un test indépendant ?

Une expérimentation locale doit conserver des mesures pédagogiques et des règles de supervision adaptées à l’âge des élèves.