L’apprentissage par renforcement utilise un retour sur les essais d’un agent pour orienter ses prochains choix. On définit ce qui compte comme une réussite. Si cette évaluation est mal choisie, l’agent peut apprendre un comportement peu utile.
Comprendre le mécanisme
Apprendre de ses choix avec un retour chiffré
L’apprentissage par renforcement fait interagir un agent avec un environnement. Il reçoit une situation, choisit une action et obtient un retour chiffré, appelé récompense. L’apprentissage vise à augmenter les récompenses cumulées du parcours.
Une équipe pourrait simuler le rangement de colis fictifs. Elle attribuerait des points pour un rangement correct et une pénalité pour un colis oublié. Elle réserverait ensuite des situations nouvelles au contrôle, afin de comparer le score avec le rangement réellement attendu.
Récompense et réussite réelle
Une règle de points peut oublier une contrainte importante. Un score élevé ne suffit alors pas à démontrer que le résultat répond au besoin.
Dans un projet
Améliorer un agent à partir de ses essais
Une équipe définit une tâche et un critère de réussite. Le système utilise le retour sur les essais pour orienter les prochains choix de l’agent. Une évaluation mal définie peut favoriser un résultat qui obtient un bon score sans répondre au besoin.
Vous fournissez
Simulation fictive, actions possibles et règle de points.
Vous contrôlez le résultat
Comportement appris à tester sur d’autres situations fictives.
Exemple fictif. Il illustre un usage, sans résultat mesuré.
Les points à vérifier
Vérifiez le critère de réussite, les données des essais et les résultats sur de nouvelles tâches.
Résultat attenduCompter les rangements corrects en dehors des essais d’apprentissage.
Contraintes oubliéesCompter les erreurs que la règle de points ne pénalise pas.
Effort d’apprentissageRelever le nombre d’essais nécessaires et les variations entre répétitions.
Brush comprend la structure d'un design et utilise une boucle d'actions et de contrôle visuel pour le retoucher dans Canva AI. Les modifications prises en charge sont proposées aux abonnés Canva Pro, avec des fonctions encore à venir.
Déploiement progressifOffre payante
Accès
Annonce officielle et disponibilité initiale vérifiées
À prévoir
Modifications compatibles dans Canva AI pour Canva Pro. Extension de l'accès et fonctions supplémentaires annoncées sans calendrier précis.
Des chercheurs proposent de réutiliser des morceaux de réponses pendant l’entraînement d’une IA. Leur méthode, NgramRL, vise à réduire les calculs répétés. Elle concerne les équipes qui entraînent des modèles et reste un travail de recherche.
Recherche publiéeTarif à vérifier
Accès
Prépublication de recherche
À prévoir
L’article de recherche est public. La méthode demande une intégration dans les logiciels d’entraînement. Aucun service prêt à l’emploi n’est établi ici.
Microsoft et Hugging Face publient une méthode qui entraîne un agent à partir de contrôles exécutables sur l’état final d’une base de données. La récompense dépend du résultat réellement enregistré, pas de la déclaration de l’agent. Le code est ouvert, mais le jeu privé utilisé pour l’entraînement et l’importante infrastructure de calcul ne le sont pas.
Recherche publiéeTarif à vérifier
Accès
Recherche publiée
À prévoir
Article et code publiés sous licence MIT. Le jeu privé de 187 tâches et l’infrastructure utilisée pour les résultats ne sont pas fournis.
L’Agentic AI Foundation, hébergée par la Linux Foundation, accueille Agent Skills, Open Responses, OpenEnv et OpenSandbox. Ces projets existaient déjà. La nouveauté du 22 octobre est leur passage sous une gouvernance commune et neutre, avec des rôles complémentaires dans la construction d’agents.
DisponibleTarif à vérifier
Accès
Quatre projets existants rejoignent la fondation
À prévoir
Projets et spécifications publics. Les coûts dépendent des implémentations, de l’infrastructure et des services choisis.
StepFun publie le 15 octobre une présentation technique de Step 5 Preview. Elle décrit des choix d’architecture, de construction des données et d’apprentissage destinés aux tâches longues avec appels d’outils.
Recherche publiéeTarif à vérifier
Accès
Présentation technique et poids consultables
À prévoir
Poids sous StepFun Model License 1.0, avec conditions particulières. Plusieurs GPU (processeurs spécialisés dans le calcul) requis dans les exemples. Le billet ne date pas la première sortie des poids.
Agent Lightning enregistre le travail d’un agent avec ses outils habituels. Microsoft propose d’utiliser l’évaluation des résultats pour orienter l’entraînement et tester de nouveaux comportements.
Recherche publiéeTarif à vérifier
Accès
Recherche et code ouvert
À prévoir
Code publié ; installation et ressources de calcul nécessaires.
