Techniques et rechercheRecherche diffusée

StateTrack-Bench distingue le souvenir d’une règle de son application réelle

Source publiée le arXiv2 min de lecture

L’essentiel de l’annonce

StateTrack-Bench mesure si un modèle continue d’appliquer une contrainte au fil d’un dialogue. Le protocole sépare la capacité à rappeler la règle de son respect dans la réponse.

Date de publication de la source
Catégorie
Techniques et recherche
Périmètre et accès
Prépublication diffusée le 23 octobre, déposée le 22.
Sujet du contenu
Contraintes persistantes
Entreprises / organismes
Shenzhen University

Dialogue à profondeur variable

Chaque conversation introduit une contrainte persistante, ajoute des échanges qui ne la répètent pas puis teste une réponse à différentes profondeurs. Les règles couvrent le format, les nombres, le rôle, les faits et la logique. Deux branches indépendantes évaluent ensuite le rappel de la contrainte et son application. Cette séparation révèle les cas où un modèle sait réciter une règle mais cesse de la suivre.

Rappeler puis appliquer
1

Contrainte

Le dialogue établit une règle persistante.

2

Tours intermédiaires

Des échanges plausibles augmentent la profondeur.

3

Rappel et action

Deux branches mesurent ce que le modèle sait et ce qu’il applique.

Contrainte

Le dialogue établit une règle persistante.

Tours intermédiaires

Des échanges plausibles augmentent la profondeur.

Rappel et action

Deux branches mesurent ce que le modèle sait et ce qu’il applique.

Illustration simplifiée. Les dessins ne montrent pas de résultats mesurés.

Points techniques et opérationnels

  • Une règle peut être rappelée sans rester active.
  • Le benchmark mesure cinq familles de contraintes.

Écart rappel-action

Exemples possibles. L’annonce ne démontre pas de gains pour ces usages.

Exemple pédagogique

Exemple fictif

Un assistant se souvient d’un format obligatoire mais répond plus tard sans le respecter.

Deux questions pour évaluer l’intérêt

  • Distinguer oubli et non-respect.
  • Éviter les classements fondés sur des tableaux divergents.

Qui peut l’utiliser, avec quelles limites ?

Recherche diffusée

Le cœur du benchmark comporte 875 sorties sur sept versions figées de modèles. Une grande partie de la dégradation vient d’un modèle particulièrement fragile. Les auteurs signalent aussi des écarts de tableaux dans les résultats, donc aucun classement précis n’est repris ici.

Conditions d’accès : Prépublication publique et code annoncé. Aucun service ni tarif.

Benchmark de recherche

Interprétation éditoriale à partir de l’annonce.

Les tests de dialogue long peuvent vérifier l’application réelle des règles.

Les mots utiles pour comprendre

Évaluation d’un agent

Évaluer un agent consiste à lui donner des tâches et à examiner ses résultats avec des critères précis. Un score résume cette évaluation. Il faut lire les tâches et les réglages avant de conclure sur ses capacités.

Comprendre cette technologie

Sources et vérifications

arXiv - When LLMs Forget What They Believe: Characterizing State Integrity Collapse in Long-Horizon Dialogues

Lire la source officielle

Source vérifiée le . Synthèse originale. Les résultats annoncés restent attribués à leur source. Les dessins expliquent le principe ; les exemples présentent un usage possible.

Article, annexes et notice relus intégralement. Aucun modèle ni code exécuté.

Publié sur ce site le . Mis à jour le . Rédaction : Boris Shutov, avec l’aide de ChatGPT. Notre méthode éditoriale.