Article · IA & agents
PetriBench : tester le raisonnement sur des états qui évoluent
Des réseaux de Petri générés procéduralement offrent un test autonome de portée locale, globale, finie et infinie.
Sortir des problèmes purement narratifs
Un réseau de Petri représente des places, des transitions et des jetons. Le tir d'une transition modifie l'état selon des règles formelles. Cette représentation permet de poser des questions dont la réponse exacte ne dépend pas d'une connaissance externe.
Résultats rapportés
PetriBench organise des tâches locales ou globales, à horizon fini ou infini : nombre minimal de tirs, marquages accessibles, blocage, bornitude et vivacité. Les instances sont générées à trois niveaux de difficulté et leurs réponses sont vérifiées par un solveur TINA ainsi que par des preuves ou contre-exemples propres à la tâche. Les auteurs observent une baisse régulière de l'exactitude avec la difficulté. Le calcul supplémentaire au moment du test améliore les scores, mais de façon différente selon la tâche. La profondeur causale et les distracteurs produisent une progression contrôlée, tandis que le format de sérialisation modifie modestement les scores sauf pour la tâche locale à horizon fini.
Interprétation éditoriale
Ce type de benchmark aide à séparer raisonnement sur l'état, suivi de procédure et simple reconnaissance de motifs. Il peut compléter les tests d'agent logiciel, à condition de ne pas transformer sa performance en mesure générale de l'intelligence ou de la sûreté.
Limites
Les réseaux de Petri sont une abstraction formelle. Une bonne réponse sur ces graphes ne prouve pas qu'un modèle saura suivre un système réel, ses données bruitées ou ses exceptions métier. Les effets de format et les échecs de parsing restent aussi une partie du résultat observé.
Source
Résultats des auteurs, ArXiv 2609.19883v1 : résumé et preprint, PDF.