Article · Finance & statistiques
Détecter et réduire la collusion apprise entre agents
CURB relie les menaces de représailles à une dépendance conditionnelle des politiques pour désamorcer des équilibres collusifs.
La collusion peut émerger sans message
Des agents de renforcement qui maximisent chacun leur récompense peuvent apprendre des prix supra-compétitifs dans un jeu répété, sans communication explicite ni conception partagée. Karthik Sivachandran et Rohan Paleja relient ce comportement à la théorie des Simple Penal Codes.
Mesurer les menaces de représailles
Les auteurs montrent qu'un code de pénalité non trivial induit une dépendance conditionnelle mesurable : la distribution d'action d'un agent change selon que l'historique ressemble à une coopération ou à une défection. La distance de variation totale fournit un signal pour repérer cette dépendance.
CURB, pour Collusion Unwinding via Reward shaping and Belief injection, pénalise ce signal pendant l'apprentissage Q. Le résultat théorique annoncé transforme les points fixes collusifs de ces codes en points triviaux.
Résultats rapportés
Empiriquement, CURB réduit fortement la collusion dans des jeux répétés de concurrence de Bertrand et Cournot. Les auteurs montrent aussi une extension à des agents deep Q-network dans Bertrand, au-delà du Q-learning tabulaire.
Interprétation éditoriale : surveiller les relations, pas seulement les sorties
Dans un système multi-agent, une règle de sécurité peut surveiller les corrélations conditionnelles entre actions et historiques, pas seulement chaque action isolée. Une récompense globale qui paraît correcte peut pourtant favoriser un mécanisme de représailles. Les seuils et les conséquences d'une détection doivent rester auditables.
Limites et statut de la source
Les garanties et expériences sont liées aux jeux répétés et aux familles d'agents étudiées. Elles ne remplacent pas une analyse juridique ou économique d'un marché réel. Le document est un preprint ArXiv.
Source
Karthik Sivachandran et Rohan Paleja, « Mitigating Retaliatory Algorithmic Collusion in Repeated Games », ArXiv 2609.20548v1 : résumé et preprint, PDF.