Une stratégie découverte par un LLM doit payer le coût de sa recherche

Le meilleur résultat est souvent sélectionné

Un agent qui découvre des stratégies peut générer de nombreuses hypothèses, les tester, puis ne présenter que la meilleure. Le chiffre final ressemble alors à une performance, alors qu’il contient aussi le coût de sélection parmi les essais. Le preprint d’Eray Gençay propose une évaluation qui traite ce coût comme une donnée structurelle, au même titre que les rendements ou les transactions.

Le système corrige deux problèmes séparément. D’abord, la fuite d’information : les variables utilisées par une stratégie ne doivent pas regarder le futur. Ensuite, l’intensité de recherche : chaque candidat évalué augmente la possibilité qu’un gagnant apparent soit dû au hasard. Une correction statistique de l’un ne remplace pas le contrôle de l’autre.

Un espace d’actions validé

L’agent ne peut agir qu’au moyen d’outils validés par un registre. L’espace de caractéristiques exclut par construction les variables qui introduiraient un regard vers le futur. Les stratégies sont représentées comme des plans déclaratifs et chaque évaluation est enregistrée.

Cette frontière est plus robuste qu’une consigne textuelle demandant à l’agent de ne pas tricher. Un outil peut rejeter une caractéristique non disponible à la date de décision, vérifier la période et conserver la trace de la demande. Le registre ne rend pas automatiquement une stratégie bonne, mais il empêche une famille de fuites avant que la statistique finale ne soit calculée.

L’étude montre pourquoi cette séparation compte. Un oracle volontairement fuyant obtient un Sharpe de 35 et survit pourtant complètement au Deflated Sharpe Ratio et au test de probabilité de surajustement de backtest. Si l’information est contaminée, la correction de multiplicité ne peut pas la nettoyer.

Le registre des essais

Le second instrument est un ledger complet de chaque stratégie évaluée par la recherche. Le meilleur Sharpe in-sample est une fonction croissante du nombre d’essais : plus l’agent essaie de candidats, plus il est probable qu’un maximum élevé apparaisse. Le seuil de certification doit donc augmenter avec le budget de recherche et la dispersion des résultats.

Le Deflated Sharpe Ratio mesure cette sélection par rapport au nombre d’essais. La Probability of Backtest Overfitting complète la lecture en examinant si les rangs obtenus sur la période de conception se maintiennent hors échantillon. Enfin, une fenêtre d’évaluation et un intervalle de confiance vérifient si l’effet absolu persiste.

Ces instruments ne répondent pas à la même question. Le DSR demande si le meilleur résultat est exceptionnel compte tenu de la recherche. Le PBO demande si le classement semble se dégrader sous une séparation temporelle. L’intervalle hors échantillon demande si la performance observée est compatible avec une contribution non nulle. Les combiner évite de confondre chance de sélection, surajustement et perte de niveau.

Un exemple d’effondrement hors échantillon

Dans l’une des expériences, l’agent cherche sur un univers de 453 actions américaines avec coûts de transaction, impact et emprunt réalistes. Sa meilleure découverte, une stratégie contrariante fondée sur RSI et score de volume, obtient un Sharpe de conception de 1,69 après 102 essais. Le seuil de déflation atteint 1,21 et le DSR reste à 0,86, sous le niveau de certification de 0,95.

Sur la période de test, la stratégie tombe à un Sharpe de 0,18, avec un rendement de 4,7 % sur quatre ans et un intervalle de confiance allant de -0,80 à 1,14. L’achat-conservation rapporte 40,8 % dans la même comparaison. Le PBO reste bas, à 0,01, parce que la stratégie conserve son rang parmi des candidats largement perdants tout en perdant son niveau absolu. C’est précisément pourquoi le classement ne suffit pas.

Dans une seconde expérience multi-actifs sur 39 ETF, l’agent découvre une stratégie avec un Sharpe de conception de 0,37, puis -0,23 hors échantillon, pour un rendement de -21 %. Le PBO de 0,80 annonçait déjà cette dégradation avant l’ouverture de la fenêtre d’évaluation. Les benchmarks passifs, eux, obtiennent des intervalles qui excluent zéro dans le tableau présenté.

Reproductible ne veut pas dire certifié

Les auteurs répètent la découverte sur un second modèle frontière. Le comportement de recherche change, mais le verdict reste négatif : aucune des recherches de cent candidats ne produit une stratégie certifiable. Cinq répétitions indépendantes convergent vers une famille de stratégies de breakout de volatilité ; elles sont toutes bénéficiaires hors échantillon dans la condition rapportée, mais aucune ne survit à la déflation liée à son propre budget d’essais.

Cette situation est instructive. La découverte peut être reproductible comme programme et comme famille d’idées, tout en restant insuffisamment probante. La stabilité de la forme ne supprime pas la multiplicité. Si l’agent a essayé assez de variantes, une famille rentable peut apparaître régulièrement sans que le résultat dépasse le seuil exigé par la recherche effectuée.

La puissance statistique compte

Le papier rappelle que le t-statistic d’un Sharpe augmente approximativement comme le Sharpe multiplié par la racine carrée du nombre d’années. Un Sharpe vrai de 0,6 demande environ onze années hors échantillon pour atteindre un t d’environ 2, avant même d’augmenter le seuil à cause de la recherche. Ainsi, l’absence de certification sur quatre ans ne prouve pas l’absence d’un petit avantage ; elle quantifie le manque de données.

Cette nuance évite deux erreurs opposées. Un rendement positif sans intervalle ni correction n’est pas une preuve de compétence. Un intervalle qui couvre zéro ne prouve pas non plus que la stratégie est nulle. La bonne conclusion est une conclusion sur l’évidence disponible, la puissance et le coût de la recherche.

Applications au-delà du trading

Le motif est général. Un agent de code qui essaie de nombreuses corrections avant de présenter le meilleur patch doit comptabiliser les candidats. Un agent scientifique qui classe de multiples hypothèses doit conserver toutes les hypothèses scorées. La formule exacte change selon le domaine, mais l’exigence reste la même : le nombre réel d’essais doit entrer dans la correction.

Pour un service agentique, cela implique un journal append-only des candidats, des outils autorisés, des données visibles, des périodes d’entraînement et des tests de validation. Les stratégies rejetées ne doivent pas disparaître simplement parce qu’elles ne sont pas montrées dans l’article final. Sans ce registre, le lecteur ne peut pas distinguer une idée préenregistrée d’un résultat sélectionné après exploration.

Limites et statut de la source

L’univers d’actions est une liste courante avec une couverture imparfaite des sociétés radiées. Les expériences utilisent deux modèles et un espace de caractéristiques principalement fondé sur les prix ; les données fondamentales et de sentiment sont exclues des runs principaux. La fenêtre 2017–2025 contient aussi une forte hausse de l’or et des actions, ce qui défavorise certaines stratégies de timing.

Le DSR suppose des essais échangeables et le PBO devient grossier lorsque le nombre de candidats est faible. Le portage d’un système humain peut être fidèle au niveau des règles sans reproduire toute la microstructure. Le texte est un preprint ArXiv, pas nécessairement évalué par les pairs, et ne constitue pas un conseil en investissement.

La conséquence opérationnelle est de verrouiller la période d’évaluation avant de consulter les résultats. Toute modification du registre, de l’univers, des coûts ou des caractéristiques visibles doit créer une nouvelle version de l’expérience. Sinon, l’équipe peut augmenter silencieusement les degrés de liberté après avoir vu le premier classement et sous-estimer à nouveau le prix statistique de la recherche. Les résultats négatifs, les essais invalides et les variantes qui n’ont jamais atteint la fenêtre hors échantillon doivent rester identifiables dans le journal.

Sources

Eray Gençay, « What survives honest evaluation? Leakage-safe, search-aware assessment of LLM-driven trading strategy discovery », ArXiv 2608.27734v1 : preprint, PDF.