Article · Finance & statistiques
Un bon score de prévision peut-il être un artefact ?
Pourquoi la réutilisation des références peut gonfler une évaluation de prévision et comment séparer l'apprentissage de la certification.
Un score n'est pas encore une preuve
Un modèle peut sembler meilleur parce qu'il est évalué avec les mêmes références que celles qui ont servi à construire la comparaison. Le preprint de Pin Ni, Francesca Medda et Ramin Okhrati étudie ce problème dans des scores fondés sur des rangs : la prévision, le résultat et la référence partagent alors une source qui peut fabriquer de l'association.
Ce que les auteurs rapportent
Les auteurs décomposent le score attendu en une cible et une interaction liée aux paires de cartes et aux références. Leur résultat théorique identifie une condition de préservation uniforme : l'absence de recouvrement pondéré entre références pour chaque paire de cartes. Ils proposent ensuite un noyau à trois trajectoires, des validations indépendantes et des bornes finies.
Dans l'archive de qualité de l'air de Pékin, l'interaction représente 91,4 à 94,5 % du score partagé attendu de sept prévisions. Dans une expérience nulle contrôlée par catégorie, utiliser des références distinctes réduit les rejets de 402 à 41 sur 1 000 panels. Ces nombres sont les résultats rapportés par les auteurs dans le protocole décrit ; ils ne constituent pas une mesure universelle de la fraude aux benchmarks.
Lecture éditoriale : auditer le protocole avant le modèle
Pour une équipe qui compare des prévisions de ventes, de trafic ou de marché, la première question n'est pas seulement « quel modèle a le meilleur score ? ». Il faut aussi demander quelles observations ont servi à l'apprentissage, à la validation et à l'évaluation, puis vérifier si une même référence peut déplacer simultanément les deux côtés de la comparaison.
La séparation des pools est une règle d'audit concrète. Elle ne rend pas automatiquement l'évaluation causale ni prédictive dans le futur : elle clarifie simplement la quantité mesurée et la source de son incertitude.
Limites et statut de la source
Le protocole dépend d'hypothèses de trajectoires indépendantes conditionnellement à l'apprentissage, de validations indépendantes et, pour certaines bornes, de masses de catégories connues. Les auteurs signalent que les archives ne démontrent ni une perte future ni un gain d'acquisition reproductible. Les résultats restent ceux d'un preprint et d'expériences particulières.
Source
Pin Ni, Francesca Medda et Ramin Okhrati, « When a High Score Is an Illusion: Certifying Genuine versus Repackaged Forecasting Skill », ArXiv 2609.19223v1 : résumé et preprint, PDF.