Échantillonner un événement rare sans confondre équilibre et performance

Pourquoi les événements rares posent un problème

Dans une série financière, une situation d’intérêt peut être beaucoup moins fréquente que les observations ordinaires. Une méthode qui cherche à anticiper le début d’une phase explosive, par exemple, rencontre alors une classe positive très minoritaire au milieu d’un grand nombre de dates négatives. Si l’on tire les exemples au hasard, l’échantillon peut contenir trop peu de cas utiles pour apprendre ou évaluer un modèle.

Le preprint de Jaskaran Singh, « Optimal Stratified Allocation for Rare-Event Onset Forecasting in Dependent Sequences », étudie ce problème sous l’angle de l’échantillonnage statistique. Il demande comment répartir un budget de K observations entre une classe abondante et une classe rare lorsque la perte d’apprentissage donne déjà un poids plus important à la classe rare. Le document relie ensuite cette allocation à une tâche de prévision sur des séquences dépendantes et à une procédure d’évaluation par blocs.

Ce guide présente la logique du papier et les précautions nécessaires pour la lire. Il ne propose pas une recette de trading. La question est celle de la qualité d’un échantillon et de la comparabilité d’un score, pas celle de la rentabilité d’une position.

Le cadre des deux strates

On considère une population finie de n exemples étiquetés. La classe négative compte N0 observations et la classe positive N1 = πn observations, avec π petite lorsque l’événement est rare. On veut sélectionner K observations, avec K beaucoup plus petit que n, en choisissant K0 tirages dans la première strate et K1 dans la seconde.

Le risque étudié est pondéré par classe. La classe positive reçoit le multiplicateur ω1 = N0/N1, qui compense son faible nombre dans une perte empirique. Cette pondération est fréquente dans les problèmes de détection, mais elle ne résout pas automatiquement le problème de sélection. Il reste à décider combien d’observations de chaque strate entreront effectivement dans l’échantillon.

Le résultat de base du papier est une formule de variance finie pour l’estimateur du risque pondéré lorsque l’échantillonnage se fait sans remise à l’intérieur de chaque classe. À partir de cette variance, les auteurs résolvent l’allocation de Neyman : le nombre de tirages doit dépendre de la taille de la strate et de sa dispersion, et non seulement de sa fréquence dans la population.

Pourquoi la pondération ne dit pas tout

Une intuition courante serait de tirer les observations en proportion de leur présence, puis de corriger le déséquilibre par la perte pondérée. Le papier montre pourquoi cette intuition peut être insuffisante. Le multiplicateur appliqué à la classe rare augmente sa dispersion pondérée exactement selon le rapport de déséquilibre. Dans le calcul présenté, ce rapport se simplifie dans l’allocation optimale.

Lorsque les deux strates ont une dispersion comparable avant pondération, l’allocation égale devient le défaut théorique, et non l’allocation proportionnelle. Dans ce cas, l’efficacité prédite par rapport à l’allocation proportionnelle est 1/{4π(1−π)}. Cette expression augmente lorsque π devient petit, ce qui formalise le coût d’un échantillon qui reproduirait trop fidèlement une classe rare.

Il ne faut pas lire cette conclusion comme une règle universelle imposant toujours 50 % de positifs. Si les dispersions des deux strates diffèrent, l’allocation de Neyman les prend en compte. L’allocation égale est le cas mis en avant lorsque la pondération et la dispersion conduisent à cette simplification. Les contraintes de disponibilité peuvent aussi limiter le nombre de positifs réellement tirables.

L’effet de l’échantillonnage aléatoire

Le papier compare l’échantillonnage stratifié à l’échantillonnage aléatoire simple. Ce dernier mélange les deux composantes de la variance : la dispersion à l’intérieur de chaque classe et une composante entre classes. Lorsque l’événement est rare et que la perte est pondérée, cette composante entre classes peut dominer. Un tirage stratifié rend la composition de l’échantillon contrôlable et évite de laisser la présence des rares positifs au seul hasard.

Cette idée a une conséquence pratique pour la lecture d’un résultat de machine learning. Un score élevé obtenu sur un échantillon enrichi en positifs ne peut pas être comparé directement à un score obtenu sur la population naturelle. Il faut conserver le plan d’échantillonnage, les poids et la définition de la métrique. Sinon, l’amélioration peut venir de la composition de l’évaluation plutôt que du modèle.

Les auteurs donnent aussi une borne de Serfling pour transférer l’allocation à une erreur de sélection sur un ensemble fini de candidats. Le rôle de cette borne est de relier une estimation dans un sous-échantillon à une erreur de sélection contrôlée, sous les hypothèses du cadre fini. Elle ne transforme pas une borne théorique en garantie de généralisation à un autre marché.

La contrainte de disponibilité

On ne peut pas tirer davantage de positifs qu’il n’en existe dans la population. Le papier étudie donc la troncature Kc = min{Nc, floor(K/2)}. L’allocation réalisée dépend alors du taux de positifs et du taux de fraction d’échantillonnage f. Le ratio γ = min{2π/f, 1} est indépendant de n dans cette formulation.

Cette contrainte rappelle une distinction importante : la meilleure allocation théorique et l’allocation faisable ne sont pas nécessairement identiques. Pour une classe extrêmement rare, demander une moitié de positifs peut épuiser la strate avant d’atteindre K/2. Il faut alors déclarer le nombre disponible, le nombre retenu et la manière dont le reste du budget est distribué.

Le papier propose une efficacité prédite A(π,f) = γ/{π(1−π)(1+γ)^2} pour le régime tronqué. Cette quantité résume l’effet de la prévalence et de la fraction échantillonnée dans le modèle étudié. Elle aide à comparer des plans, mais elle ne remplace pas une mesure empirique lorsque les exemples sont dépendants, les scores sont calibrés différemment ou la population change dans le temps.

Le cas des séquences financières

L’application du preprint concerne une détection de dates où une série de prix devient trop accélérée pour rester compatible avec une marche aléatoire. Le détecteur de Phillips–Shi–Yu marque après coup des dates d’exubérance ; le papier s’intéresse à la prévision du début de ces épisodes. Pour chaque action qui n’est pas déjà signalée, le système classe la probabilité que le détecteur commence à se déclencher dans un horizon de 5, 10 ou 20 jours de cotation.

La tâche utilise un panel de 350 actions américaines sur 2004–2011. Moins de 1 % des lignes sont positives. Les données sont organisées en cinq blocs d’évaluation avancés et purgés, afin de séparer dans le temps les blocs d’apprentissage et d’évaluation. Le sujet est donc une combinaison de rareté et de dépendance temporelle : une ligne voisine peut partager de l’information avec une autre, et une séparation naïve peut créer une fuite.

Le résultat à prévoir est un signal statistique, pas une vérité économique. Un détecteur peut se déclencher sur une accélération sans conséquence durable, et une phase spéculative peut ne pas le déclencher. Cette réserve est explicitement importante dans le papier : la prévision porte sur la sortie d’un test, non sur une garantie de mouvement futur ni sur la rentabilité d’une stratégie.

Évaluer par blocs

Lorsque plusieurs modèles sont ajustés sur des blocs différents, leurs scores peuvent ne pas être sur la même échelle. Le papier analyse une procédure qui classe un score dans la distribution empirique des scores de validation du même modèle. À l’intérieur d’un bloc, cette transformation préserve l’ordre. Lorsqu’on rassemble plusieurs blocs, elle mesure alors le décalage entre les modèles plutôt qu’une différence arbitraire d’échelle.

Les auteurs relient cette transformation à une p-value conforme avec une correction nV + 1. Ils étudient aussi une borne de mesurabilité pour les séquences et montrent comment un écart entre blocs, sous une hypothèse de dépendance faible, limite le départ à l’indépendance entre les parties. Le point méthodologique est simple à retenir : la purge temporelle et la normalisation des scores doivent être décrites ensemble.

Une évaluation reproductible devrait donc conserver au minimum la date de coupure, la largeur de la purge, l’horizon de prévision, la règle d’étiquetage, le plan d’allocation et la transformation appliquée aux scores. Changer un seul de ces éléments peut changer le nombre de positifs, la difficulté apparente et le budget de faux alertes.

Ce que rapportent les expériences

Dans l’expérience du papier, la précision moyenne atteint 5,8, 3,1 et 2,3 fois la prévalence pour les horizons de 5, 10 et 20 jours. La carte de rang augmente la précision moyenne agrégée entre blocs d’un facteur quatre. Au point de fonctionnement fixé sur validation, le système atteint un rappel d’épisode de 42,5 %, avec une avance médiane de 6,5 jours et 1,64 fausse alerte par action et par an.

Les auteurs testent la théorie d’allocation sur 54 configurations. À l’horizon de 10 jours, l’ordre de cinq points de conception prédit par A(π,f) est reproduit exactement, avec une corrélation de Spearman égale à 1 et une p-value exacte de 0,0167. Le papier indique toutefois que la dépendance prédite à π selon les horizons ne se vérifie pas entièrement. Les auteurs identifient les canaux qui sortent de l’argument fondé sur le plan d’échantillonnage au lieu de les absorber dans la théorie.

Ces chiffres ne doivent pas être transformés en classement de modèles ou en promesse de performance. Ils décrivent une expérience avec un détecteur, une période, un panel et un protocole précis. Ils montrent surtout que l’allocation et l’évaluation peuvent modifier l’information observable dans une classe rare.

Une procédure de lecture

Pour analyser un problème comparable, commencez par définir l’événement et son horizon sans regarder le résultat futur au moment où la décision aurait été prise. Mesurez ensuite la prévalence dans chaque bloc, plutôt que sur l’ensemble mélangé. Notez le nombre total de candidats, le budget K et le nombre réellement disponible dans chaque strate.

Calculez ou estimez la dispersion à l’intérieur des classes avant de choisir une allocation. Si vous utilisez des poids de classe, écrivez-les explicitement et vérifiez s’ils interviennent dans le calcul du risque, dans le tirage ou dans les deux. Un poids de perte ne remplace pas une stratégie de sélection documentée.

Séparez les blocs dans le temps et purgez les observations qui pourraient partager une information avec l’évaluation. Si plusieurs modèles produisent des scores sur des périodes différentes, vérifiez leur comparabilité avant de les agréger. Une transformation par rang peut aider à conserver les ordres intra-bloc, mais elle ne corrige pas toutes les formes de dérive.

Enfin, rapportez les résultats avec un budget de fausses alertes. Pour une détection rare, le rappel seul est insuffisant : le nombre d’alertes, leur concentration par action et l’avance temporelle changent la signification opérationnelle du score. L’expérience du papier fournit ces mesures ensemble, ce qui évite de présenter la précision moyenne comme une preuve isolée.

Limites et prudence

Le cadre porte sur une population finie et des hypothèses de dépendance précises. La bonne allocation dépend des dispersions, de la disponibilité des positifs et de la fraction échantillonnée. Une série différente, une prévalence variable ou une dépendance plus forte peut rendre les approximations moins adaptées.

Le détecteur étudié n’est pas l’événement lui-même. Une alerte ne prouve pas une bulle, et une absence d’alerte ne prouve pas l’absence d’épisode. Le papier ne réalise pas de backtest et ne revendique aucune rentabilité. Rien dans ses résultats ne constitue un conseil d’achat, de vente, de positionnement ou de gestion du risque.

Le document est un preprint ArXiv, version 2609.04420v1, et sa validation par les pairs n’est pas acquise. Les formules, chiffres et limites doivent être relus dans le protocole complet avant toute réutilisation. Le bon usage de cette publication est de renforcer la discipline d’échantillonnage et de mesure, pas de promettre qu’un signal rare deviendra exploitable.

Sources

Jaskaran Singh, « Optimal Stratified Allocation for Rare-Event Onset Forecasting in Dependent Sequences », ArXiv 2609.04420v1, publié le 3 septembre 2026 : résumé et preprint, PDF.