Attention de Nyström : alléger une relation entre actions sans la rendre parcimonieuse

Une attention presque uniforme

Les modèles qui classent des actions peuvent utiliser une attention entre titres pour mélanger de l'information transversale. Le papier de Kunhan Guo examine le module inter-actions de MASTER et pose une question simple : si les poids sont presque uniformes, quelle partie de la structure porte réellement la valeur prédictive ?

Sur CSI300, la perplexité de l'attention est annoncée à 278 sur 300, proche de l'uniformité. Pourtant, forcer tous les poids à être exactement égaux supprime la discrimination entre titres. L'écart à la moyenne ne représente que 1,3 % de l'énergie de sortie, mais il est la source de la variance transversale observée dans les expériences.

Rang faible contre sparsification

L'analyse spectrale décrit l'écart entre la matrice d'attention et la matrice uniforme comme une structure de rang effectif d'environ 65. Les dix premiers modes capturent 96,5 % de sa norme de Frobenius dans le cadre présenté. Cette géométrie suggère une approximation de rang faible, et non un simple masque qui ne garderait que quelques voisins.

Les auteurs remplacent donc l'attention complète en O(N²) par une approximation de Nyström avec 32 points d'ancrage, dont le coût annoncé est O(mN). La logique est de conserver des modes globaux compressibles plutôt que de supprimer les interactions qui ne ressemblent pas à un graphe de proximité.

Résultats rapportés

À N = 300, l'approximation de Nyström est déclarée équivalente à l'attention complète sur le Rank IC avec cinq graines, selon un test TOST présenté dans le papier. À N = 800, la même conclusion est annoncée avec dix graines. Le résumé fournit des p-values de 0,003 et 0,034 dans ces tests d'équivalence, avec les tolérances spécifiées par les auteurs.

Les variantes parcimonieuses fondées sur corrélations, top-K ou seuil de déviation dégradent les performances ; le masquage dur peut être pire que la suppression complète du module. À environ 3 500 actions, aucune des variantes inter-actions testées ne dépasse significativement une baseline LSTM par action avec quatre graines adaptées. Le bénéfice observé à petite échelle ne se transfère donc pas automatiquement.

Ce que cela change

L'étude invite à ne pas interpréter une attention quasi uniforme comme une absence de structure. Une statistique d'entropie résume une distribution, mais ne révèle pas nécessairement ses modes organisés. Des ablations fonctionnelles et une analyse spectrale sont plus informatives qu'une visualisation seule.

La relation négative rapportée entre l'attention et la similarité de rendement, avec un rho de Spearman de −0,614 dans l'analyse principale, est compatible avec une recherche de complémentarité plutôt qu'avec une simple agrégation des titres corrélés. Cette interprétation reste dépendante du dataset, de l'architecture et de la mesure choisie.

Limites et prudence

Les expériences de rendement long-short rapportées sont frictionless : coûts de transaction, slippage et impact ne sont pas inclus dans les Sharpe ratios cités. Les résultats reposent aussi sur les jeux de données et protocoles de MASTER, avec des régimes de test précis. L'approximation doit être vérifiée dans le pipeline complet et à l'échelle visée avant toute décision d'infrastructure.

Ce preprint ne fournit ni sélection d'actions ni conseil financier. Il montre une piste de réduction du coût de calcul, pas une promesse de performance économique.

Sources

Kunhan Guo, « Nyström Attention Matches Full Attention for Cross-Sectional Stock Prediction », ArXiv 2609.08106v1 : résumé et preprint, PDF.