Quand l’encodage des variables compte plus que la séquence

Un modèle plus complexe n’est pas automatiquement meilleur

Les architectures de recommandation industrielle combinent séquences de comportement, champs catégoriels et variables denses. Lorsqu’elles progressent toutes en même temps, il devient difficile de savoir quelle modification généralise réellement. Le preprint Dense Feature Representation over Sequence Modeling étudie cette question dans le challenge KDD Cup 2026 Tencent UniRec.

Les auteurs partent du baseline PCVRHyFormer et ajoutent les mécanismes un par un. Ils complètent cette chaîne par une ablation leave-one-out sur la métrique du leaderboard, afin de ne pas confondre un gain de validation avec un gain sur une distribution tenue à l’écart.

La représentation dense en premier

Le modèle sépare les champs denses en groupes de tokens, applique log(1+x) aux colonnes à longue traîne et ajoute des projections alignées entre certains champs. La séquence de comportements est fusionnée dans un flux ordonné par le temps, avec un canal de polarité et une tâche auxiliaire de masquage.

Cette architecture comporte aussi un optimiseur orthogonalisé AMUSE et une régularisation sparse AdagradAR. La question n’est pas de déclarer que la séquence ne sert jamais, mais de mesurer quelle modification apporte un signal discernable dans ce protocole précis.

Ce que rapportent les auteurs

Le jeu Round-2 contient 34,82 millions d’enregistrements de clic répartis en 57 691 groupes. La chaîne en quinze étapes fait passer l’AUC de test de 0,813237 à 0,827816 ; la soumission finale atteint 0,828535 et se classe dixième.

Dans l’ablation, retirer la pile de représentation dense coûte 0,009496 d’AUC de test. Remplacer AMUSE par AdamW coûte 0,002821 et retirer AdagradAR coûte 0,000890. Les éléments séquentiels étudiés restent dans ou près d’une bande de bruit heuristique de ±0,0004. La validation iid dépasse le test d’environ 0,014 ; certaines modifications de mémorisation inversent même leur signe entre validation et leaderboard.

Lecture éditoriale

Le message le plus robuste est méthodologique : une chaîne d’améliorations n’attribue pas proprement les causes. Un leave-one-out commun et une évaluation réellement séparée donnent une lecture plus honnête de la contribution. La métrique de test doit aussi refléter le changement de distribution attendu, pas seulement un découpage commode des lignes.

Dans un système de recommandation, cette discipline évite de financer une sophistication séquentielle dont le gain n’est pas distinguable du bruit. Elle ne justifie pas pour autant de supprimer les historiques : la conclusion porte sur un dataset, un modèle et un protocole. Elle invite à reproduire l’ablation sur une fenêtre temporelle, avec plusieurs graines et des coûts de service mesurés.

Limites à garder

Les étapes de la chaîne sont en grande partie à graine unique et les ±0,0004 constituent une bande de bruit, pas un intervalle de confiance. Le leaderboard impose ses propres règles et le split non temporel reste une faiblesse. Les résultats ne se transfèrent pas automatiquement à un autre catalogue, une autre cible ou une autre distribution.

Source et périmètre

Source principale : arXiv:2609.19787v1 · PDF. Les chiffres, l’ablation et les réserves sont ceux du preprint ; la procédure de validation proposée est une interprétation éditoriale.