Article · IA & agents
Quand un autoencodeur ne peut pas reconstruire exactement
Des bornes sharp relient l'erreur de reconstruction d'un autoencodeur au choix du forward map et à la géométrie des données.
Reconstruire avec le même forward map
Un autoencodeur compresse une entrée avant de la reconstruire. Lorsque l'encodeur et le décodeur sont liés par le même forward map, l'erreur ne dépend pas seulement du nombre de paramètres : elle est contrainte par la géométrie du map et par la distribution des entrées.
Des bornes globales et finies
Patricia Medina et Hy P. G. Lam étudient l'erreur optimale globale, puis une borne de perte sur données finies. Le travail analyse aussi le cas non expansif, dans lequel le map ne peut pas amplifier les distances. Les preuves utilisent les valeurs singulières du jacobien, des bornes de Lipschitz et les moments de la distribution d'entrée.
Les résultats montrent également qu'une reconstruction locale apparemment exacte ne suffit pas à contrôler le comportement global. Des constructions diffeomorphes peuvent être identiques sur une région tout en imposant une erreur ailleurs, ce qui borne les conclusions que l'on peut tirer d'un petit échantillon.
Une lecture pour les modèles génératifs
Ces bornes donnent un langage pour séparer erreur d'approximation, manque de données et restriction architecturale. Avant de comparer deux autoencodeurs sur une moyenne de reconstruction, il faut vérifier le map imposé, la région couverte par les observations et les hypothèses de régularité.
Limites et statut de la source
Les garanties sont mathématiques et dépendent des hypothèses de régularité, dimension et distribution. Elles ne constituent pas une borne universelle pour les réseaux non lisses, les pertes perceptuelles ou les tâches où le forward map est mal spécifié. Le document est un preprint ArXiv.
Sources
Patricia Medina et Hy P. G. Lam, « Sharp Reconstruction Bounds for Autoencoders Using the Same Forward Map », ArXiv 2609.20333v1 : résumé et preprint, PDF.