L'attention avant le Transformer

Un problème de compression, pas une théorie générale de l'intelligence

En 2014, la traduction neuronale reposait souvent sur une idée simple : un encodeur lisait toute la phrase source, la comprimait dans un vecteur de taille fixe, puis un décodeur produisait la traduction à partir de cette représentation. Le système pouvait être entraîné de bout en bout, ce qui constituait déjà une rupture avec les chaînes de traduction statistique composées de nombreux modules réglés séparément.

Cette simplicité avait un coût. Une phrase de cinq mots et une phrase de cinquante mots devaient passer par le même goulot d'étranglement. Toute l'information utile devait tenir dans un seul vecteur avant que le premier mot cible soit généré. Les performances se dégradaient particulièrement sur les phrases longues.

Le papier de Dzmitry Bahdanau, Kyunghyun Cho et Yoshua Bengio part de ce défaut très concret. Sa contribution n'est pas formulée comme une architecture universelle. Les auteurs proposent de ne plus demander à l'encodeur de tout résumer une fois pour toutes. À chaque étape de décodage, le modèle calcule plutôt quelles positions de la phrase source sont pertinentes pour produire le mot suivant.

Relire ce papier aujourd'hui évite un contresens fréquent. L'attention n'est pas apparue avec le Transformer en 2017. Elle a d'abord été développée comme un mécanisme d'alignement différentiable dans un système récurrent de traduction.

Le mécanisme tient dans trois opérations

L'encodeur bidirectionnel produit une annotation pour chaque position de la phrase source. Une annotation ne représente pas seulement le mot local : elle combine le contexte lu de gauche à droite et celui lu de droite à gauche. Le décodeur dispose donc d'une séquence de représentations, plutôt que d'un résumé unique.

Pour générer le mot cible à l'étape i, le modèle effectue ensuite trois opérations :

1. il calcule un score entre l'état précédent du décodeur et chaque annotation source ;
2. il normalise ces scores pour obtenir des poids dont la somme vaut un ;
3. il construit un vecteur de contexte comme somme pondérée des annotations.

On peut résumer le calcul sans reprendre toute la notation du papier :

score(i, j) = alignement(etat_decodeur[i-1], annotation_source[j])
poids(i, j) = softmax_j(score(i, j))
contexte[i] = somme_j(poids(i, j) * annotation_source[j])

Le vecteur de contexte change donc pour chaque mot produit. Lorsqu'il génère un nom, le décodeur peut donner plus de poids au nom correspondant dans la phrase source. Lorsqu'il produit un accord ou une préposition, la distribution peut se déplacer vers d'autres positions.

Le point décisif est que l'alignement reste différentiable. Il n'est pas choisi par une règle externe ni traité comme une variable cachée qu'il faudrait estimer séparément. Le réseau d'alignement est entraîné avec l'encodeur et le décodeur par rétropropagation.

Ce que les visualisations montrent, et ce qu'elles ne prouvent pas

Le papier est devenu célèbre en partie grâce à ses cartes d'alignement. Les lignes et les colonnes représentent les mots des deux phrases ; les zones plus claires indiquent les associations auxquelles le modèle attribue davantage de poids. Certaines diagonales sont intuitives, tandis que des inversions apparaissent lorsque l'ordre des mots diffère entre le français et l'anglais.

Ces images sont utiles parce qu'elles donnent accès à un état intermédiaire du calcul. Elles montrent que le système a appris des correspondances plausibles sans recevoir d'alignement mot à mot supervisé.

Il faut toutefois éviter une lecture trop forte. Un poids d'attention n'est pas automatiquement une explication causale de la décision. Il indique la contribution utilisée pour construire le contexte dans cette architecture. Il ne démontre ni une compréhension linguistique complète, ni l'intention du modèle, ni l'absence d'autres dépendances portées par les états récurrents.

Cette distinction reste actuelle. Une visualisation peut aider à diagnostiquer un modèle, mais elle ne remplace pas un test d'intervention : modifier l'entrée, masquer une position, comparer les sorties et vérifier que la dépendance supposée produit bien l'effet attendu.

Une expérience plus modeste que le récit rétrospectif

Les auteurs évaluent leur modèle sur la traduction anglais-français avec les corpus WMT 2014. Ils comparent l'architecture proposée, appelée RNNsearch, à un encodeur-décodeur récurrent classique. Le résultat important n'est pas seulement une amélioration moyenne : l'écart devient particulièrement visible lorsque les phrases s'allongent.

Le papier prend soin de situer cette performance. Le système atteint un niveau comparable à celui de solutions statistiques par groupes de mots, alors dominantes, mais il conserve des limites sur les mots rares ou inconnus. Il ne prétend pas résoudre la traduction ni remplacer toute autre architecture.

Cette prudence contraste avec la manière dont les inventions sont souvent racontées après leur succès. Une fois qu'un mécanisme devient central, son histoire est réécrite comme une marche directe vers l'état actuel. Les essais voisins, les contraintes matérielles, les discussions entre chercheurs et les objectifs initiaux disparaissent. Il ne reste qu'un nom et une date.

Le bookmark d'Andrej Karpathy est intéressant précisément parce qu'il revient sur les échanges et les inspirations autour du travail de Bahdanau. Il rappelle qu'une idée scientifique n'arrive pas sous forme de produit fini. Elle se forme à partir d'un problème observé, de résultats antérieurs, de conversations et de choix de représentation.

Du décodeur récurrent au Transformer

Le Transformer conserve l'idée de sélection pondérée, mais change l'échelle et le rôle du mécanisme. Dans le papier de 2014, l'attention relie principalement l'état du décodeur aux annotations produites par un encodeur récurrent. Dans le Transformer, les représentations utilisent directement des opérations d'attention pour échanger de l'information entre positions, sans dépendre d'une récurrence séquentielle pour porter tout le contexte.

La continuité est réelle : scores de compatibilité, normalisation, combinaison pondérée des valeurs. La rupture l'est aussi : projections en requêtes, clés et valeurs, plusieurs têtes, attention interne à une même séquence, empilement de blocs et calcul beaucoup plus parallèle.

Confondre les deux moments historiques empêche de comprendre ce qui a réellement changé. Le premier travail desserre le goulot d'étranglement du vecteur fixe. Le second fait de l'attention la primitive principale de circulation de l'information dans le réseau.

Cette chronologie fournit une méthode utile pour lire les nouveautés actuelles. Avant de demander si une technique « remplace » la précédente, il faut identifier le défaut précis qu'elle corrige, le composant qu'elle conserve et la nouvelle contrainte qu'elle introduit.

Pourquoi cette histoire compte encore pour l'ingénierie

Le cas de l'attention illustre une façon solide d'évaluer une architecture. On commence par localiser une perte d'information mesurable. On propose un mécanisme qui agit directement sur ce point. On le compare à une base simple sur le même jeu de données. On observe les régimes où le gain apparaît, ici la longueur des phrases. Enfin, on documente les limites restantes.

Cette séquence est plus informative qu'un classement global. Elle permet de savoir quand la technique est pertinente. Un mécanisme conçu pour éviter une compression prématurée sera surtout utile lorsque l'entrée contient plus d'information que la représentation intermédiaire ne peut en préserver.

Elle invite aussi à séparer trois niveaux souvent mélangés :

Une explication sérieuse doit garder ces trois plans distincts. Le mécanisme mathématique vient du papier. Les motivations sont documentées dans l'introduction et les travaux liés. Les souvenirs ultérieurs peuvent compléter l'histoire, mais ils ne remplacent pas les sources contemporaines.

Une innovation se comprend mieux depuis son défaut d'origine

L'attention est aujourd'hui associée à des modèles comptant des milliards de paramètres et à des fenêtres de contexte très longues. Son point de départ était plus étroit : empêcher une phrase entière d'être écrasée dans un seul vecteur avant traduction.

Cette origine n'enlève rien à l'importance de l'idée. Elle la rend au contraire plus claire. Les innovations durables ne naissent pas toujours d'une ambition générale. Elles corrigent souvent un défaut local avec un mécanisme assez simple pour être réutilisé ailleurs.

Ce qu'il faut retenir n'est donc pas une légende sur l'invention soudaine de l'attention. C'est une méthode : retrouver le goulot d'étranglement initial, lire le mécanisme dans son architecture d'époque, puis suivre précisément les transformations qui l'ont rendu général.

Sources et prolongements

• Neural Machine Translation by Jointly Learning to Align and Translate — Le papier de Bahdanau, Cho et Bengio décrit le problème du vecteur fixe, le mécanisme d'alignement et les expériences de traduction.
• Le bookmark d'Andrej Karpathy sur l'histoire de l'attention — Un point de départ pour examiner les échanges humains et le récit rétrospectif autour de cette invention.
• Attention Is All You Need — Le papier du Transformer permet de distinguer la continuité du mécanisme et le changement d'architecture.