Géométrie de l’auto-attention en classification : quand la géométrie remplace l’attention (2023)

Abstract: Plusieurs études ont mis en évidence l’anisotropie des plongements issus d’un modèle BERT au sein d’un énoncé, c’est-à-dire leur concentration dans une direction donnée, notamment dans une tâche de classification. Dans cet article, nous cherchons à mieux comprendre ce phénomène et comment cette convergence se construit en analysant finement les propriétés géométriques des plongements, des clés et des valeurs dans une couche d’auto-attention. Nous montrons que la direction vers laquelle les plongements s’alignent caractérise la classe d’appartenance de l’énoncé. Nous étudions ensuite le fonctionnement intrinsèque de la couche d’auto-attention et les mécanismes en jeu entre clés et valeurs pour garantir la construction d’une représentation anisotrope. Cette construction se fait de manière progressive lorsque plusieurs couches sont empilés. Elle s’avère également robuste à des contraintes externes sur la distribution des poids d’attention, compensées par le modèle en jouant sur les valeurs et les clés.

## introduction les modèles transformeurs fondés sur le mécanisme d'auto-attention sont au coeur de l'état de l'art en traitement automatique des langues dans de nombreuses tâches. ce succès est en partie dû à l'existence de modèles pré-entraînés de manière générique comme modèle de langue (causal ou masqué) qui sont ensuite adaptés à une tâche précise @xcite @xcite . afin de mieux appréhender le fonctionnement interne de ces modèles, plusieurs études se sont intéressées aux différentes informations linguistiques portées par les modèles pré-entraînés, typiquement en utilisant les plongements aux différents niveaux d'un transformeur pré-entraîné, pour mesurer leur performance dans différentes tâches linguistiques. on peut par exemple citer @xcite @xcite @xcite dont les principaux résultats sont résumés par rogers et al. @xcite . ces travaux montrent que les plongements aux différents niveaux encodent des informations linguistiques différentes, de plus en plus riches et complexes au fur et à mesure que l'on monte en abstraction, les dernières couches étant quant à elle très influencées par la tâche utilisée pour le pré-entraînement. certaines études se sont également penchées sur les propriétés géométriques des plongements aux différents niveaux d'un modèle transformeur @xcite @xcite . plusieurs d'entre elles mettent clairement en avant l'anisotropie croissante des plongements des tokens d'une même phrase, c'est-à-dire leur concentration dans une direction au travers des différentes couches d'attention @xcite @xcite . en particulier, @xcite mettent en évidence une concentration forte des plongements dans une même direction lorsqu'un modèle pré-entraîné est adapté pour la classification de texte, tâche pour laquelle la distinction entre les tokens n'a au final plus d'importance. même si @xcite montrent qu'on peut retrouver une isotropie permettant de distinguer les différents tokens dans des sous-espaces, cette dernière observation soulève des questions sur la manière dont les couches d'auto-attention construisent cette convergence dans une direction unique, questions au centre de cet article. de manière intéressante, ces observations sur la géométrie des plongements sont à mettre en parallèle avec les travaux menés sur les poids d'attention @xcite @xcite qui soulèvent de nombreux débats sur l'intérêt de ces poids pour expliquer la décision du modèle @xcite @xcite . de nombreux exemples visuels montrent qu'il est parfois possible d'interpréter a posteriori les poids d'attention foot_0 . cependant, plusieurs observations troublantes viennent mettre à mal la possibilité d'utiliser ces poids comme explication. d'une part, il a été mis en évidence que la distribution des poids d'attention sur les tokens d'une phrase a tendance à être répartie de manière uniforme dans un modèle d'attention associé à un lstm @xcite , ou, dans des modèles transformeurs, à se concentrer sur des tokens peu informatifs comme @xcite . il a également été mis en évidence qu'il est possible de modifier les poids d'attention sans réelle incidence sur la classification @xcite @xcite . cette propriété est utilisée dans plusieurs travaux pour contraindre les poids d'attention. on peut, par exemple, chercher à les rendre plus parcimonieux, et donc plus plausibles dans l'explication de la décision @xcite @xcite . une autre orientation consiste à contraindre les poids d'attention pour guider l'apprentissage ou la génération d'une explication @xcite @xcite . ces deux constatations -la convergence intra-phrase des plongements et la tendance à une distribution uniforme des poids d'attention -nous amène dans cet article à nous interroger plus avant sur le rapport entre la géométrie des plongements et la tâche de classification. au travers d'une analyse théorique et expérimentale du mécanisme d'auto-attention, nous cherchons à déterminer si la convergence des plongements est une propriété intrinsèque des transformeurs et à comprendre comment cette convergence se construit en jouant sur les clés et les valeurs du modèle. dans ce travail, nous mettons en évidence que, dans les tâches de classification d'énoncés, l'anisotropie des plongements au sein d'une phrase est liée à la classe : en d'autres termes, les plongements s'alignent dans une direction qui dépend de la classe, ce qui correspond au fonctionnement intrinsèque du modèle. nous mettons ensuite en évidence le jeu entre clé et valeur qui permet de construire cet alignement des plongements au travers des couches d'auto-attention, y compris lorsque des contraintes externes sont imposées sur la distribution des poids d'attention. dans ce dernier cas, nous montrons comment le modèle compense les contraintes pour assurer son fonctionnement en alignant dans une direction les plongements. ## formalisme, tâches nous posons tout d'abord le formalisme du mécanisme d'auto-attention, au coeur des modèles récents pré-entraînés comme modèle de langage. nous décrivons ensuite succinctement les modèles et les jeux de données utilisés pour les expériences. ## une convergence en lien avec la classification nous étudions tout d'abord la géométrie des plongements issus du modèle bert adapté à la tâche. comme dans les études précédentes @xcite @xcite , nous observons bien évidemment le renforcement de l'anisotropie des plongements au sein d'une même phrase lorsque l'on traverse les couches du modèle, avec une concentration des plongements au sein d'un (hyper)cône dans l'espace des plongements. en effet, si l'on mesure la similarité cosinus moyenne entre les plongements de deux tokens au sein d'une même phrase sur la tâche e-snli, elle croît de manière quasi systématique dans le modèle pré-entraîné, à l'exception notable de la dernière couche. la similarité moyenne passe ainsi progressivement de 0.12 en entrée du modèle à 0.41 en sortie, un maximum (proche de 0.42) étant atteint à la sortie de l'avant-dernière couche. sur le modèle après adaptation à la tâche, la convergence est nettement plus marquée, passant de 0.08 en entrée à 0.69 en sortie, avec une croissance constante et particulièrement marquée sur les 4 dernières couches où la similarité moyenne passe de 0.34 à 0.69. un comportement similaire est observé sur d'autres corpus, notamment yelphat et imdb @xcite , corroborant ainsi les observations de @xcite . ces observations sont faites énoncé par énoncé et sont valables pour les plongements au sein d'une même phrase. dans le prolongement, nous nous intéressons donc à l'analyse de ce phénomène d'anisotropie au travers des phrases. une hypothèse assez naturelle que nous souhaitons vérifier est que, dans le cas d'un modèle bert adapté à une tâche de classification, la direction prise par les plongements au sein d'un énoncé est caractéristique de la classe de l'énoncé. nous vérifions cette hypothèse au travers de l'expérience suivante. pour chaque classe i dans un corpus, nous choisissons un représentant de cette classe, r i , représenté par le plongement final du token @xcite . ce représentant est pris au hasard parmi les énoncés de la classe i qui sont bien classés par le modèle. nous noterons par la suite cls j le plongement de [cls] correspondant au j-ème énoncé du corpus : nous avons donc r @xmath0, i * étant l'indice d'énoncé du représentant choisi pour la classe i. pour l'ensemble des énoncés j ̸ = i * du corpus, nous mesurons la similarité cosinus entre r i et cls j de manière à analyser la distribution des similarités cos(r i , cls j ) en fonction de la classe de l'énoncé j. phrase +/-cos last summer i had an appointment to get new tires and had to wait a super long time. i also went in this week for them to fix a minor problem with a tire they put on. they "fixed" it for free, and the very next morning i had the same issue. i called to complain, and the "manager" didn't even apologize ! ! ! so frustrated. never going back. they seem overpriced, too. la figure 2 montre sur la partie gauche les distributions obtenues pour chacune des trois classes de e-snli (resp. suite logique, sans rapport, contradiction) et, sur la partie droite, celles obtenues pour la classe négative (0) du corpus yelphat. ainsi, pour la figure 2b , on observe nettement que les plongements cls j de la classe négative présentent très majoritairement une grande similarité avec l'énoncé représentatif de cette classe, tandis que les plongements cls j pour la classe positive sont presque majoritairement orthogonaux. de manière similaire, on voit sur la figure 2a que la direction des plongements cls j correspond bien aux classes. on note au passage sur cette dernière figure que si le trois classes sont relativement séparables par rapport à un représentant des classes suite logique ou sans rapport, ces deux dernières classes sont difficilement séparables du point de vue d'un représentant de la classe contradiction. ces résultats mettent donc clairement en évidence que la direction vers laquelle le modèle plonge la représentation des tokens en entrée est l'élément qui caractérise la classe du document. ceci traduit le fonctionnement inhérent du modèle pour réaliser sa tâche et constitue donc un comportement souhaitable. nous avons également vérifié que cette propriété est bien induite par l'adaptation du modèle pré-entraîné : la même analyse des distributions des similarités cosinus effectuée sur le modèle pré-entraîné montre que, dans ce cas, il n'est pas possible de distinguer les classes. enfin, nous complétons ces observations par quelques exemples d'énoncés positifs (+) et négatifs (-) issus du corpus yelphat dans le tableau 2, accompagnés de leur distance (cos) à un énoncé représentatif de la classe négative (ligne 1) : le premier groupe correspond aux énoncés (resp. -et +) les plus proches de l'énoncé de la ligne 1 ; le second groupe donne l'exemple médian pour la classe + 4 et l'exemple le plus éloigné pour la classe -. on note que la représentation issue du modèle bert dépasse largement le niveau lexical, avec peu de mots porteurs de polarité en commun dans les énoncés proches du représentant. l'exemple positif le plus proche s'explique en particulier par les aspects négatifs que l'énoncé contient en dépit d'un avis globalement positif. ces observations sont à mettre en relation avec deux éléments discutés dans l'introduction. d'une part, elle apporte des éléments au débat sur l'attention comme vecteur d'explicabilité, du moins dans le cas de la classification de texte : si la convergence forte des plongements au sein d'une phrase est bénéfique, voire indispensable à la classification, elle laisse peu d'espoir à l'obtention de quelques tokens explicatifs grâce à l'attention. en effet, du fait de la convergence, les requêtes et clés dérivées des plongements convergent également dans une même direction, résultant ainsi en une attention quasi uniformément distribuée sur les tokens, comme observé dans plusieurs travaux @xcite . d'autre part, les travaux visant à contraindre les poids d'attention pour les rendre parcimonieux -et donc potentiellement plus adaptés à une explication -montrent un succès limité @xcite @xcite @xcite . la convergence des plongements dans une direction dépendante de la classe éclaire ce débat d'une explication possible, à laquelle nous nous intéressons par la suite : si cette notion de projection relève du fonctionnement intrinsèque des modèles, alors ce dernier compense les contraintes imposées sur l'attention pour permettre la convergence des plongements dans la direction la plus appropriée, et cela d'autant plus facilement que le modèle possède un grand nombre de paramètres. au vu des résultats précédents, nous nous intéressons à voir si l'alignement des plongements dans une direction représentative de chaque classe dans une tâche de classification est inhérente à la couche d'auto-attention et, le cas échéant, comment l'auto-attention permet de construire cette convergence. nous nous affranchissons pour cela du modèle pré-entraîné comme modèle de langue et utilisons ici un modèle simplifié à une seule tête d'auto-attention et dont les paramètres peuvent être estimés directement pour la tâche de classification. 4.1 convergence des clés et des valeurs : un mécanisme inhérent au fonctionnement de la couche d'auto-attention nous nous sommes tout d'abord intéressés à comprendre le rôle joué par les clés, les valeurs et, dans une moindre mesure, les requêtes pour construire la convergence des plongements au travers des couches. nous mesurons en particulier la convergence des clés et des valeurs au sein d'un même énoncé. pour cela, nous introduisons une métrique de similarité des éléments d'une matrice, largement inspirée de la mesure de conicité de (ethayarajh, 2019), et donnée par sim(a) = 2 n(n -1) @xmath1. 1 diag(aa t )diag(aa t ) t (i, j) (3) 4. similarité correspondant à la médiane de la distribution des similarités des exemples positifs dans la figure 2b 4.2 une tendance à compenser la régularisation de l'attention les observations précédentes nous amènent à nous interroger sur le contrôle de l'attention -par exemple pour offrir des capacités d'explication en forçant la parcimonie ou dans un cadre d'apprentissage guidé dans le cadre des approches en rationalized learning -et sur son impact sur la convergence des plongements via celle des clés et des valeurs. ce que nous avons observé dans les section précédentes montre que la direction prise par le plongement du token [cls] est discriminante pour la tâche de classification. cette direction est portée par les valeurs v j pour lesquels le poids d'attention a 0j (0 étant l'indice du token [cls]) est grand devant les autres. dans la pratique, nous avons vu que les poids d'attention ont tendance à être uniformes, le token [cls] étant alors le barycentre des valeurs v j . en régularisant l'attention pour la rendre plus parcimonieuse, c'est-à-dire en supprimant l'uniformité des poids d'attention, nous changeons cependant la direction prise par le plongement du vecteur [cls]. or des études antérieurs montrent que cette opération ne change en rien la performance en classification du modèle, ce qui semble indiquer à son tour que cette régularisation n'empêche pas la convergence des plongements. notre hypothèse est que pour compenser les contraintes imposées aux poids d'attention tout en garantissant la convergence, le modèle joue sur les valeurs en en renforçant la convergence dans un cône étroit pour une phrase donnée ; ainsi, toute modification de l'attention aura un impact très limité sur le plongement résultant de la combinaison des valeurs. une alternative réside dans l'orthogonalisation des clés afin de concentrer sur quelques tokens la réponse à une requête donnée. pour vérifier cette hypothèse, nous reprenons les expériences de régularisation introduites par nguyen et al. (2022) où la fonction de coût à minimiser à l'apprentissage inclut une minimisation de l'entropie des poids d'attention en plus de la minimisation de l'erreur de classification. un paramètre λ permet de contrôler l'importance de la régularisation des poids d'attention par le critère d'entropie : plus λ est élevé, plus les poids d'attention se concentrent sur un petit nombre de tokens. nous appliquons ici cette approche sur un modèle avec un seul bloc d'auto-attention. le tableau 4 rapporte la similarité moyenne des clés et des valeurs ainsi que l'entropie moyenne des poids d'attention pour différentes valeurs de λ. ces mesures mettent clairement en évidence que lorsque la régularisation prend de l'importance, la concentration des poids d'attention (mesurée par l'entropie) augmente et l'alignement dans un cône des valeurs est renforcé pour compenser et garantir la convergence des plongements finaux dans une direction dépendante de la classe. parallèlement, ces résultats réfutent l'hypothèse d'orthogonalisation des clés pour garantir la parcimonie de l'attention. nous avons observé que le modèle joue avant tout sur la norme des clés pour rendre l'attention parcimonieuse plutôt que sur la direction. cette dernière remarque illustre remarquablement la capacité d'une couche d'auto-attention à tirer parti de ces différents paramètres pour compenser les contraintes qui lui sont imposées et permettre de remplir sa fonction première d'alignement des plongements dans une direction dépendante de la classe. ## discussion les résultats présentés dans cette étude éclairent plusieurs points sur le fonctionnement des modèles transformeurs et, en particulier, le fonctionnement de la couche d'auto-attention dans les tâches de classification d'énoncé. l'ensemble des observations indique que la concentration des plongements d'un énoncé dans une direction, phénomène observé dans plusieurs études, est inhérente au fonction-