Alignements entre attention et sémantique dans des modèles de langues pré-entraînés (2025)

Abstract: Les AMR (Abstract Meaning Representation) sont une structure destinée à coder la sémantique de phrases sous forme de graphes. Les mots des phrases correspondantes peuvent être alignés avec les sommets de l’AMR, de telle sorte que les relations sémantiques entre les mots puissent être mises en correspondance avec les rôles sémantiques lus sur les arcs de l’AMR. Le mécanisme d’attention d’un modèle de langue (ML) peut être modélisé comme le calcul de vecteurs descripteurs pour les arêtes d’un graphe complet dont les sommets sont les mots d’une phrase ou d’un paragraphe entier. Dans cet article, nous projetons les graphes AMR sur les graphes d’attention et concevons des méthodes supervisées pour détecter les relations sémantiques étiquetant les arêtes à partir des poids d’attention. Pour cela, nous mettons en œuvre des méthodes opérant soit sur les arêtes une à une, soit sur le graphe d’attention entier afin de comparer les capacités sémantiques de ML pré-entraînés. Il ressort de cette étude que l’encodeur bidirectionnel RoBERTA-base est meilleur que les décodeurs causaux, jusqu’à Llama 3 8B.

## expériences nous avons testé nos méthodes sur quelques modèles de langue : roberta-base @xcite , gpt-2 @xcite , modernbert base, et trois modèles de la suite llama 3 @xcite : llama-3.2-1b, llama-3.2-3b, et llama-3.1-8b. nous avons choisi 15 des rôles sémantiques les plus utiles de notre ensemble de données, qui correspondent à la projection sur verbatlas des rôles choisis par @xcite . la liste des rôles et leurs fréquences relatives sont disponibles dans le tableau de l'annexe b. contrairement à @xcite , nous n'avons pas restreint nos modèles à classer les relations entre symboles correspondant à des mots entiers. la tâche est ainsi plus difficile, puisqu'on tente de classer des relations entre certains symboles qui ne sont que des fractions de mots, certains pouvant être très peu porteurs de sens. comme nous l'avons décrit dans la section 2.1, nous avons ajouté des étiquettes spéciales pour tenir compte de la séparation des mots entre plusieurs symboles, ainsi que la coréférence, la conjonction et la disjonction. ces étiquettes sont au nombre de six : {and-or}, {and}, {or}, {group}, {idem}, {inter}, (la dernière étant utilisée pour les concepts associés à des prépositions telles que « entre » ou « parmi »). en les incluant, le nombre de classes sélectionnées atteint 21. notre entraînement s'effectue sur un jeu d'entraînement, en surveillant l'exactitude équilibrée (macroaveraged accuracy) calculée périodiquement sur les 21 classes, sur un jeu de validation. la détection des six étiquettes est parfois un problème trivial, (notamment l'étiquette {group}, qui relie deux symboles du même mot, c'est pourquoi nous ne mesurons pas la performance de nos modèles sur ces six étiquettes supplémentaires, ce qui donnerait des résultats trop optimistes. les performances, reportées dans le tableau 1 indiquent l'exactitude équilibrée calculée sur un jeu de test sur la restriction aux quinze classes sémantiques décrites à l'annexe b. comme nous ne savons pas lequel des deux vecteurs v 1 et v 2 représente l'attention du symbole source vers le symbole cible, (selon la direction de l'arc dans l'amr projeté), il est raisonnable de poser f (k, v 1 , v 2 ) = f (k, v 2 , v 1 ). on modélise la fonction f comme suit : soit m 1 , • • • , m c des matrices réelles symétriques carrées de r d×d , et soient b 1 , • • • , b c des vecteurs de biais de r d . nous calculons les c scalaires ℓ puis, la fonction f est définie ainsi :