Filtrage et régularisation pour améliorer la plausibilité des poids d’attention dans la tâche d’inférence en langue naturelle (Filtering and regularization to improve the plausibility of attention weights in NLI ) (2022)

Abstract: Nous étudions la plausibilité d’un mécanisme d’attention pour une tâche d’inférence de phrases (entailment), c’est-à-dire sa capacité à fournir une explication plausible pour un humain de la relation entre deux phrases. En s’appuyant sur le corpus Explanation-Augmented Standford Natural Language Inference, il a été montré que les poids d’attention sont peu plausibles en pratique et tendent à ne pas se concentrer sur les tokens importants. Nous étudions ici différentes approches pour rendre les poids d’attention plus plausibles, en nous appuyant sur des masques issus d’une analyse morphosyntaxique ou sur une régularisation pour forcer la parcimonie. Nous montrons que ces stratégies permettent d’améliorer sensiblement la plausibilité des poids d’attention et s’avèrent plus performantes que les approches par carte de saillance.

## introduction les mécanismes d'attention sont largement utilisés depuis quelques années en traitement automatique des langues (tal) du fait des gains de performances qu'ils procurent dans de nombreuses tâches @xcite @xcite @xcite . au-delà de ces gains, ces mécanismes fournissent des poids d'attention pour chaque mot (ou token) d'une séquence en entrée, que l'on espère proportionnels au niveau d'influence du token sur la décision finale du modèle. ces poids, visualisables sur une carte de chaleur, jouent potentiellement un rôle explicatif des décisions prises par le modèle pour un humain. qualifier ou quantifier l'explicabilité d'une carte d'attention est cependant difficile, le lien entre la performance du modèle sur la tâche à réaliser et l'explicabilité n'étant pas établi. certaines études @xcite @xcite ) ont d'ailleurs montré que des modèles adverses pouvaient réaliser les mêmes prédictions tout en produisant des cartes de chaleur différentes. dans cette quête de critères d'évaluation des cartes d'attention à des fins d'explication, la distinction introduite dans jacovi & goldberg (2020) entre fidélité et plausibilité est intéressante : la fidélité indique à quel point les poids d'attention reflètent le processus de raisonnement du modèle, là où la plausibilité s'intéresse à l'utilité des poids pour qu'un humain juge et interprète la décision. si la plupart des travaux se focalisent sur le premier aspect @xcite @xcite , très peu se sont jusqu'à présent intéressés à la plausibilité, en particulier du fait du manque de vérité-terrain. @xcite est une des rares études de ce type où des annotateurs évaluent l'informativité de cartes de chaleur dans une tâche de classification de textes. pour notre part, nous nous intéressons à la plausiblité des mécanismes d'attention sur une tâche plus complexe d'inférence en langue naturelle, en nous appuyant sur l'annotation de référence fournie dans le corpus e-snli @xcite . des travaux récents mettent en évidence que les mécanismes d'attention standards (poids d'attention croisée entre deux encodeurs lstm) sont peu plausibles, alors qu'une heuristique simple consistant à se focaliser, en accord avec l'annotation humaine du corpus de référence, sur les noms, verbes et adjectifs, obtient une meilleure plausibilité @xcite . l'objectif de cet article est donc d'explorer, toujours sur la tâche d'inférence en langue naturelle, des voies permettant de rendre les mécanismes d'attention plus plausibles. introduire un critère de plausibilité à l'apprentissage, par exemple sous forme de fonction de coût sur les poids d'attention, s'avère difficile en pratique dans la mesure où il existe rarement des données annotées pour cela. nous cherchons donc à introduire des critères simples pour améliorer la plausibilité. d'une part, nous examinons l'influence d'un filtrage sur les étiquettes morphosyntaxiques des mots des phrases prémisse et hypothèse sur la plausibilité de l'attention, que ce soit pendant ou après l'entraînement du modèle. d'autre part, nous étudions les potentialités d'une régularisation par minimisation d'entropie à accroître cette plausibilité sans avoir à indiquer des catégories morphosyntaxiques de filtrage. ## filtrage morphosyntaxique l'heuristique définie dans @xcite , qui consiste à sélectionner les noms, verbes et adjectifs pour l'explication, montre clairement que les étiquettes morphosyntaxiques jouent un rôle prépondérant pour améliorer la plausibilité des poids d'attention. nous cherchons donc à exploiter ces étiquettes en introduisant un filtrage des poids d'attention. les étiquettes morphosyntaxiques sont générées par le modèle pré-entrainé de spacy @xcite . dans la suite, nous appelons tokens « peu informatifs », ceux dont l'étiquette n'est ni nom, ni verbe, ni adjectif. un tel filtrage des tokens peu informatifs peut se faire soit a posteriori, après entraînement du modèle d'attention et en fonction des étiquettes morphosyntaxiques, soit a priori en imposant un masquage des tokens peu informatifs au niveau du mécanisme d'attention. soit h @xmath0, @xmath1, l -1], les états cachés pour une phrase de longueur l et h l-1 l'état caché final de la seconde phrase (plongement de la phrase). nous mesurons la pertinence de chaque h ce vecteur d'attention α permet de définir une représentation de la première phrase dans le contexte de la seconde comme @xmath2. par facilité, nous noterons α @xmath3. les vecteurs de contexte c sont ensuite concaténés pour être utilisés directement pour la prédiction, ŷ = mlp[c p ⊕c h ]), c p (resp. c h ) étant le contexte de la prémisse (resp. de l'hypothèse) et ⊕ désignant la concaténation. le masquage a posteriori est le plus simple. il consiste à modifier a posteriori les poids d'attention α i pour forcer les poids des tokens peu informatifs à être nuls. en pratique, nous définissons un masque associé à chaque token d'une phrase, tel que mask @xmath4, 0 sinon. ce masque est ajouté aux poids d'attention α i de chaque token, i.e., αi = α i +mask i , avant normalisation. en d'autres termes, le vecteur d'attention masqué α post i est défini comme softmax(α i + mask i ), ce qui rend de facto les poids d'attention des tokens peu informatifs nuls. cependant, le masquage a posteriori n'a aucune influence sur la classification qui s'appuie sur le modèle d'attention standard. c'est pourquoi nous proposons une stratégie de masque a priori qui permet de tenir compte de la notion de tokens peu informatifs directement dans le modèle et donc dans la décision. l'idée du masque a priori est de forcer les poids d'attention des tokens peu informatifs à être nuls pendant l'apprentissage, permettant ainsi au modèle d'affiner sa représentation des tokens et son modèle d'attention. en utilisant la même définition de masque que précédemment, cela peut être obtenu en ajoutant le masque non plus aux α i mais directement au score d'alignement a i , soit dans ce cas, le masque constitue une entrée supplémentaire au modèle et permet de concentrer l'attention sur les tokens informatifs. pour évaluer ces différentes approches, nous comparons les poids d'attention à la référence binaire fournie dans le corpus e-snli, ce qui ne peut se faire directement car α @xmath5, 1]. nous binarisons donc les poids à l'aide d'un seuil de manière à pouvoir compter le nombre de tokens surlignés par les annotateurs correctement détectés (t.q. α i au-dessus du seuil). en faisant varier ce seuil, nous obtenons une courbe de caractéristique de fonctionnement (roc) : un seuil bas, qui sélectionne beaucoup de tokens pour l'explication, génère un fort taux de vrais positifs au prix de nombreux faux positifs tandis qu'un seuil élevé génère peu de faux positifs mais détecte peu de tokens pertinents. les valeurs de seuil sont générées automatiquement par l'algorithme de @xcite entre [0, 1] afin de produire la courbe de roc. méthodes 0-constante heuristique attention masquage masquage pure a posteriori a priori auc 0.5 0.686 0.648 0.717 0.726 les résultats sont donnés à la figure 2a pour les trois variantes d'attention ci-dessus (attention classique, filtrage a priori ou a posteriori) et moyennés sur les paires de phrases de type entailment ou contradiction. dans cette figure, la courbe 0-constante est une baseline correspondant à une carte avec tous les poids d'attention à 0 ; attention pure indique la plausibilité de la carte d'attention du modèle standard par rapport à la vérité-terrain ; heuristic montre celle obtenue grâce à l'heuristique @xcite ; attention masquée a posteriori présente la performance du modèle attention pure filtré par les étiquettes morphosyntaxiques ; enfin, attention masquée a priori présente celle du modèle s'entraînant avec le masquage. la moyenne de l'aire sous la courbe de roc (area under curve ou auc ) est une autre façon de quantifier cette performance. cette valeur correspond à la hauteur de la courbe en moyenne. le tableau 1 montre la valeur de cette métrique pour les courbes précédentes. le filtrage, a priori comme a posteriori, apporte une nette amélioration de la plausibilité des poids d'attention et surpasse l'heuristique, sans modifier les performances de classification (80 % pour le modèle original, 79.6 % pour le masque a priori). en revanche, il n'y a que très peu de différence entre les deux stratégies de filtrage. le mécanisme d'attention n'est pas le seul moyen pour obtenir une explication de la décision : en effet, les cartes de saillance sont souvent utilisées en pratique @xcite . en calculant la rétro-propagation à partir de la sortie, la dérivée peut se propager jusqu'à l'entrée initiale, permettant ainsi de mettre en évidence la contribution de chacun des éléments ## régularisation par minimisation de l'entropie une autre approche pour améliorer la plausibilité du modèle d'attention consiste à régulariser les poids d'attention de manière à forcer leur parcimonie sans contraintes sur les caractéristiques morphosyntaxiques. en effet, il a été observé que les poids d'attention du modèle original sont assez diffus pour une phrase, mettant en avant de nombreux tokens peu informatifs, ce qui nous a amenés à proposer les approches par filtrage. à travers une régularisation forçant la parcimonie des poids d'attention, nous cherchons à voir si ces poids se concentrent de manière naturelle sur les tokens informatifs. en première approximation, nous choisissons une régularisation par minimisation de l'entropie de la distribution des poids α i , une entropie faible traduisant une part de déterminisme dans la distribution correspondant aux α i , et donc une forme de parcimonie @xcite . pour ce faire, nous ajoutons à la fonction de coût de classification l classif (entropie croisée catégorielle) sur laquelle se fonde le modèle un coût de régularisation, c.-à-d., les résultats sont donnés dans la ## conclusion et discussion les résultats expérimentaux que nous rapportons dans cet article montrent que des stratégies simples, comme le filtrage par les étiquettes morphosyntaxiques ou la régularisation, permettent de modifier les poids d'attention dans un modèle bi-lstm siamois pour rendre ces poids plus plausibles, c'est-à-dire plus pertinents pour une interprétation par un humain de la décision dans une tâche d'inférence en langue naturelle. plus précisement, nous montrons que le modèle peut être modifié de manière à rendre des poids d'attention plausibles, sans impact sur la qualité de la prédiction, ces approches surpassant celles fondées sur la saillance. la régularisation par minimum d'entropie, qui tend vers la parcimonie des poids d'attention, s'avère particulièrement efficace pour focaliser l'attention sur les tokens importants pour un humain, notamment les noms, verbes et adjectifs, sans nécessiter d'analyse morphosyntaxique. ces premiers résultats appellent naturellement des extensions, notamment l'utilisation d'autres mécanismes de régularisation ou différentes manières de prendre en compte les informations morphosyntaxiques en entrée du modèle. on peut également se demander si la régularisation des poids d'attention impacte l'explicabilité fondée sur la saillance. se pose également la question de l'extension de ces résultats à d'autres modèles, notamment ceux fondés sur l'auto-attention. enfin, la reproductibilité des résultats de plausibilité obtenus grâce aux modèles testés est aussi à évaluer sur des corpus autres que celui d'inférence en langue naturelle utilisé dans ce travail, afin d'étudier s'ils sont extensibles à des tâches d'explication d'autres natures. par ailleurs, nous nous sommes volontairement limités à des approches non supervisées, n'utilisant pas l'annotation des tokens importants dans la phase d'apprentissage. si ces approches comportent des avantages évidents, au premier plan desquels le fait de ne pas requérir de données annotées, la question de la supervision de l'attention reste cependant un sujet à explorer plus avant. plus généralement, cette notion de plausibilité de l'explication (par opposition à la fidélité de l'explication -cf . jacovi & goldberg (2020)) est au coeur de l'explicabilité en apprentissage automatique pour le tal et les résultats de nos travaux contribuent au débat sur la pertinence de l'attention pour l'explicabilité -cf . la polémique entre jain & wallace (2019) et wiegreffe & pinter (2019). références bahdanau d., cho k. & bengio y. (2015). neural machine translation by jointly learning to align and translate. in 3rd international conference on learning representations.