Flux d’informations dans les systèmes encodeur-décodeur. Application à l’explication des biais de genre dans les systèmes de traduction automatique. (Information flow in encoder-decoder systems applied to the explanation of gender bias in machine translation systems) (2022)

Abstract: Ce travail présente deux séries d’expériences visant à identifier les flux d’information dans les systèmes de traduction neuronaux. La première série s’appuie sur une comparaison des décisions d’un modèle de langue et d’un modèle de traduction pour mettre en évidence le flux d’information provenant de la source. La seconde série met en évidence l’impact de ces flux sur l’apprentissage du système dans le cas particulier du transfert de l’information de genre.

## introduction ce travail a pour objectif d'étudier les mécanismes internes des systèmes de traduction neuronaux et notamment les flux d'informations entre l'encodeur et le décodeur : notre objectif est, à terme, d'expliquer les choix du décodeur en distinguant les informations qui sont capturées dans la source et transférées vers la cible, de celles qui sont extraites uniquement d'une analyse du préfixe cible. une meilleure compréhension de ces flux permettrait d'expliquer et de corriger les biais de genre qui émaillent les traductions engendrées par ces systèmes @xcite et portent atteinte à l'équité (fairness) de ces derniers @xcite . cette étude permettra également de progresser vers une meilleure compréhension de la capacité de généralisation de ces architectures, premier pas pour développer des systèmes capables d'apprendre à partir de moins de données @xcite . pour cela, nous décrivons deux séries d'expériences construites autour d'un jeu de données contrôlé introduit à la section 2. la première série ( §4) repose sur une comparaison des décisions prises par un modèle de langue et un modèle de traduction réalisant un décodage forcé de la phrase cible afin de mesurer l'impact des informations provenant du contexte cible (seules informations capturées par un modèle de langue) et, par contraste avec un modèle de traduction (qui s'appuie sur les informations de la source et de la cible), celles provenant de la phrase source. pour affiner ces observations, nous nous concentrons, dans la section 5, sur le transfert de l'information de genre et montrons que, dans de nombreux cas, le système de traduction est effectivement capable de transférer l'information de genre de la source. enfin, à la section 6 nous évaluons l'impact de celles-ci sur l'apprentissage. pour étudier les flux d'information dans une architecture de type encodeur-décodeur, nous considérons des phrases parallèles qui suivent toutes le même motif. ce motif a été choisi pour satisfaire deux propriétés : premièrement, il est construit autour de collocations dont la présence dans le corpus d'apprentissage est avérée. intuitivement, ces collocations dépendent fortement (voire uniquement) d'informations présentes dans la cible et peuvent être prédites (en partie au moins) sans connaissance de la source. deuxièmement, il met également en jeu des unités lexicales qui ne peuvent être générées qu'en analysant la phrase source. un motif ayant cette dernière propriété a été introduit par wisniewski et al. (2021) : (1) [det] [n] a terminé son travail. (2) the [n] has finished [pro] work. où [n] est un nom de métier féminin ou masculin et [det] l'article défini (le, la ou l') et [pro] le pronom possessif (his ou her). @xcite fournit une liste de 1 697 noms de métiers en français associant forme féminine et forme masculine. cette liste a été traduite de manière semiautomatique en anglais par les auteurs @xcite , avec pour résultat un corpus de 3 394 phrases. ce motif s'appuie sur les différentes manières dont le genre peut être exprimé en français et en anglais : la forme du pronom possessif anglais peut, en effet, se déduire, suivant les cas, du déterminant du groupe sujet français (la/le bibliothécaire), de la forme du nom de métier en français (l'infirmière/infirmier), ou, plus rarement, de la forme du nom de métier en anglais (actor/actress). la comparaison de la capacité d'un système de traduction à capturer et à traduire correctement le genre dans ces différents cas nous permettra de pour mettre en évidence les mécanismes de transfert de genre entre ces deux langues. nous avons généralisé ce motif afin d'assurer que certaines parties de la phrase cible puissent être traduites sans considérer la source (typiquement parce que faisant partie d'une collocation) et d'autres, au contraire, ne puissent être traduites qu'en extrayant les informations pertinentes en source. la première modification introduit un 4-gramme fréquent dans les données d'apprentissage, le président barack obama (154 occurrences dans le corpus d'apprentissage) qui devrait facilement être « capturé » par un modèle de langue ; la seconde repose sur l'utilisation d'un verbe à particule (phrasal verb), carry out 1 , à la place du verbe finish. il est attendu que la probabilité de générer la particule out soit principalement déterminée par la présence ou l'absence du verbe anglais dans la traduction en langue cible, indépendamment de la phrase source. au final, nous considérons la variation suivante : ## données et méthodes modèle de traduction et modèle de langue nous utilisons joeynmt @xcite , qui est une implémentation d'un système de traduction automatique (ta) basé sur l'architecture transformer. l'encodeur et le décodeur sont composés de 6 couches et chaque couche comporte 8 têtes d'attention. les couches feed-forward disposent de 2 048 paramètres et la dimension des plongements lexicaux est de 512. notre modèle comprend un total de 76 596 736 paramètres. nous utilisons également notre implémentation d'un modèle de langue transformer, en utilisant pytorch @xcite . ce modèle possède les mêmes paramètres (nombre de têtes, nombre de couches, ...) que le décodeur du système de ta. afin d'imiter le décodeur, nous utilisons un modèle de langue incrémental (causal) dans lequel la représentation du i e token est conditionnée par les (i -1) tokens précédents. les deux modèles sont entraînés en optimisant l'entropie croisée avec adam sur les mêmes données (voir ci-dessous) et obtiennent respectivement un score bleu de 34,0 et une perplexité de 43,0 sur les données de test de wmt'14. ## flux d'information dans une architecture encodeur-décodeur pour caractériser le flux d'informations dans une architecture de type encodeur-décodeur, nous comparons les prédictions d'un modèle de traduction (tm dans la suite) à celles d'un modèle de langue (lm). en effet, dans un modèle de traduction, le i e mot de l'hypothèse de traduction est prédit à partir des informations extraites de la phrase source s et des tokens cibles @xmath0, ..., t i-1 correspondant au préfixe de l'hypothèse de traduction déjà généré ; dans un modèle de langue, la phrase est produite de manière incrémentale et chaque mot ne dépend que des mots qui le précèdent, ce qui correspond à l'information provenant du contexte cible pour tm. formellement, un modèle de traduction est un modèle de langue conditionnel qui calcule la probabilité p(t i |@xmath1, s), quand qu'un modèle de langue calcule p(t i |@xmath2. en comparant ces deux distributions de probabilité, nous pouvons évaluer l'impact des informations provenant de la source. plus précisément, nous avons réalisé un décodage forcé des phrases anglaises du corpus contrôlé décrit à la section 2. celui-ci nous a permis de calculer pour chaque position de la phrase cible la distribution p(•|c) décrivant la probabilité de générer un token cible connaissant le contexte c. ce contexte peut être constitué soit uniquement des tokens cibles précédents (dans le cas où la probabilité serait estimée par un modèle de langue), soit des tokens cibles précédents et des tokens sources (lorsque la probabilité est estimée par un modèle de traduction). comme nous réalisons un décodage forcé, le contexte est toujours constitué par les tokens cibles « de référence », ce qui permet de neutraliser le bruit lié aux erreurs de traduction et à la variabilité de celle-ci. nous reportons dans la la il est également intéressant de noter que l'entropie des distributions estimées par le modèle de traduction est en moyenne 1,8 fois plus petite que celle estimée par le modèle de langue. si cette réduction est attendue (puisque pour tout couple de variables aléatoires x et y , h(x) -h(x|y ) ≥ 0) elle reste toutefois particulièrement forte et, surtout, dans la majorité des cas, la prise en compte du contexte source permet de prédire correctement le mot suivant de la référence. ## impact sur la prédiction du genre nous proposons maintenant d'utiliser le principe exposé dans la section précédente pour déterminer comment les flux d'information dépendent du genre du groupe sujet français. de nombreux travaux ont mis en évidence les biais présents dans les systèmes de traduction lorsque ceux-ci traduisent des informations dépendant du genre @xcite intuitivement, plus b est proche de -1 (resp. 1), plus p(her|c) est grand (resp. petit) devant p(his|c) et plus le modèle aura une préférence pour produire her (resp. his) ; b est proche de 0 quand le modèle n'a pas de préférence claire pour l'une ou l'autre des deux formes. la figure 1 décrit la distribution de b lorsque les différentes probabilités sont estimées par un modèle de langue (donc en ignorant les informations provenant de la source) ; nous distinguons les cas où le nom de métier serait épicène en anglais des cas, plus rares, où le genre serait marqué. dans les deux cas, le modèle a une tendance très claire à estimer pour his une probabilité très supérieure à celle de her. pourtant, pour un modèle non biaisé, la valeur de b devrait être proche de 0 pour les phrases dans lesquelles aucune information de genre n'est exprimée (d'autant plus que, d'après l'hypothèse distributionnelle, her et his devraient avoir des représentations très proches). elle devrait également montrer une préférence pour la « bonne » forme du pronom lorsque le genre est exprimé, alors que dans des contextes féminins b est en fait distribué sur l'ensemble de son domaine de définition, contrairement aux contextes masculins où les valeurs de b sont concentrées vers 1. ces observations suggèrent que le modèle de langue soit n'est pas capable de capturer l'information de genre dans le groupe sujet anglais soit n'est pas capable d'utiliser celle-ci pour choisir la forme du pronom possessif. si ces constatations ne sont pas complètement surprenantes au vu des nombres d'occurrences respectives de his et her dans le corpus d'apprentissage (cf. §3), elles montrent à quel point la prédiction de la bonne forme du pronom possessif par un modèle de traduction est compliquée : en plus de capturer correctement l'information dans la source et de « transférer » celle-ci, le modèle devra en plus « compenser » la tendance intrinsèque du contexte cible à prédire une forme masculine. comme on peut le voir sur les figures 1c et 1d, la distribution de b lorsque la phrase source est considérée (c.-à-d. lorsque b est estimé par un modèle de traduction) a le même comportement que lorsque celle-ci est ignorée (c.-à-d. lorsque les probabilités sont estimées par un modèle de langue), montrant que la prise en compte de la phrase source ne permet pas de « corriger » le comportement du modèle de langue. cette observation indique surtout que le système n'a pas besoin d'utiliser les mêmes informations pour générer her ou his : dans le cas de her, il est nécessaire que le système de traduction arrive à transférer l'information de genre depuis la phrase source, alors que la prise en compte du contexte cible est suffisante pour générer his. ## impacts sur l'apprentissage les résultats présentés dans la section précédente indiquent que la prédiction de his et her ne s'appuie pas nécessairement sur les mêmes informations. pour mettre en évidence l'impact de cette observation sur l'apprentissage du système de traduction, nous proposons de comparer l'impact des exemples féminins et des exemples masculins lors de l'apprentissage d'un système de traduction. plus précisément, nous avons considéré dans un premier temps toutes les phrases ayant un sujet féminin de notre corpus de test contrôlé, réalisé une étape d'apprentissage (passe forward, calcul de l'entropie croisée et passe backward) et avons extrait pour chaque module de l'encodeur et du décodeur le gradient accumulé lors de la rétro-propagation 5 . nous avons ensuite répété cette manipulation en considérant cette fois uniquement les phrases ayant un sujet masculin 6 . notons que 5. l'encodeur et le décodeur sont composés de différents modules pytorch, il y a, par exemple, pour chaque couche de décodeur un module correspondant à l'auto-attention cible, un module correspondant à l'attention croisée avec la source, un module correspondant à une couche de feed-forward et un module correspondant à une couche de normalisation.