Biais de genre dans un système de traduction automatiqueneuronale : une étude préliminaire (Gender Bias in Neural Translation : a preliminary study ) (2021)

Abstract: Cet article présente les premiers résultats d’une étude en cours sur les biais de genre dans les corpus d’entraînements et dans les systèmes de traduction neuronale. Nous étudions en particulier un corpus minimal et contrôlé pour mesurer l’intensité de ces biais dans les deux directions anglais-français et français-anglais ; ce cadre contrôlé nous permet également d’analyser les représentations internes manipulées par le système pour réaliser ses prédictions lexicales, ainsi que de formuler des hypothèses sur la manière dont ce biais se distribue dans les représentations du système.

## introduction il est largement admis @xcite @xcite que les métriques automatiques classiques telles que les scores bleu @xcite ou meteor @xcite sont inadaptées pour rendre compte des progrès observables en matière de qualité des traductions automatiques (ta) prédites par les systèmes neuronaux. partant de ce constat, plusieurs protocoles @xcite @xcite ont été récemment proposés pour évaluer et diagnostiquer plus finement la traduction entre l'anglais et le français. ces protocoles reposent sur l'utilisation de jeux de tests élaborés (manuellement ou automatiquement) pour confronter les systèmes de ta à des problèmes de traduction spécifiques et bien caractérisés. les limitations de la traduction automatique ne se réduisent pas à leur incapacité à prendre en charge certains phénomènes linguistiques ; un autre problème important est l'existence de biais systématiques, en particulier de genre. sous cette appellation, il faut distinguer plusieurs traits problématiques : (a) le fait que des erreurs de traductions sont plus fréquentes pour des énoncés qui mettent en scène des participantes de genre féminin ; (b) le fait que des traductions rendent linguistiquement explicites le genre des actants évoqués, alors que l'intention du locuteur peut être de le laisser ambigu ; (c) le fait que ces explicitations privilégient des assignations stéréotypiques, confortant, voire renforçant des préjugés sexistes dans les textes traduits. dans la typologie de crawford, affinée par @xcite , ces problèmes sont susceptibles de fausser la manière dont certains groupes (ici, les femmes) sont représentés dans les textes (representational harm) ainsi que de conduire à un service (de ta) de moindre qualité pour les femmes (allocational harm). avec la massification de l'usage des technologies de ta, l'existence de tels biais est de plus en plus criante et dénoncée ; répondre à ces dénonciations exige à la fois des études précises (voir en particulier @xcite et les références citées), et des réponses idoines de la part des fournisseurs de technologie 1 . ces questions sont en particulier discutées dans les actes de la série d'ateliers sur les biais de genre en traitement des langues 2 . pour la paire de langues anglais-français, ces problèmes peuvent être mis en évidence et quantifiés en observant la manière dont les marques de genre, qui peuvent être explicites ou non dans le texte source, se distribuent dans le texte cible. une mesure de cet effet, mis en évidence dans plusieurs travaux, est proposée par @xcite , qui évalue les biais de genre à partir du décompte des erreurs portant sur la résolution d'anaphores pronominales. la première contribution de cet article est d'étendre les analyses conduites sur la traduction depuis l'anglais vers le français dans la direction inverse, en proposant de nouveaux contrastes pour mettre en évidence et quantifier ces biais de genre. nous nous intéressons, dans un second temps, à partir de l'analyse des représentations internes d'un système de traduction neuronale à base de transformer, à identifier plus finement la manière dont ces biais sont encodés dans les paramètres du réseau, en particulier ceux qui servent aux calculs des matrices d'attention. ## perspectives et conclusions nous avons introduit dans ce travail un nouveau jeu de test permettant de mettre en évidence les biais de genre dans les systèmes de traduction automatique. ce jeu de tests offre de nombreuses possibilités pour analyser finement les échanges d'informations entre les différentes composantes du réseau de neurones que nous souhaitons explorer dans nos travaux futurs. nous pensons en effet, qu'en plus de leur quantification, une meilleure compréhension des causes des biais sont une étape nécessaire à la « neutralisation » de ceux-ci.