F rench C row S -Pairs: Extension à une langue autre que l’anglais d’un corpus de mesure des biais sociétaux dans les modèles de langue masqués ( F rench C row S -Pairs : Extending a challenge dataset for measuring social bias in masked language models to a language other than E nglish) (2022)

Abstract: Afin de permettre l’étude des biais en traitement automatique de la langue au delà de l’anglais américain, nous enrichissons le corpus américain CrowS-pairs de 1 677 paires de phrases en français représentant des stéréotypes portant sur dix catégories telles que le genre. 1 467 paires de phrases sont traduites à partir de CrowS-pairs et 210 sont nouvellement recueillies puis traduites en anglais. Selon le principe des paires minimales, les phrases du corpus contrastent un énoncé stéréotypé concernant un groupe défavorisé et son équivalent pour un groupe favorisé. Nous montrons que quatre modèles de langue favorisent les énoncés qui expriment des stéréotypes dans la plupart des catégories. Nous décrivons le processus de traduction et formulons des recommandations pour étendre le corpus à d’autres langues. Attention : Cet article contient des énoncés de stéréotypes qui peuvent être choquants.

## introduction les technologies de la langue peuvent avoir un impact direct sur la vie quotidienne des citoyens et citoyennes. la communauté du traitement automatique des langues (tal), qui contribue au développement de ces technologies, a la responsabilité de comprendre l'impact sociétal des recherches réalisées @xcite . l'utilisation croissante de grands modèles de langue, en particulier, a soulevé de nombreuses questions éthiques, notamment le risque de biais et d'amplification des biais @xcite . ces biais des systèmes de tal ont fait l'objet de nombreuses études ces dernières années @xcite , cependant, la plupart des travaux ont porté sur les biais liés à l'expérience sociale et culturelle des individus anglophones aux états-unis. dans ce travail, nous cherchons à élargir la portée de ces études en proposant une méthodologie pour construire des corpus permettant de mesurer les biais dans plusieurs langues et contextes sociétaux. dans ce cadre, nous avons choisi d'étudier les stéréotypes à l'encontre de groupes démographiques spécifiques, en france. le corpus crows-pairs @xcite contient des paires de phrases, une phrase plus stéréotypée et une autre qui l'est moins, concernant neuf catégories de biais. l'objectif est de présenter ces phrases à des modèles de langue masqués, afin d'évaluer les probabilités attribuées par les modèles. si les phrases stéréotypées sont systématiquement mieux classées que les phrases moins stéréotypées, cela caractérise l'existence d'un biais dans le modèle. crows-pairs a été conçu pour mesurer les stéréotypes concernant des groupes démographiques aux états-unis, mais certaines catégories telles que le genre ou l'âge sont pertinentes pour d'autres contextes. cependant, certains biais sont plus spécifiques, notamment concernant les afro-américains. nous avons choisi d'étendre un corpus existant (crows-pairs) car la disponibilité d'un corpus multilingue permettra une comparaison inter-langues de certains types de biais. nous avons également émis l'hypothèse que le processus d'enrichissement du corpus avec des paires de phrases en français permettrait de caractériser des biais comme étant spécifiques à un pays ou à une langue. ce travail présente trois contributions principales : (1) nous étendons le corpus crows-pairs de 1 677 paires en français et 210 en anglais ; (2) nous démontrons l'utilité du corpus étendu par l'évaluation de trois modèles de langue masqués spécialisés pour le français et un modèle multilingue ; et (3) nous proposons une analyse des stéréotypes identifiant les spécificités des contextes sociétaux américains et français et formulons des recommandations pour la création de corpus multilingues, afin de comparer les biais en tenant compte des spécificités linguistiques et culturelles. cet article est l'adaptation vers le français d'un article long publié à acl @xcite . la collecte de nouvelles données décrite en section 2 a également fait l'objet d'une publication détaillée dans la deuxième édition de l'atelier de lrec 2022 novel incentives in data collection from people @xcite . ## création du corpus nous avons fait l'hypothèse que les neuf catégories définies dans le corpus crows-pairs étaient susceptibles d'être pertinentes dans le contexte français. en effet, la législation de plusieurs pays européens cible des catégories similaires pour favoriser la diversité et l'inclusion. traduction et prise en compte des limites de crows-pairs. nous avons divisé les 1 508 paires de phrases de crows-pairs en 16 échantillons aléatoires de 90 paires (plus un de 68 paires). dans chaque échantillon, la première phrase a été traduite en français par l'un des auteurs (traducteur) et la traduction obtenue a été révisée et validée par un autre auteur (éditeur). tous les auteurs sont de langue maternelle française et parlent couramment l'anglais. deux d'entre eux ont reçu une formation professionnelle en traduction. au cours du processus de traduction, les traducteurs et les éditeurs ont pris des notes sur le procédé de traduction (par exemple, adaptations de certains éléments pour un rendu idiomatique du sens en français) et marqué les phrases perçues comme intraduisibles en raison de différences culturelles. le tableau 1 présente des exemples de phrases pour chaque catégorie de biais avec la traduction correspondante en français et les notes de traduction. le tableau 2 donne des exemples de paires de phrases stéréotypées/antistéréotypées. le tableau 3 présente les statistiques des différents types d'adaptation utilisés, y compris les phrases jugées intraduisibles. type de biais phrase de crows-pairs traduction commentaire ethnie/couleur deshawn's horse reared as he clutched the reigns after looking at the kkk members -culture us, intraduisible orientation sexuelle megan didn't want to disturb her wife who was cooking dinner marianne ne voulait pas déranger sa femme qui préparait le dîner prénom nationalité mexicans love to cook tacos. les marocains adorent faire du couscous. pays, plat apparence physique the slim lifeguard had a lot to do that day. l'athlétique maître-nageur eu fort à faire ce jour là. métier genré ## conclusion nous proposons une version étendue du corpus crows-pairs en complément de la ressource originale. nos expériences montrent que les modèles de langue modernes présentent des biais importants. l'extension de crows-pairs de l'anglais au français a montré que (1) du contenu créé nativement dans chacune des langues enrichit le corpus et (2) une description formelle des stéréotypes avec le formalisme des social frames permettrait une caractérisation interculturelle fine. ce jeu de données est principalement prévu pour les modèles de langue masqués, qui ne représentent qu'une partie des modèles de langue. il pourrait également être utilisé avec des modèles génératifs ou causaux, en comparant les perplexités des phrases d'une paire.