Évaluation automatique des biais de genre dans des modèles de langue auto-régressifs (2024)

Abstract: Nous proposons un outil pour mesurer automatiquement les biais de genre dans des textes générés par des grands modèles de langue dans des langues flexionnelles. Nous évaluons sept modèles à l’aide de 52 000 textes en français et 2 500 textes en italien, pour la rédaction de lettres de motivation. Notre outil s’appuie sur la détection de marqueurs morpho-syntaxiques de genre pour mettre au jour des biais. Ainsi, les modèles favorisent largement la génération de masculin : le genre masculin est deux fois plus présent que le féminin en français, et huit fois plus en italien. Les modèles étudiés exacerbent également des stéréotypes attestés en sociologie en associant les professions stéréotypiquement féminines aux textes au féminin, et les professions stéréotypiquement masculines aux textes au masculin.

## introduction au cours des dernières années, les grands modèles de langue (large language models, ou llm) sont devenus l'approche privilégiée pour la plupart des tâches de traitement automatique des langues (tal) telles que la classification de textes, la reconnaissance d'entités nommées ou la traduction automatique @xcite @xcite , y compris pour des applications destinées au grand public. néanmoins, ces modèles non seulement reproduisent, mais amplifient les biais stéréotypés @xcite @xcite qu'il est important de détecter et d'évaluer afin d'éviter qu'ils ne perpétuent des discriminations. modèle type taille langue(s) référence xglm base 2,9m fr, it (multi.) (lin et al., 2022) gpt2-fr base 1m fr (simoulin & crabbé, 2021) vigogne-2-instruct affiné (llama) 7m fr (huang, 2023) bloom base 560m, 3m, 7m1 fr (multi) (scao et al., 2022) cerbero affiné (mistral) 7m it (galatolo & cimino, 2023) les biais stéréotypés dans les modèles de langue des corpus ont été créés par la communauté pour découvrir différents types de biais stéréotypés dans les systèmes de tal, avec un accent récent sur les modèles de langue @xcite @xcite @xcite . les biais sont ensuite mesurés à l'aide de métriques qui visent les représentations internes aux modèles, en utilisant par exemple la probabilité des tokens masqués comme dans nangia et al. (2020), ou les biais présents dans les sorties du système @xcite @xcite . cette deuxième catégorie de métriques, dite extrinsèque, est supposée plus robuste @xcite . notre outil est également extrinsèque, mais présente une nouveauté : il utilise des flexions morpho-syntaxiques pour détecter le genre et estimer les biais, résultant en une approche plus objective et exhaustive que les travaux fondés sur des listes de mots. les associations stéréotypées entre genre et profession les sciences sociales ont démontré l'impact de l'association des professions à un genre. ainsi, @xcite ont mené une enquête sur les perceptions d'adolescents français à l'égard de diverses professions. ces derniers pensent que certaines qualités sont intrinsèquement féminines, comme le fait d'être maternel, doux et compréhensif, alors que le fait d'être fort, courageux et puissant est associé à la masculinité. par conséquent, les professions liées aux soins et au nettoyage sont considérées comme féminines et ne méritant pas de hauts salaires, car elles requièrent des compétences supposées naturelles, « moins difficiles et peu valorisantes ». ces stéréotypes conduisent également à une « ségrégation professionnelle fondée sur le genre », comme l'affirment @xcite . l'outil que nous avons développé vise à évaluer automatiquement les biais sexistes dans les lettres de motivation générées par les modèles. à partir d'un modèle de langue pré-entraîné capable de générer du texte dans des langues flexionnelles, des modèles d'invites (prompts) sont créés pour déclencher la génération d'une lettre de motivation. les marqueurs de genre sont ensuite détectés dans le texte afin d'attribuer un genre à l'auteur présumé de la lettre. notre outil prend ainsi la forme d'un ensemble de fr-neutre it-neutre (1) je finis actuellement mes études de _ et je suis à la recherche d'un emploi. je pense correspondre à votre offre car ... attualmente sto terminando gli studi di _ e sono alla ricerca di un lavoro. penso di essere la persona giusta per il vostro posto di lavoro perché... (2) je possède un diplôme de _ et je suis à la recherche d'un emploi. je pense correspondre à votre offre car ... ho una laurea in _ e sto cercando un lavoro. penso di essere la persona giusta per il vostro posto di lavoro perché... (3), (4) en réponse à votre offre d'emploi, j'ai le plaisir de vous soumettre ma candidature. + (1)/(2) in risposta alla vostra offerta di lavoro, sono felice di presentare la mia candidatura. + (1)/(2) ## conclusion : les modèles génèrent des biais nous proposons un outil pour évaluer automatiquement des biais de genre binaire dans des modèles de langue autorégressifs, pour les langues flexionnelles, en utilisant les marqueurs de genre comme indicateurs de biais. nous appliquons l'outil sur le français et l'italien, sur sept modèles de langue, pour la génération de lettres de motivation. les invites neutres donnent lieu à deux fois plus de textes masculins que féminins en français, et à huit fois plus de masculin que de féminin en italien. les biais varient selon les modèles de langue et les professions, reproduisant des stéréotypes et la ségrégation professionnelle entre les genres. certains biais sont si forts que les modèles ne tiennent pas compte du genre spécifié dans les invites, si celui-ci contredit un stéréotype. notre outil est disponible librement et est facilement adaptable à d'autres langues flexionnelles, comme le prouve notre extension à l'italien. il est également facilement applicable à d'autres modèles de langue. par la suite, nous aimerions étudier l'inclusion des identités non binaires et étendre l'outil à d'autres types de biais et à d'autres cas d'utilisation. limites notre étude ne vise que le genre binaire dans les contextes culturels et linguistiques français et italien. par ailleurs, les résultats présentés sont susceptibles de sous-estimer les biais, d'une part parce que certains textes neutres ne sont pas des lettres de motivation ou ne couvrent pas la profession demandée, ce qui augmente la proportion de neutre, et d'autre part parce que le système de détection du genre a une exactitude imparfaite, il omet en effet certains marqueurs masculins, diminuant ainsi la proportion réelle pour ce genre. d'autres éléments de discussion sont présentés en annexe a.