Les représentations contextuelles stéréotypées dans les modèles de langue français : mieux les identifier pour ne pas les reproduire (2024)

Abstract: Nous présentons une étude pour mieux identifier comment les stéréotypes se reflètent dans les modèles de langue français. Nous adaptons le jeu de données StereoSet à la langue française et suivons le même protocole expérimental que celui utilisé pour l’anglais. Alors que les stéréotypes sont connus pour évoluer en fonction des contextes culturels et temporels, notre étude identifie des similitudes avec les résultats observés pour l’anglais, notamment en ce qui concerne la corrélation entre les capacités linguistiques des modèles et la présence de biais mesurables. Nous étendons notre étude en examinant des architectures de réseaux neuronaux similaires pré-entraînées sur des corpus linguistiques différents. Nos résultats mettent en évidence l’impact crucial des données de pré-entraînement sur les biais constatés dans les modèles français. De plus, nous observons que l’utilisation de corpus multilingues pour le pré-entraînement peut avoir un effet positif sur l’atténuation des biais.

## introduction un stéréotype est un biais inconscient qui nous amène à déformer la réalité en supposant qu'un groupe de personnes, présentant des caractéristiques similaires-physiques, morales, comportementales, réelles, ou supposées-partagent des attributs communs sans tenir compte des différences individuelles et en les réduisant à celles-ci @xcite @xcite . les stéréotypes s'appuient sur des croyances simplificatrices qui s'apprennent et se renforcent par les interactions sociales et d'autres formes de communication. les modèles de langue pré-entraînés (plms) peuvent contribuer à les véhiculer dans nos sociétés @xcite @xcite car ils sont susceptibles d'apprendre un modèle probabiliste reflétant les biais statistiques associés aux stéréotypes présents dans les corpus de pré-entraînement @xcite @xcite . maîtriser les biais des plms constitue un enjeu majeur pour prévenir la propagation de stéréotypes susceptibles de perpétuer des préjugés et des comportements discriminatoires. de nombreuses recherches ont été menées sur les plms en anglais. notre objectif est de voir dans quelle mesure ces résultats peuvent être appliqués aux plms pré-entraînés en français. pour ce faire, nous adaptons le jeu de données stereoset @xcite en français et suivons le même protocole expérimental pour évaluer les biais statistiques dans divers modèles de langue pré-entraînés en français, tels que bert, gpt, bart, xglm et bloom. nous étendons le périmètre des études existantes pour le français en examinant l'effet du corpus de pré-entraînement. notre article est organisé comme suit : la section 2 commence par détailler l'adaptation du corpus et rappeler le protocole expérimental correspondant utilisé par @xcite . nous détaillons ensuite les travaux connexes ( § 3). nous présentons nos résultats expérimentaux ( § 4.1) que nous comparons avec ceux obtenus en anglais ( § 4.2) et avec les études menées sur la base d'autres corpus en français ( § 4.3). finalement nous discutons de pistes permettant de combattre les biais identifiés ( § 4.4) et nous discutons des limites de notre approche ( § 5). ## méthode nous adaptons le jeu de données stereoset @xcite en français ( § 2.1). nos contributions ne concernent ni la création du jeu de données original stereoset, ni le développement de la méthode d'évaluation qui lui est associée. cette dernière est rappelée brièvement en section 2.2 afin de faciliter la compréhension de la méthode d'adaptation et la lecture des sections suivantes. correspondant à une association stéréotypée, anti-stéréotypée, ou hors sujet. le jeu de donnée est constitué d'une collection de triplets de phrases complètes (intra-phrastique) et de paires de phrases (inter-phrastique). nous illustrons un exemple d'instances en figure 1. ## travaux connexes les biais présents dans les plongements lexicaux sont traditionnellement analysés à travers des tests d'analogies et d'associations de mots. les tests d'analogies transposent une relation syntaxique ou sémantique entre deux mots, par exemple (homme, chirurgien), pour compléter une nouvelle paire, telle que (femme, •), en effectuant des opérations algébriques sur les plongements lexicaux @xcite . les tests d'association, comme weat @xcite , mesurent la similarité relative de deux ensembles de mots cibles-par exemple des noms masculins ou féminins-à deux ensembles de mots attributs-comme des attributs sur la situation professionnelle. may et al. (2019) étendent la méthode weat à des représentations contextuelles (seat). à partir d'un terme cible et son attribut, ils créent des phrases de manière semi-automatique selon la forme "ceci est [cible]." et "ils sont [attribut]." pour obtenir des plongements lexicaux contextualisés. stereoset (nadeem et al., 2021) raffine cette approche en considérant des contextes rédigés en langue naturelle et pas selon une procédure semi-automatique. l'approche s'étend également à l'échelle du discours avec un test d'association considérant des ensembles de phrases plutôt que de mots. finalement l'étude la plus proche de la nôtre est celle de nangia et al. (2020) introduisant crows-pairs, et de névéol et al. (2022a,b) qui adapte le jeu de données pour le français. crows-pairs analyse les biais stéréotypés en utilisant des paires minimales. néanmoins, crows-pairs et french crows-pairs n'étudient le biais qu'au sein d'une seule phrase (intra-phrastique). aussi, stereoset contient un jeu d'évaluation plus important et permet de mesurer le biais pour les architectures de modèles transformers encodeurs mais aussi décodeur et encodeur-décodeur, tandis que crows-pairs ne mesure le biais que pour les architectures encodeurs. 4 experiences cette section détaille les résultats d'évaluation sur stereoset-fr. nous présentons les résultats ( § 4.1) que nous comparons avec les métriques du papier original stereoset ( § 4.2), puis avec des travaux similaires sur le français ( § 4.3), pour finalement analyser des pistes d'atténuations des biais ( § 4.4). ## conclusion et travaux futurs dans une démarche visant à évaluer et à maîtriser les modèles de langue en français, nous avons réalisé une étude cherchant à évaluer les stéréotypes qu'ils capturent. pour ce faire, nous avons adapté le jeu de données stereoset @xcite et reproduit la démarche expérimentale proposée, cette fois pour des modèles français. nous avons effectué une comparaison entre plusieurs plms français et noté des différences significatives entre eux. chaque modèle présente des biais qui varient selon les types de stéréotypes examinés, ce qui rend l'analyse des biais difficile à généraliser et plus spécifique à des cas d'utilisation particuliers. malgré ces variations, nous constatons des tendances similaires à celles observées pour l'anglais, notamment en ce qui concerne la corrélation entre les compétences linguistiques des modèles et la présence de biais mesurables. dépassant le cadre des études existantes en français @xcite , notre étude compare les mêmes modèles entraînés sur des corpus distincts. nos résultats soulignent l'impact crucial des données de pré-entraînement sur les biais présents dans les modèles. contrairement à ce qui est observé pour les modèles anglais, la taille du corpus d'entraînement peut influencer les biais d'un modèle en français. en général, les modèles français pré-entraînés sur des versions moins volumineuses des corpus sont moins sujets aux biais que ceux entraînés sur des versions plus larges. de plus, nous remarquons que l'utilisation de corpus multilingues pour l'entraînement initial peut contribuer à atténuer les biais. nous espérons que cette étude permettra de développer des modèles français moins sensibles à ces comportements indésirables pour des applications académiques et industrielles.