Plongements Interprétables pour la Détection de Biais Cachés (Interpretable Embeddings for Hidden Biases Detection) (2021)

Abstract: De nombreuses tâches sémantiques en TAL font usage de données collectées de manière semiautomatique, ce qui est souvent source d’artefacts indésirables qui peuvent affecter négativement les modèles entraînés sur celles-ci. Avec l’évolution plus récente vers des modèles à usage générique pré-entraînés plus complexes, et moins interprétables, ces biais peuvent conduire à l’intégration de corrélations indésirables dans des applications utilisateurs. Récemment, quelques méthodes ont été proposées pour entraîner des plongements de mots avec une meilleure interprétabilité. Nous proposons une méthode simple qui exploite ces représentations pour détecter de manière préventive des corrélations lexicales faciles à apprendre, dans divers jeux de données. Nous évaluons à cette fin quelques modèles de plongements interprétables populaires pour l’anglais, en utilisant à la fois une évaluation intrinsèque, et un ensemble de tâches sémantiques en aval, et nous utilisons la qualité interprétable des plongements afin de diagnostiquer des biais potentiels dans les jeux de données associés.

## introduction les modèles de plongements de mots sont une méthode populaire et efficace pour l'association de tokens linguistiques à des représentations vectorielles, qui peuvent ensuite être exploitées par des architectures de réseaux de neurones dans le cadre de tâches diverses en traitement automatique des langues (tal). les modèles de plongements denses, tels que word2vec @xcite , glove @xcite , ou fasttext @xcite , font correspondre les mots de leur vocabulaire à des vecteurs denses de quelques centaines de dimensions (généralement 300 ou 500), dérivés de manière non supervisée (ou auto-supervisée) de statistiques de cooccurrences extraites de grands corpus textuels, et existent pour de nombreuses langues. ce type de modèles permettent d'obtenir de très bons résultats sur de nombreuses tâches de tal en aval. souvent, un simple calcul de moyenne @xcite ou d'addition matricielle @xcite des représentations de plusieurs mots peut donner des représentations efficaces des phrases, qui peuvent être directement exploitées par des modèles de classification tout aussi simples -fréquemment avec des performances étonnamment bonnes. ces résultats indiquent que les modèles de plongements de mots denses ont tendance à capturer les informations sémantiques dans les énoncés en langage naturel. cependant, le manque d'interprétabilité est un problème important pour la majorité de ces modèles, car il est pratiquement impossible de caractériser qualitativement la sémantique des différentes dimensions de la représentation d'un mot (voir par exemple fasttext dans la les notions d'interprétabilité et d'explicabilité sont difficiles à définir en tant que telles en règle général, mais ici nous nous intéressons en particulier à ces notions comme outils de détection et de caractérisation de biais dans des jeux de données. cette notion de biais peut être associée à la notion concrète de décalage distributionnel des labels @xcite entre un ensemble d'entraînement et un ensemble de test (à condition que ce dernier soit bien choisi, en particulier pour mettre en exergue cette notion, ce qui n'est malheureusement pas toujours le cas). dans le cas des modèles de plongements denses, la difficulté de comprendre comment les valeurs de chaque dimension se traduisent en informations sémantiques encodées se propage aux modèles de tal exploitant ces plongements, excluant donc la possibilité d'expliquer directement, de manière numérique, le comportement d'un modèle, même linéaire, en fonction de ces dimensions -les méthodes d'explicabilité a posteriori en tal emploient de ce fait le plus souvent une analyse en fonction de la présence ou non de vecteur-mots entiers, comme par exemple dans @xcite ou @xcite -ce qui rend difficile la détection de biais lexicaux cachés. une alternative existe cependant, sous la forme de modèles de plongements interprétables, dont les dimensions, par construction, sont plus aptes à fournir des indications sur les champs lexicaux associés aux mots encodés. ces représentations auraient pour avantages de permettre des analyses de corrélations lexicales à des niveaux plus abstraits (liés aux aspects sémantiques encodés dans ces plongements) et donc plus facilement exploitables de manière générale, que la simple présence ou non de mots particuliers dans les entrées d'un modèle par exemple. une façon d'utiliser ces plongements interprétables dans la pratique serait de détecter et de réparer les biais ou les artefacts d'annotation/construction éventuellement présents dans les ensembles de données, appris de façon indésirable par les modèles de prédiction formés sur eux. bien que beaucoup de travaux ont été réalisés pour isoler et corriger ces problèmes, les méthodes existantes exigent presque toujours une connaissance préalable de leur présence et de leur nature, et celle-ci est souvent acquise après une analyse qualitative du comportement de modèles suspects sur des tâches en aval, parfois des années après les faits (par exemple, l'ensemble de données snli, voir la section 2). notre objectif est de détecter ces problèmes avant qu'ils ne s'infiltrent et n'entachent les résultats des recherches ultérieures ou les applications utilisateurs finales. nous proposons donc une approche simple pour diagnostiquer qualitativement les problèmes potentiels dans les ensembles de données de tal. l'idée clé est d'exploiter les caractéristiques des modèles de plongements de mots interprétables existants comme indices de biais éventuels présents dans les données : nous entraînons un classifieur cbow (continuous bag-of-words) intentionnellement élémentaire et de ce fait fondamentalement interprétable (par analyse direct des paramètres appris), qui utilise simplement la moyenne des représentations des mots d'un texte comme caractéristiques d'entrée, qui sont ensuite introduites dans une couche de régression softmax. en analysant les performances et les paramètres appris par cette couche de classification, qui correspondent chacun à une dimension interprétable dans la matrice de plongements choisie, nous sommes en mesure d'obtenir des indications sur d'éventuels biais lexicaux faciles à apprendre et à exploiter, dû à la nature élémentaire du modèle en question, et de déterminer qualitativement s'ils sont attendus ou non. nos principales contributions sont les suivantes : (1) une nouvelle variante d'une méthode d'évaluation intrinsèques de détection d'intrusion de mots (word intrusion detection), appliquée à divers modèles de plongements interprétables populaires en anglais, suivie par, (2) une évaluation extrinsèque de ces mêmes modèles par rapport à un ensemble de tâches de tal en aval qui pourraient potentiellement mettre en évidence des artefacts d'annotation intéressants, et (3) une analyse de certains classifieurs produits qui démontrent le potentiel de cette approche pour analyser des ensembles de données. ## travaux connexes un certain nombre d'approches ont été proposées pour l'induction de plongements interprétables, qui peuvent être divisés en deux catégories différentes : les modèles de plongements fondés sur des contraintes, et les modèles enrichis avec des informations a priori. la majorité des modèles de la première catégorie se concentrent sur deux types de contraintes qui améliorent l'interprétabilité des vecteurs de plongements des mots : la parcimonie et la non-négativité. un large éventail de contributions @xcite @xcite @xcite ont montré que ces deux propriétés améliorent considérablement la capacité à comprendre à quoi correspond chaque dimension dans une représentation de mot en termes de sémantique abstraite. la parcimonie signifie que le nombre de dimensions différentes par lesquels un mot peut être encodé est limité, ce qui permet de les répertorier et de les analyser de manière relativement exhaustive. la non-négativité quant à elle signifie que les valeurs de chaque dimension peuvent être interprétées comme une "participation" relative de la sémantique associé dans la représentation. les plongements peuvent être créés en imposant des contraintes à la méthode de construction @xcite , ou les contraintes peuvent être imposées comme étape supplémentaire a posteriori, en transformant les vecteurs de plongements de mots denses standards en représentations de facto plus éparses et moins bruyantes, par exemple par l'utilisation d'algorithmes de rotation de base connus de l'analyse en composantes principales et de l'analyse factorielle @xcite , ou par la factorisation en matrices non négatives @xcite . une seconde avenue de recherche tente d'injecter des informations sémantiques a priori dans les modèles de plongements afin d'améliorer leur interprétabilité @xcite utilisent des informations préalables, sous la forme de paires de mots censés être discriminés par une dimension particulière (homme-femme pour une dimension de genre par exemple), afin de guider les plongements appris vers des formes plus facilement interprétables ; @xcite incorporent des données d'activation cérébrale -recueillies auprès des participants pendant qu'ils lisent les mots associés -dans un modèle de plongements de mots interprétables basé sur des contraintes, non-negative sparse embedding (nnse) @xcite . nous nous concentrons ici sur le premier type d'approches de représentations interprétables, les plongements construits sous contraintes, car elles peuvent être employées plus facilement dans des contextes similaires à ceux pour lesquels des modèles de plongements denses sont plus habituellement employés. ces dernières années, un certain nombre d'artefacts statistiques indésirables ont été découverts ## plongements interprétables nous nous sommes concentrés ici sur quatre différents modèles de plongements interprétables nonnégatifs et parcimonieux que l'on peut trouver dans la littérature pertinente, avec des niveaux de complexité variables : nnse 1 (murphy et al., 2012), construit par reconstruction avec erreur quadratique modifiée de statistiques de concurrences (inspiré de la méthode non-negative sparse coding de hoyer (2002)) collectées sur le jeu de données web anglais clueweb09 ; • spowv foot_0 (faruqui et al., 2015) et spine 2 (subramanian et al., 2018), tout deux construits directement sur un modèle de plongements denses existant (ici, nous utilisons les versions calculées sur glove), le premier par factorisation matricielle, et le second à l'aide d'un autoencodeur k-éparse ; • word2sense foot_1 (panigrahi et al., 2019), construit à l'aide d'une approche fondée sur l'allocation de dirichlet latente, sur une combinaison des jeux de données ukwac et wackypedia ; a ces modèles existants, nous avons ajouté nos propres plongements interprétables non-négatifs parcimonieux, nmf300, construits simplement par factorisation en matrices non-négatives (avec une largeur de 300 dimensions) à l'aide des règles de mise-à-jour multiplicatives définies par lee & seung (2001) pour la métrique de divergence de kullback-leibler, sur des statistiques de cooccurrences issues d'articles wikipedia. des cinq modèles étudiés ici, celui-ci est le plus simple, dans le sens où la seule contrainte présente lors de la factorisation est la non-négativité, nous l'employons comme une sorte de modèle étalon comparatif. tous les modèles de plongements utilisés ici sont non-contextualisés et statiques par nature, cependant, comme le montre kober et al. (2017), l'utilisation d'une simple opération de composition (addition matricielle ou moyennage, par exemple) sur la séquence de représentations vectorielles correspondant à une phrase permet en pratique de désambiguïser contextuellement les différents sens encodés dans les plongements de mots. de plus, tous ces modèles ayant été originalement construits dans des contextes très différents (taille des plongements : 300 pour nnse, 1000 pour spowv et spine, et 2250 pour word2sense ; tailles des vocabulaires ; corpus sources ; etc.), et en accord avec la tendance actuelle de mener des expériences avec des modèles pré-entraînés, nous avons fait le choix d'utiliser les versions fournies par leurs auteurs respectifs, même si de ce fait les paramètres de leur construction sont assez hétérogènes. cette hétérogénéité est difficile à contrôler puisqu'un réglage fin de ces paramètres aurait été nécessaire à réaliser indépendamment pour chaque approche même sur un jeu de données d'entraînement unifié. ## jeux de données utilisés nous présentons ici rapidement les jeux de données annotées ou collectées que nous avons analysés pour détecter d'éventuels biais indésirables. ils représentent diverses tâches de classification simple ou de relations, couvrant différents aspects sémantiques et genres textuels : nous avons ici employé une variante plus difficile de cette méthode, compte-tenu de la variété de modèles explorés, sur un échantillon de 50 dimensions pour chaque matrice de plongements (ces dimensions correspondant à la dimension la plus active pour 50 mots tirés dans l'intersection des vocabulaires des 5 modèles évalués ici), avec 3 évaluateurs (auteurs de cet article, en aveugle). dans la variante "classique" de cette tâche, le mot intrus est généralement choisi parmi les mots les moins actifs de la dimension évaluée, et parmi les mots plus actifs d'une autre dimension (le plus souvent choisi aléatoirement). après des essais sur de petits échantillons d'instances produites par cette première approche, nous avons remarquer des difficultés à différencier les différents modèles selon les performances obtenues, car la tâche semble trop "facile" pour la plupart des modèles interprétables (à l'exception de spowv). de plus, conceptuellement, choisir la dimension fortement active du mot intrus aléatoirement ne permet pas vraiment de distinguer la caractéristiques discriminante de la dimensions étudiée : idéalement, il faudrait pouvoir évaluer la dimension cible indépendamment des autres dimensions actives potentiellement communes aux "vrais" mots. pour ce faire, nous avons modifier le processus de sélection de l'intrus : celui-ci est similairement choisi parmi les 10% des mots les moins actifs de la dimension cible, mais avec comme second critère le fait d'avoir pour seconde dimension la plus active la seconde dimension la plus active "commune" aux vrais mots (après expérimentation, nous sélectionnons celle avec la plus grande médiane parmi les vrais mots). qualitativement, cela a pour effet d'augmenter significativement la difficulté à repérer l'intrus, notamment quand la dimension cible est plus ou moins associée à un champ lexical peu spécifique. voici un exemple d'application de cette méthode pour la dimension cible n°110 du modèle spine pré-entraîné utilisé ici : les 10 mots les plus actifs de cette dimension sont en ordre décroissant "pius, pope, diocese, bishops, basilica, archdiocese, benedict, vatican, catholic, bishop", les 4 premiers mots les plus actifs sont donc sélectionnés comme vrais mots. leur seconde dimension commune la plus active (au sens de la seconde médiane la plus élevée des valeurs de leurs dimensions) est la dimension n°178, avec pour mots les plus actifs "baptist, jesus, christians, holy, lutheran, religious, judaism, believers, prayers, baptism", qui visiblement semble couvrir des champs lexicaux proches de ceux de la dimension cible. dans la version "classique" de la tâche, on sélectionnerait ici un intrus aléatoirement parmi les 10% des mots les moins actifs de la dimension cible, dont "baseline, sculptures, feedback, armoured, modeled" serait un échantillon de 5 mots. dans la variante plus difficile présentée ici, un même échantillon de 5 mots serait de plus tiré parmi les mots les plus actifs dans la dimension n°178 dans cette proportion, ici "judaism, mormon, preacher, buddhism, meditation". on peut qualitativement observer que ce second échantillon est plus proche des 4 vrais mots "pius, pope, diocese, bishops" que l'échantillon aléatoire, mais en même temps semble démontrer les spécificités uniques de ces deux dimensions (la dimension n°110 semble ici plus spécifique aux termes associés à la religion catholique, tandis que la n°178 semble correspondre à des termes religieux plus généraux). nous n'avons pas effectué cette évaluation complète sur un modèle de plongements denses car après essai sur un échantillon, la précision des évaluateurs était équivalente à un choix aléatoire (traduisant la non-interprétabilité de ces modèles), ce qui apparaît également dans les résultats @xcite par exemple. exemple d'instance la tâche : "dermatologist, columnist, veterinarian, psychiatrist, pathologist" est un ensemble de mots pour une dimension particulière de nnse, où "columnist" est l'intrus ici. ## conclusion et perspectives nous avons montré ici comment une méthode simple peut être utilisée pour identifier des biais non voulus dans des données de tal, en exploitant des plongements lexicaux interprétables. cela peut permettre de repérer des problèmes avant de mettre en jeu des modèles plus complexes, ou en amont de tâches différentes. les évaluations intrinsèques et extrinsèques montrent que des plongements interprétables plus récents ont de meilleures performances sur certaines tâches, mais sans pour autant que l'interprétabilité de leurs dimensions soient meilleures. parmi les améliorations envisagées, la principale serait de pouvoir déterminer comment évaluer par l'humain les explications produite par une approche, en s'inspirant par exemple des évaluations d'explications @xcite . une limite de l'approche présentée est de n'avoir accès qu'à des phénomènes lexicaux, ce qui empêcherait de repérer des biais plus structurels (syntaxiques ou discursifs par exemple). une avenue prometteuse serait de garder des modèles permettant d'encoder des informations de ce type, comme le modèle transformer bert @xcite et ses descendants, en les entraînant d'une façon interprétable. enfin il serait utile de combiner l'approche avec les méthodes qui se focalisent sur l'interprétation d'instances : en plus de repérer des biais au niveau global d'un jeu de données, pouvoir identifier les instances spécifiques qui en sont responsables permettrait de concevoir des protocoles de diagnostic plus poussés, ciblant spécifiquement une ou plusieurs parties problématiques dans les données, afin d'en déterminer les causes et potentiellement les réparer. une méthode comme la layer-wise relevance propagation @xcite par exemple peut diagnostiquer un modèle "suspect" sur les instances identifiées comme source potentielle de biais, permettant de corriger le problème dans les données, ou dans le modèle directement.