De l’interprétabilité des dimensions à l’interprétabilité du vecteur : parcimonie et stabilité (2023)

Abstract: Les modèles d’apprentissage de plongements parcimonieux (SPINE, SINr) ont pour objectif de produire un espace dont les dimensions peuvent être interprétées. Ces modèles visent des cas d’application critiques du traitement de la langue naturelle (usages médicaux ou judiciaires) et une utilisation des représentations dans le cadre des humanités numériques. Nous proposons de considérer non plus seulement l’interprétabilité des dimensions de l’espace de description, mais celle des vecteurs de mots en eux-mêmes. Pour cela, nous introduisons un cadre d’évaluation incluant le critère de stabilité, et redéfinissant celui de la parcimonie en accord avec les théories psycholinguistiques. Tout d’abord, les évaluations en stabilité indiquent une faible variabilité sur les modèles considérés. Ensuite, pour redéfinir le critère de parcimonie, nous proposons une méthode d’éparsification des vecteurs de plongements en gardant les composantes les plus fortement activées de chaque vecteur. Il apparaît que pour les deux modèles SPINE et SINr, de bonnes performances en similarité sont permises par des vecteurs avec un très faible nombre de dimensions activées. Ces résultats permettent d’envisager l’interprétabilité de représentations éparses sans remettre en cause les performances.

## introduction l'interprétabilité @xcite telle qu'elle est définie dans la littérature pour les modèles de plongements lexicaux correspond à assurer la possibilité de trouver une cohérence sémantique (ou syntaxique) aux dimensions de l'espace de représentation @xcite @xcite . cette interprétabilité facilite également la mise en perspective des représentations du lexique avec des conceptions linguistiques de celui-ci. en effet, des dimensions de description sémantiquement cohérentes sont analysables comme traits sémantiques ou sèmes, unités utilisées dans une variété de modèles théoriques de représentation du sens allant de modèles d'inspiration cognitive @xcite à des modèles structuralistes ou néosaussuriens @xcite . ces unités de sens varient quant à leur nombre, leur caractère universel ou relatif (à une langue, ou à un corpus), leur statut de primitives sémantiques et leur portée (le référent ou le concept) selon les cadres théoriques @xcite . les modèles de plongements denses de l'état de l'art @xcite @xcite ont permis des évolutions importantes dans le traitement automatique. ils consistent à plonger le lexique dans des espaces de représentation denses aux dimensions opaques. il est possible d'obtenir une compréhension a posteriori de ces modèles par le sondage @xcite ou l'analyse des matrices de plongements @xcite . ces méthodes correspondent à l'explicabilité en apprentissage automatique. l'article fondateur de @xcite ouvre la réflexion sur les représentations distributionnelles psycholinguistiquement plausibles. les auteurs postulent un ensemble de contraintes sur l'espace de représentation : la parcimonie, la positivité, et la performance. la parcimonie est justifiée par la difficulté de couvrir l'ensemble du vocabulaire par un faible nombre de traits partagés. ainsi, de nombreuses dimensions sont nécessaires, mais seules certaines sont activées pour la description d'un mot. la positivité tient au caractère non économique du stockage d'informations négatives, critère déjà utilisé pour des travaux psychologiquement motivés @xcite sur la factorisation de matrices d'éléments perceptifs @xcite . les travaux sur les modèles de plongement épars ou parcimonieux connaissent des développements avec spowv @xcite , spine @xcite et sinr @xcite . les deux premiers transforment un espace de représentation dense en espace épars, tandis que le troisième construit un espace épars depuis la matrice de cooccurrences. la positivité et la parcimonie constituent des caractéristiques nécessaires à l'interprétabilité des représentations distributionnelles du lexique. néanmoins, cette interprétabilité est cantonnée au niveau de la dimension d'un espace de représentation. en effet, les tests d'intrusion qui servent à la caractériser dans @xcite al. (2012 dans ce travail, nous proposons de concevoir également l'interprétabilité au niveau du vecteur de mot et non plus seulement au niveau des dimensions. cette interprétabilité devient possible si un mot est décrit par une faible quantité de dimensions dont il est possible de faire sens. en effet, d'une part les tâches d'association utilisées pour établir des listes de traits sémantiques comme celles de @xcite indiquent l'ordre de grandeur d'une dizaine de traits par item à décrire en sommant les réponses de leurs annotateurs. d'autre part, @xcite posent une limite pour la manipulation d'items lexicaux en mémoire de travail cohérente avec cet ordre de grandeur. nous prenons ainsi le parti de définir cette quantité de descripteurs comme un horizon souhaitable pour les représentations interprétables, dans la mesure où de tels vecteurs restreints en dimensions sont plus manipulables par d'éventuels locuteurs pour en faire sens. par ailleurs, nous proposons de définir la stabilité comme un critère supplémentaire à l'interprétabilité des vecteurs. que ce soit dans le cadre des humanités numériques @xcite , ou dans des utilisations critiques du traitement automatique de la langue pour des applications juridiques ou médicales @xcite , la reproductibilité des résultats est un critère essentiel. or, l'entraînement non déterministe des modèles de plongements neuronaux cause une certaine instabilité dans les représentations et les voisinages, même pour des représentations entraînées avec les mêmes hyperparamètres sur les mêmes données @xcite . @xcite encourage à prioriser les approches interprétables sur les approches explicables qui souffrent de cette instabilité, même si la littérature voit émerger de récents efforts pour la création de méthodes d'explicabilité a posteriori déterministes @xcite . ainsi, dans cet article, nous évaluons la capacité des modèles parcimonieux de l'état de l'art à se conformer aux contraintes d'interprétabilité des vecteurs que nous définissons : la stabilité de ces vecteurs, et la capacité à produire des représentations performantes avec un très faible nombre de dimensions activées, eu égard aux travaux en psycholinguistiques. nous décrirons d'abord en section 2 les deux modèles considérés dans nos expérimentations : spine et sinr. puis nous détaillerons en section 3 notre cadre expérimental : les corpus utilisés (oanc et bnc) pour apprendre les plongements et les jeux de données pour les évaluer sur des tâches de similarité. nous introduirons également notre approche d'éparsification des vecteurs pour produire progressivement des modèles qui tendent vers une dizaine de dimensions activées par vecteur. enfin, nous présenterons en section 4 les résultats en stabilité et en similarité sur des représentations éparsifiées qui permettent de tendre vers la définition réactualisée de l'interprétabilité que nous proposons. sinr. introduite dans @xcite , sinr est une approche basée graphes pour la représentation distributionnelle du lexique. en appliquant une fenêtre glissante sur les phrases du corpus, la méthode extrait un graphe de co-occurrences pondéré (les sommets sont des mots et les poids des arêtes le nombre de co-occurrences observées). @xcite appliquent ensuite un algorithme de détection de communautés (l'algorithme de @xcite ) pour extraire des communautés de mots densément connectés donc fréquemment co-occurrents. à partir de cette partition du graphe en communautés, sinr calcule la distribution des liens de chaque sommet à travers les communautés détectées. cela permet ainsi d'avoir une distribution de chaque mot sur les groupes de mots découverts de façon non supervisée par l'algorithme. les plongements de mots produits sont naturellement parcimonieux, un sommet n'est pas connecté à toutes les communautés. le modèle sinr n'a qu'un seul hyperparamètre qui agit sur le nombre de communautés détectées. protocole expérimental. dans ces travaux, nous introduisons un protocole expérimental permettant d'évaluer l'interprétabilité au niveau des vecteurs. pour cela, nous commençons par considérer le compromis performance-parcimonie. nous supposons que des vecteurs plus épars sont à la fois plus interprétables et plus plausibles psycholinguistiquement. pour travailler avec des modèles à la parcimonie contrôlée, nous introduisons notre approche d'éparsification des vecteurs : des représentations de chaque modèle de plongements sont construites en conservant pour chaque vecteur les k composantes ayant les valeurs les plus élevées, en variant k de 250 à 10. les autres composantes sont fixées à 0. si ce processus est naturel pour les modèles a priori parcimonieux et positifs, cela l'est moins pour word2vec, notre modèle de contrôle. dans ce cas, nous avons fait le choix d'utiliser les k valeurs les plus élevées de la valeur absolue des composantes des vecteurs. pour contrôler la qualité de l'espace une fois ce protocole d'éparsification effectué, nous utilisons l'évaluation en similarité, soit la corrélation entre la similarité entre paires de mots dans les espaces appris et la similarité donnée par des humains. les jeux de données sélectionnés correspondent dans la mesure du possible à une variété de relations : men, ws353, scws. pour évaluer la stabilité des vecteurs produits par les deux modèles spine et sinr, le second critère d'interprétabilité que nous considérons, nous reproduisons ces expérimentations dix fois et présentons des résultats consolidés. puisque les jeux de données en similarité disponibles portent très majoritairement sur l'anglais, le british national corpus (bnc) et l'open american national corpus (oanc) sont choisis comme corpus d'apprentissage. le bnc compte environ 100 millions de tokens, tandis que la section de données textuelles de oanc en compte environ 11 millions. les deux corpus sont composites en domaines et en genres textuels. un prétraitement commun est appliqué aux deux corpus avec la bibliothèque spacy : tokenisation et regroupement des entités nommées, suppression des mots de longueur inférieure ou égale à deux caractères comme approximation de suppression des mots vides, suppression de la ponctuation et des caractères numériques, et conservation dans le vocabulaire à représenter des items lexicaux apparaissant au moins vingt fois dans les corpus. après ce prétraitement, les données considérées sont : 20 814 types pour 4 millions de tokens pour oanc, 58 687 types pour 40 millions de tokens pour bnc. ## conclusion dans cet article, nous proposons de définir l'interprétabilité au niveau des vecteurs, et plus seulement au niveau des dimensions de l'espace de plongement. nous proposons ainsi un protocole d'évaluation basé sur deux critères : la stabilité des représentations produites, et la contrainte de parcimonie que nous redéfinissons en accord avec la plausibilité psycholinguistique. il nous paraît en effet souhaitable, non seulement de pouvoir trouver une cohérence sémantique interne à une dimension de description dans une représentation du lexique, mais de pouvoir décrire chaque mot avec un faible nombre de ces dimensions. nous faisons l'hypothèse que les vecteurs correspondant à ces contraintes sont interprétables par un locuteur, puisqu'il devient possible de manipuler ce faible nombre de dimensions en mémoire de travail. il apparaît que les modèles de plongement lexicaux interprétables conservent des résultats intéressants sur la tâche de similarité même en forçant des parcimonies élevées, la méthode sinr bénéficiant même du processus d'éparsification appliqué. ce résultat permet de reconsidérer le compromis entre interprétabilité et performance pour les représentations lexicales. la construction de représentations lexicales aux vecteurs interprétables ouvre par ailleurs la perspective de mettre en relation les modèles théoriques décrivant le lexique depuis des traits sémantiques avec des plongements lexicaux.