Décontextualiser des plongements contextuels pour construire des thésaurus distributionnels (Decontextualizing contextual embeddings for building distributional thesauri ) (2022)

Abstract: Même si les modèles de langue contextuels sont aujourd’hui dominants en traitement automatique des langues, les représentations qu’ils construisent ne sont pas toujours adaptées à toutes les utilisations. Dans cet article, nous proposons une nouvelle méthode pour construire des plongements statiques à partir de modèles contextuels. Cette méthode combine la généralisation et l’agrégation des représentations contextuelles. Nous l’évaluons pour un large ensemble de noms en anglais dans la perspective de la construction de thésaurus distributionnels pour l’extraction de relations de similarité sémantique. Finalement, nous montrons que les représentations ainsi construites et les plongements statiques natifs peuvent être complémentaires.

## introduction l'introduction de modèles de langue contextuels tels qu'elmo @xcite ou bert @xcite dans le domaine du traitement automatique des langues représente un changement majeur sur plusieurs plans. du point de vue de la sémantique lexicale, l'un d'entre eux est le fait que ces modèles produisent des représentations au niveau des occurrences de mots, que nous appellerons ici tokens, et non des mots. ce changement a globalement un impact positif sur les tâches de classification ou d'étiquetage de séquences mises en oeuvre par des approches d'apprentissage automatique supervisé. cependant, il soulève plus de difficultés pour les tâches typiquement traitées par des approches non supervisées et se concentrant sur le niveau du mot, comme l'extraction de relations sémantiques lexicales par exemple. une façon de contourner ces difficultés est de construire des plongements au niveau du mot à partir d'un modèle de langue contextuel, ce qui a déjà été étudié par certains travaux. dans le cadre de l'analyse des propriétés des modèles contextuels, @xcite a ainsi proposé d'utiliser l'analyse en composantes principales (acp) pour ce faire tandis que bommasani et al. (2020) ont testé un ensemble plus large d'opérations. le même type d'objectif se retrouve également dans @xcite , avec un accent mis sur l'étude des propriétés sémantiques. enfin, @xcite ont exploré la question plus spécifique de plongements multi-prototypes destinés à rendre compte de la diversité des représentations des tokens. par ailleurs, le problème que nous considérons est également lié à la construction de méta-plongements puisque le problème est de combiner plusieurs plongements dans les deux cas @xcite . le travail de cet article foot_0 est plus particulièrement axé sur la production de plongements au niveau des mots à partir de modèles contextuels pour la construction de thésaurus distributionnels dans la perspective d'extraire des relations de similarité sémantique telles que les relations de synonymie. plus précisément, nous présentons trois contributions principales : (i) nous proposons une nouvelle méthode pour produire des plongements de mots à partir de modèles contextuels en introduisant une forme de généralisation des représentations de tokens ; (ii) nous réalisons une évaluation à grande échelle de cette méthode dans un cadre complémentaire de ceux de bommasani et al. (2020) ou ethayarajh (2019) ; (iii) nous montrons qu'il est plus intéressant de considérer les plongements statiques natifs et les plongements statiques issus de modèles contextuels dans une perspective complémentaire que de remplacer les premiers par les seconds. ## méthode comme (bommasani et al., 2020) et @xcite , la méthode que nous proposons vise à agréger un ensemble de n tok représentations de tokens pour chaque mot cible afin d'en produire une représentation. chaque représentation de token correspond au plongement extrait pour une occurrence du mot cible dans une phrase à partir des résultats de l'encodage de cette phrase par un modèle de langue contextuel. plus précisément, nous distinguons trois étapes dans la production d'une représentation au niveau du mot :