Exploration des relations sémantiques sous-jacentes aux plongements contextuels de mots (Exploring semantic relations underlying contextual word embeddings) (2021)

Abstract: De nombreuses études ont récemment été réalisées pour étudier les propriétés des modèles de langue contextuels mais, de manière surprenante, seules quelques-unes d’entre elles se concentrent sur les propriétés de ces modèles en termes de similarité sémantique. Dans cet article, nous proposons d’abord, en nous appuyant sur le principe distributionnel de substituabilité, une méthode permettant d’utiliser ces modèles pour ordonner un ensemble de mots cibles en fonction de leur similarité avec un mot source. Nous appliquons d’abord cette méthode pour l’anglais comme mécanisme de sondage pour explorer les propriétés sémantiques des modèles ELMo et BERT du point de vue des relations paradigmatiques de WordNet et dans le contexte contrôlé du corpus SemCor. Dans un second temps, nous la transposons à l’étude des différences entre ces modèles contextuels et un modèle de plongement statique.

## introduction l'introduction de plongements contextuels de mots tels qu'elmo @xcite ou bert @xcite est considérée comme une avancée majeure dans le traitement automatique des langues, en particulier pour les tâches de classification ou d'étiquetage de séquences traitées par des approches d'apprentissage supervisé. cependant, ce type de plongements représente également un changement significatif du point de vue de la sémantique distributionnelle. alors que les approches antérieures, y compris les plongements statiques de mots tels que les modèles skip-gram ou cbow @xcite , construisaient la représentation distributionnelle d'un mot en cumulant ses contextes d'occurrence, les modèles de langage neuronaux tels qu'elmo ou bert produisent une représentation pour chaque occurrence des mots, ce qui, à la fois, pose des problèmes pour l'étude des propriétés sémantiques de ces représentations mais ouvrent aussi certaines opportunités. comme l'illustrent les travaux de @xcite , les propriétés des plongements contextuels de mots sont au centre de nombreuses études récentes, notamment dans le cas de bert. rogers et al. (2020) signalent principalement les travaux portant sur la sémantique au niveau phrastique, soit dans le contexte de l'étiquetage en rôles sémantiques @xcite , soit dans des tâches relevant de la substitution lexicale @xcite . mais les travaux récents de @xcite présentent clairement le plus grand ensemble d'expériences concernant les propriétés sémantiques des modèles bert et roberta, y compris concernant leur corrélation avec des jugements humains en termes de similarité sémantique. d'autres études ont également examiné les plongements contextuels d'un point de vue sémantique mais dans un contexte plus spécifique : l'impact des fonctions objectifs utilisées pour l'entraînement de ces modèles @xcite , leur niveau de contextualisation @xcite , leurs biais possibles @xcite , leur capacité à représenter les sens des mots @xcite ) ou à construire des représentations pour des mots rares @xcite . bien que notre travail ait des liens avec certains de ces travaux, son étude des plongements contextuels repose sur une méthode spécifique, fondée sur des principes distributionnels, qui vise à caractériser les plongements contextuels en termes de relations paradigmatiques à la fois au niveau des occurrences de mots et des mots. plus précisément, nous présentons les contributions suivantes :