Transport Optimal pour le Changement Sémantique à partir de Plongements Contextualisés (Optimal Transport for Semantic Change Detection using Contextualised Embeddings ) (2021)

Abstract: Plusieurs méthodes de détection des changements sémantiques utilisant des plongements lexicaux contextualisés sont apparues récemment. Elles permettent une analyse fine du changement d’usage des mots, en agrégeant les plongements contextualisés en clusters qui reflètent les différents usages d’un mot. Nous proposons une nouvelle méthode basée sur le transport optimal. Nous l’évaluons sur plusieurs corpus annotés, montrant un gain de précision par rapport aux autres méthodes utilisant des plongements contextualisés, et l’illustrons sur un corpus d’articles de journaux.

## introduction la diachronie désigne l'évolution du langage à travers le temps. l'un des aspects de la diachronie est l'évolution de la signification des mots. détecter et comprendre ces changements sémantiques est utile, par exemple, en sociolinguistique et en linguistique historique. ce domaine a rapidement évolué avec l'essor de la sémantique distributionnelle ; les modèles de plongements lexicaux diachroniques ont connu une vague d'intérêt ces dernières années @xcite . ils sont utilisés pour des tâches d'analyse de flux de texte, telles que la détection d'événements @xcite ou la surveillance des changements de discours lors de crises @xcite . suite à l'émergence des plongements lexicaux (e.g. word2vec, @xcite ), une approche classique pour le changement sémantique implique d'apprendre des plongement pour chaque strate temporelles d'un corpus et de les rendre comparables en alignant les espaces vectoriels @xcite . cette méthode s'est révélée efficace sur un ensemble de dérives sémantiques synthé-tiques @xcite et a été largement utilisée dans la littérature @xcite . une autre approche compare les voisins d'un mot dans son espaces de représentation à différentes périodes @xcite . dans toutes ces méthodes, chaque mot n'a qu'une seule représentation dans une tranche de temps, ce qui limite la sensibilité et l'interprétabilité de ces techniques. les plongements contextualisés issus de modèles de langues tels que bert @xcite permettent à chaque occurrence de mot d'avoir une représentation vectorielle qui lui est propre. des travaux récents montrent que de tels plongements peuvent être utilisés pour la détection des changements sémantiques, en agrégeant les informations de l'ensemble des plongements d'un mot selon différentes méthodes @xcite . dans cet article, nous résumons ces méthodes et proposons une nouvelle approche basée sur le transport optimal. bien qu'ancienne @xcite , la théorie du transport optimal a connu des avancées importantes au xxe siècle, notamment avec @xcite qui lie le problème avec la théorie des probabilités. avec l'essor de l'apprentissage automatique, les applications du transport optimal se sont élargies. dans le cadre du tal, il est appliqué au transport de mots ou d'ensembles de mots pour diverses tâches : alignement d'espaces de représentation @xcite , classification de documents @xcite , mais aussi apprentissage de représentation et topic modelling @xcite . dans le cadre de l'évolution langagière, @xcite utilisent la distance de wasserstein pour mesurer le changement sémantique entre plusieurs corpus. la détection de variation sémantique au niveau lexical est un nouveau cadre d'application prometteur. nous évaluons notre méthode et la comparons avec celles de la littérature sur plusieurs corpus annotés, puis l'appliquons à un corpus d'articles de journaux pour l'illustrer. ## méthodologie nous utilisons un modèle bert pré-entraîné pour extraire des plongements contextualisés 1 d'un corpus divisé en strates temporelles, pour une liste de mots-cibles. ces plongements peuvent être comparés entre deux strates temporelles pour mesurer le degré de changement sémantique du mot. une première méthode de comparaison, le "moyennage", consiste à moyenner tous les plongements contextualisés d'un mot apparaissant à une période donnée @xcite . on obtient une unique représentation vectorielle du mot pour chaque période ; ces vecteurs peuvent être comparés à l'aide de la distance cosinus (dc). 2 dans la section qui suit, nous présentons une seconde méthode basée sur le clustering des plongements, sur laquelle s'appuie notre méthode de transport optimal. ## conclusion l'évaluation sur données annotées a montré que parmi les méthodes à base de plongements contextualisés, la méthode la plus performante utilise la distance de wasserstein sur les clusters issus de la propagation par affinité des plongements de bert. néanmoins, elle est en moyenne moins performante que la méthode utilisant des plongements non contextualisés (skip-gram avec alignement). malgré ses performances plus faibles, la méthode basée sur le clustering offre une interprétation plus fine que les méthodes basées sur des plongements non contextualisés, car elle tient compte de la diversité des usages et des sens d'un mot ; en particulier, le clustering permet de distinguer les différents usages du mot étudié. c'est pourquoi cette approche peut être utilisée pour détecter l'apparition de nouveaux usages des mots, tracer l'évolution des différents usages, et les interpréter.