Apprentissage de plongements de mots dynamiques avec régularisation de la dérive (Learning dynamic word embeddings with drift regularisation) (2019)

Abstract: L’usage, le sens et la connotation des mots peuvent changer au cours du temps. Les plongements lexicaux diachroniques permettent de modéliser ces changements de manière non supervisée. Dans cet article nous étudions l’impact de plusieurs fonctions de coût sur l’apprentissage de plongements dynamiques, en comparant les comportements de variantes du modèle Dynamic Bernoulli Embeddings. Les plongements dynamiques sont estimés sur deux corpus couvrant les mêmes deux décennies, le New York Times Annotated Corpus en anglais et une sélection d’articles du journal Le Monde en français, ce qui nous permet de mettre en place un processus d’analyse bilingue de l’évolution de l’usage des mots.

## introduction les langues peuvent être considérées comme des systèmes dynamiques : l'usage des mots évolue au cours du temps, reflétant les nombreux aspects des évolutions de la société, qu'ils soient culturels, technologiques ou dûs à d'autres facteurs @xcite . la diachronie désigne l'étude de ces variations temporelles d'usage et de sens au sein d'une langue. ici, nous étudions un corpus journalistique d'une plage temporelle de deux décennies : l'usage des mots évolue suite à des événements ayant un retentissement médiatique. par exemple, l'usage du mot "katrina" a connu un important changement au cours de ces deux décennies. si par le passé, il fut exclusivement utilisé comme un prénom féminin, comme justine et sonja, dès 1999, son sens se rapproche de celui d'ouragan, avec l'arrivée du premier orage tropical éponyme. puis à partir de 2005 où le cyclone katrina eut lieu, ce qui fut un prénom féminin partage désormais le même champs lexical que les mots "désastre", "dévastation" et "inondation". détecter et comprendre ces changements avec le concours de méthodes d'apprentissage automatique est utile à la recherche linguistique, mais aussi à de nombreuses tâches de traitement automatique des langues. ajouter une notion temporelle aux représentations de mots permet d'étudier des corpus qui s'étendent sur des plages temporelles longues avec une plus grande acuité. le problème se pose particulièrement aujourd'hui, alors qu'un nombre croissant de documents historiques sont numérisés et rendus accessibles ; leur analyse conjointe à celle de corpus contemporains, pour des tâches allant de la classification de documents à la recherche d'information, nécessite de prendre en compte la diachronie. suivant les travaux @xcite puis @xcite , de nombreuses méthodes de représentations vectorielles de mots ont été mises au point depuis deux décennies. elles permettent de représenter les mots par des vecteurs continus de faible dimension : les plongements lexicaux ou word embeddings. néanmoins, ces plongements lexicaux reposent sur l'hypothèse que le sens d'un mot est inchangé sur l'ensemble du corpus. cette hypothèse d'une représentation statique peut s'avérer limitée. ainsi en supposant qu'un changement dans le contexte usuel d'un mot reflète un changement dans la signification de ce mot, il est possible d'entraîner des plongements de mots diachroniques : qui évoluent au cours du temps en suivant les changements d'usage des mots. récemment @xcite ont proposé un tel modèle, nommé dynamic bernoulli embedding (dbe). il apprend des représentations de mots qui évoluent au cours du temps selon les strate temporelles d'un corpus, en caractérisant la dérive de ces représentation d'une strate à l'autre au moyen d'un processus aléatoire gaussien. des choix de modélisation différents ont été effectués par d'autres auteurs dans la littérature. les approches de han et al. (2018) et hamilton et al. (2016) impliquent d'apprendre des plongements lexicaux pour chaque strate temporelle sans les relier chronologiquement ; tandis que kim et al. (2014) apprend les plongements diachroniques de façon incrémentale, mais sans contrôler la dérive de ces plongements. dans cet article nous prenons pour base le modèle dbe, qui présente un bon compromis entre simplicité et modulabilité, pour questionner l'importance de ces différents choix de modélisation. dans ce but, nous analysons le comportement des plongements de mots appris à partir de ce modèle (décrit à la section 3) sur deux tailles de strates temporelles -mensuelle et annuelle -et l'appliquons (dans la section 4) à des corpus dans deux langues différentes : français et anglais. les données en anglais proviennent du new york times annotated corpus 1 @xcite , qui s'étend de 1987 à 2006 ; le corpus en français est constitué d'articles du journal lemonde collectés de façon à couvrir la même période. l'étude de ces deux corpus nous permet, dans un deuxième temps, d'étudier de façon conjointe l'évolution d'un mot à travers les deux langages. ## état de l'art les premières méthodes automatiques d'étude de la diachronie se basent sur la détection de changements dans les co-occurrences des mots, puis sur des approches basées sur la similarité distributionnelle @xcite en construisant des mesures d'information mutuelle à partir de matriças de co-occurrences. l'usage de méthodes d'apprentissage automatique basées sur les plongements lexicaux est récent et a connu une forte hausse d'intérêt depuis deux ans, avec la publication consécutive de trois articles dédiés à l'état de l'art de ce domaine @xcite @xcite . dans un des premiers articles employant ce type de méthode @xcite , les auteurs estiment des plongements lexicaux pour la première strate temporelle t 0 puis mettent à jour ces plongements pour les strates temporelles suivantes, considérant les plongements au temps t-1 comme initialisation pour la strate t. d'autres travaux ont ensuite vu le jour, reposant sur l'apprentissage de façon indépendante des plongements lexicaux pour chaque strate temporelle. néanmoins, les plongements ainsi obtenus ne sont pas directement comparables car appartiennent à des espaces vectoriels différents. deux approches sont alors envisageables : d'une part, déterminer la meilleure transformation linéaire afin d'aligner les espaces de représentation à travers les périodes @xcite @xcite ; d'autre part, calculer la similarité cosinus entre chaque paire de mot à l'intérieur d'une strate temporelle, les similarités étant alors comparables d'une strate sur l'autre sans nécessiter d'alignement @xcite . les méthodes dites dynamiques constituent un second type d'approche. le corpus d'étude est toujours divisé en strates temporelles, mais cette fois les plongements lexicaux diachroniques sont appris de façon conjointe sur l'ensemble des strates. ils sont ainsi placés dans un même espace de représentation dès l'apprentissage. pour cela, @xcite utilisent des modèles bayésiens d'apprentissage de plongements lexicaux : les vecteurs sont liées à travers les périodes à l'aide d'un processus de diffusion temporel qui contrôle leur évolution. poursuivant le même objectif, différentes méthodes ont été proposées @xcite @xcite afin de mettre en évidence de façon jointe l'évolution continue du sens des mots. ces méthodes permettent de s'affranchir de la limite de volume de données par strate temporelle lors de l'apprentissage. la majorité de ces modèles sont évalués sur des corpus en anglais. à notre connaissance, bien que plusieurs auteurs ont expérimenté sur d'autres langues que l'anglais @xcite , aucun travaux n'a tenté de comparer l'évolution de mots à travers plusieurs langues à l'aide de méthodes de plongements diachroniques. ## modèles de plongements de mots dynamiques nous partons du modèle dynamic bernoulli embeddings (dbe) @xcite . il se base sur les plongements de mots de la famille exponentielle @xcite , qui sont une généralisation probabiliste du modèle continuous bag-of-words (cbow) @xcite . nous en fournissons une brève description avant de présenter les différentes variantes mises en place. ## expérimentation nous expérimentons à partir de notre propre implémentation du modèle dbe en pytorch. dans un premier temps, nous analysons de façon quantitative le comportement des différentes variantes du modèle dbe définies précédemment. puis nous observons de plus près la dérive des mots ; en particulier, nous mettons en place un processus pour comparer les évolutions des mots dans deux langues de façon conjointe.