Étude des variations sémantiques à travers plusieurs dimensions (Studying semantic variations through several dimensions ) (2020)

Abstract: Au sein d’une langue, l’usage des mots varie selon deux axes : diachronique (dimension temporelle) et synchronique (variation selon l’auteur, la communauté, la zone géographique... ). Dans ces travaux, nous proposons une méthode de détection et d’interprétation des variations d’usages des mots à travers ces différentes dimensions. Pour cela, nous exploitons les capacités d’une nouvelle ligne de plongements lexicaux contextualisés, en particulier le modèle BERT. Nous expérimentons sur un corpus de rapports financiers d’entreprises françaises, pour appréhender les enjeux et préoccupations propres à certaines périodes, acteurs et secteurs d’activités.

## introduction l'usage des mots varie selon deux axes : diachronique (dimension temporelle) @xcite et synchronique (en fonction de l'auteur, la communauté, la zone géographique... ). ces variations peuvent être d'envergure et d'ordre générationnel et culturel ; ou d'ampleur plus réduite, pour des variations à court terme et entre individus ou entités. dans ce cas, elles peuvent être le résultat d'événements qui, sans altérer la signification du mot, changent ponctuellement son usage et sa connotation. elles révèlent alors des divergences d'intérêts et de préoccupations entre les individus. dans cet article, nous nous concentrons sur le domaine financier et un corpus de rapports financiers d'entreprises. dans ce cadre, modéliser les évolutions temporelles d'usage des mots peut permettre une meilleure appréhension des enjeux et préoccupations de chaque période @xcite tandis que les opinions, comportements et préoccupations des différents acteurs financiers peuvent transparaître à travers la façon dont ils utilisent les mots. en d'autres termes, nous cherchons à détecter des "signaux faibles" en analysant les variations d'usage des mots. un signal faible est une information observée à partir de données, qui peut avoir une interprétation et des conséquences ambiguës, mais peut revêtir de l'importance pour la compréhension d'événements présents ou futurs. les variations diachroniques et synchroniques au sein d'un corpus de documents sont difficilement repérables par les analystes financiers ; mais elles peuvent révéler des informations précieuses en tant que potentiels signaux faibles de changement dans l'opinion ou la situation d'un acteur financier. par exemple, l'évolution de la connotation du vocabulaire employé dans les communications des banques centrales (bce et fed) est liée à la situation économique de la période @xcite . avec la numérisation de textes historiques, les méthodes de traitement automatique des langues (tal) pour l'analyse diachronique se sont développées rapidement ces dernières années @xcite . de nombreux modèles reposent sur des plongements de mots statiques comme word2vec @xcite . ils rassemblent les différents usages d'un mot dans un unique vecteur, ce qui rend difficile une analyse des variations de contexte et d'usage. plus récemment, les plongements de mot contextualisés sont apparus comme bert @xcite ou elmo @xcite . ce type de modèles renouvellent les perspectives pour l'analyse des variations sémantiques. dans cet article, nous utilisons le modèle bert qui montre une nette supériorité pour la tâche de désambiguïsation sémantique par rapport à elmo et flair @xcite . nous nous appuyons sur flaubert, une version de bert pour le français, pour proposer une méthode de détection et d'interprétation des variations d'usages de mots dans un corpus selon plusieurs dimensions. la méthode est décrite dans la section 3 puis appliquée (section 4) sur un corpus français de rapports financiers annuels d'entreprises (section 4.1). ## état de l'art avant que l'emploi de représentations vectorielles de mots ne se généralise, la mesure de changement sémantique reposait sur la détection de variation dans les co-occurences de mots @xcite . puis des modèles de plongements de mots diachroniques se sont développés, reposant sur l'hypothèse qu'un changement dans le contexte d'un mot reflète une évolution de sa signification et son usage. le plus souvent, ils impliquent de diviser un corpus en strates temporelles puis d'apprendre des plongements lexicaux @xcite pour chaque mot, dans chaque strate. pour cela, deux méthodes populaires sont l'apprentissage incrémental @xcite . néanmoins, ces méthodes rassemblent l'ensemble des significations et usages possibles d'un mot dans un unique vecteur, à chaque strate temporelle. en parallèle, l'analyse de variations sémantiques dans le cas synchronique est faite en majorité à partir de méthodes de désambiguïsation sémantique. certains auteurs utilisent des mesures de similarité entre plongements de mots pour analyser les variations de vocabulaire entre plusieurs communautés @xcite . plus récemment, @xcite analysent à la fois les variations synchroniques et diachroniques dans des corpus en utilisant des plongements lexicaux et une méthode d'alignement d'espaces de représentations. les plongements de mots contextualisés comme bert @xcite et elmo @xcite permettent à chaque occurrence d'un mot d'être représentée par un vecteur dépendant de son contexte. pré-entraînés sur des corpus volumineux, ils améliorent l'état de l'art dans de nombreuses tâches de tal et commencent à être utilisés pour la détection de changement sémantique. dans un premier temps, bert fut utilisé de façon supervisés (hu et al., 2019) pour déterminer l'évolution de la distribution des sens d'un mot au cours du temps. néanmoins, cette méthode implique de travailler sur un nombre réduit de mots dont l'ensemble des sens est connu l'avance. nous explorons l'usage de méthodes de partitionnement sur l'ensemble des représentations des occurrences d'un mot pour extraire automatiquement ses sens possibles @xcite . ## modélisation des variations avec flaubert bert (bidirectional encoder representations from transformers) est un modèle de représentation des mots dans leurs contextes d'utilisation (typiquement une phrase). son utilisation repose sur l'apprentissage par transfert : pré-entraîner un modèle sur une tâche non-supervisée à partir d'un très grand volume de données, avant de le raffiner sur une nouvelle tâche. ici, nous utilisons ce type de modèle directement pour représenter l'occurrence d'un mot dans une séquence. notre étude portant sur des données français, nous utilisons le modèle flaubert @xcite qui est une variante des modèles bert et roberta @xcite entraînée sur des textes français. ## conclusion cet article est une investigation préliminaire de la capacité des plongements lexicaux contextualisés de bert à détecter des variations diachroniques et synchroniques d'usages de mots. nous montrons sur une étude de cas que notre méthode permet de détecter et d'interpréter de façon fine les variations d'usage dans plusieurs dimensions. l'étape suivante est de proposer une méthode d'évaluation de notre processus. peu de corpus annotés de variations sémantiques étant disponibles, nous nous tournons vers la génération de variations synthétiques @xcite . nous définissons différents scénarios de variations d'usage d'un mot selon différentes dimensions, puis les simulons en générant des corpus comportant ces variations. le but est d'évaluer les capacités de détection de notre méthode sur ces données synthétiques, pour chaque scénario.