Création et validation de signatures sémantiques : application à la mesure de similarité sémantique et à la substitution lexicale (Creating and validating semantic signatures : application for measuring semantic similarity and lexical substitution) (2017)

Abstract: L’intégration de la notion de similarité sémantique entre les unités lexicales est essentielle dans différentes applications de Traitement Automatique des Langues (TAL). De ce fait, elle a reçu un intérêt considérable qui a eu comme conséquence le développement d’une vaste gamme d’approches pour en déterminer une mesure. Ainsi, plusieurs types de mesures de similarité existent, elles utilisent différentes représentations obtenues à partir d’informations soit dans des ressources lexicales, soit dans de gros corpus de données ou bien dans les deux. Dans cet article, nous nous intéressons à la création de signatures sémantiques décrivant des représentations vectorielles de mots à partir du réseau lexical JeuxDeMots (JDM). L’évaluation de ces signatures est réalisée sur deux tâches différentes : mesures de similarité sémantique et substitution lexicale. Les résultats obtenus sont très satisfaisants et surpassent, dans certains cas, les performances des systèmes de l’état de l’art.

## introduction mesurer la similarité sémantique entre les mots est essentielle pour de nombreuses applications du traitement automatique des langues telles que la substitution lexicale @xcite , la simplification lexicale @xcite ou l'enrichissement sémantique de requêtes @xcite . les mesures de similarité sémantique sont également essentielles pour les sens ou les textes. pour les sens, elles peuvent être utilisées pour la désambiguïsation sémantique @xcite ou l'alignement et l'intégration de différentes ressources lexicales @xcite . pour les textes, elles permettent par exemple d'évaluer la qualité des sorties des systèmes de traduction automatique @xcite ou de recherche d'information @xcite . des travaux existants ont montré qu'il est possible d'ajuster ou d'étendre des approches utilisées pour un niveau de granularité à un autre. par exemple, les mesures au niveau du mot ont été ajustées pour mesurer la similarité entre les textes @xcite alors que les mesures au niveau du sens ont été étendues au niveau du mot en supposant que la similarité entre deux mots est celle de leurs sens les plus proches @xcite . dans cet article, nous nous intéressons spécifiquement à la création de représentations sémantiques pour les mots. le travail présenté décrit une méthode qui s'appuie tout d'abord sur les propriétés individuelles de chaque élément linguistique qui se définit comme étant un noeud dans le réseau lexical jeuxdemots @xcite , cela afin de modéliser des noeuds liés à travers une représentation sémantique. ce qui nous ramène par la suite à comparer les éléments linguistiques en termes de leurs représentations. ces dernières sont typées, pondérées et appelées des signatures sémantiques. elles peuvent être utilisées, par exemple, pour déterminer si la similarité sémantique entre fournaise et four est plus forte que la similarité entre fournaise et instrument ou pour savoir si le synonyme prix du mot intérêt représente un substitut pertinent par rapport au synonyme avantage dans un contexte décrivant le sens finance pour le mot intérêt. d'une manière générale, une signature sémantique peut être considérée comme une forme spéciale de représentation du modèle d'espace vectoriel (vsm, vector space model) @xcite . de la même façon que la représentation d'un élément linguistique à base du modèle vsm, le poids associé à une dimension dans une signature sémantique indique la pertinence ou l'importance de cette dimension pour l'élément linguistique. la différence principale est dans la manière dont les poids sont calculés. dans une représentation à base du modèle vsm, chaque dimension correspond habituellement à un mot individuel dont le poids est souvent calculé sur les bases de la statistique des cooccurrences, tandis que dans une signature sémantique un élément linguistique est représenté comme une distribution de probabilité sur toutes les entités du réseau lexical utilisé (dans notre cas, jeuxdemots) où les poids sont estimés sur la base des propriétés structurelles de ce réseau. après avoir présenté dans la section 2 les travaux liés à la création de représentations vectorielles pour les mots, nous décrivons dans la section 3 le réseau lexical jeuxdemots et la méthode utilisée pour la génération des signatures sémantiques. par la suite, dans la section 4, nous présentons les résultats et l'efficacité de l'utilisation de nos signatures par rapport à d'autres modèles vectoriels de représentation sémantique, avant de terminer, à la section 5, par une conclusion et quelques perspectives. ## travaux antérieurs mesurer la similarité sémantique entre les mots est un domaine qui a reçu beaucoup d'attention depuis plusieurs années. des jeux de données ont été construits pour l'évaluation de la similarité, que ce soit pour l'anglais @xcite ou pour le français et l'allemand @xcite . nous pouvons distinguer deux grandes catégories d'approches pour construire des représentations : (1) à base de modèles distributionnels ( baroni et al., 2014; turney & pantel, 2010) (2) à base de ressources lexicales @xcite @xcite . les modèles distributionnels sont le paradigme prédominant pour la modélisation des mots. ce paradigme repose sur l'hypothèse suivante : « les mots dont les distributions sont similaires sont sémantiquement proches » @xcite . les techniques les plus connues reposent sur l'analyse statistique des données textuelles (adt) en prenant en considération les cooccurrences pour la création des représentations vectorielles de mots. les modèles classiques considèrent le contexte comme un sac de mots @xcite tandis que les modèles les plus sophistiqués tiennent compte, par exemple, des dépendances syntaxiques @xcite . les poids dans les vecteurs à base de cooccurrences sont habituellement calculés à base de tf-idf, term frequency-inverse document frequency @xcite ou de la pmi, pointwise mutual information @xcite . une nouvelle catégorie de modèles distributionnels a vu le jour récemment : des réseaux de neurones sont ici utilisés pour apprendre directement un contexte d'un mot donné, ou un mot à partir de son contexte. les informations obtenues sont alors modélisées comme un vecteur continu. le modèle le plus utilisé est celui de mikolov et ses collaborateurs @xcite , appelé souvent word2vec. il y a deux types pour ce modèle : le premier repose sur une architecture fondée sur les sacs-de-mots continus (continuous bag of words ou cbow), le deuxième repose sur une architecture fondé sur les skip-gram. le type cbow cherche à prédire un mot selon un contexte alors que le type skip-gram cherche à prédire un contexte sachant un mot. un modèle compétitif au word2vec a été proposé par @xcite et développé à stanford, appelé glove. ce dernier n'utilise pas une architecture neuronale, il repose sur une utilisation de cooccurrences entre les termes (le nombre de fois qu'un terme apparaît en concomitance avec un autre). en croisant les probabilités de cooccurrences, il se veut capable de reproduire le même fonctionnement de word2vec. ces modèles sont souvent appelés word embeddings (ou plongements lexicaux). les approches à base de ressources lexicales se décomposent elles-mêmes en deux catégories. celles de la première catégorie tiennent compte de l'ensemble des sens possibles d'un mot donné, tandis que celles de la deuxième catégorie supposent que la similarité entre deux mots peut être calculée en fonction de la similarité de leurs sens les plus proches, ce qui permet d'appliquer directement toute mesure au niveau des sens pour comparer les couples de mots @xcite . les approches de la première catégorie sont nombreuses, parmi elles, les plus grandes ressources collaboratives telles que wikipédia @xcite et le wiktionnaire @xcite ont été exploitées. c'est dans cette première catégorie d'approches que nous nous situons également. ## méthodologie cette section présente le réseau lexical jeuxdemots, la méthode utilisée pour la génération de signatures sémantiques ainsi que les techniques pour mesurer la similarité entre les éléments linguistiques couverts par jeuxdemots.