L’évaluation des représentations vectorielles de mots en utilisant W ord N et (Evaluating word representations using W ord N et) (2018)

Abstract: Les méthodes d’évaluation actuelles des représentations vectorielles de mots utilisent généralement un jeu de données restreint et biaisé. Pour pallier à ce problème nous présentons une nouvelle approche, basée sur la similarité entre les synsets associés aux mots dans la volumineuse base de données lexicale WordNet. Notre méthode d’évaluation consiste dans un premier temps à classer automatiquement les représentions vectorielles de mots à l’aide d’un algorithme de clustering, puis à évaluer la cohérence sémantique et syntaxique des clusters produits. Cette évaluation est effectuée en calculant la similarité entre les mots de chaque cluster, pris deux à deux, en utilisant des mesures de similarité entre les mots dans WordNet proposées par NLTK (wup _similarity). Nous obtenons, pour chaque cluster, une valeur entre 0 et 1. Un cluster dont la valeur est 1 est un cluster dont tous les mots appartiennent au même synset. Nous calculons ensuite la moyenne des mesures de tous les clusters. Nous avons utilisé notre nouvelle approche pour étudier et comparer trois méthodes de représentations vectorielles : une méthode traditionnelle, WebSOM et deux méthodes récentes, word2vec (Skip-Gram et CBOW) et GloVe, sur trois corpus : en anglais, en français et en arabe.

## introduction une méthode de représentation vectorielle a pour but d'associer à chaque mot dans un corpus textuel, un vecteur à valeurs réelles, tel que les composantes de ce vecteur décrivent le mieux possible le sens de ce mot dans son contexte. cependant, la tâche la plus difficile est de vérifier la qualité des vecteurs produits par ces méthodes. l'évaluation se fait généralement par un travail manuel ou avec une évaluation directe, en utilisant un petit jeu de données comme : "wordsim-353" @xcite , "toefl" @xcite constitué de 80 questions à choix multiples, "google's analogy dataset" qui comporte 19 544 analogies ou "msr's analogy dataset" qui contient 8000 analogies morpho-syntaxiques. une étude récente de @xcite , conduit un ensemble d'expériences en comparant la méthode de word2vec @xcite aux autres méthodes traditionnelles. @xcite ont toutefois trouvé des résultats différents, en utilisant le même jeu de données. comme le rappellent @xcite , "l'évaluation directe séduit par sa simplicité, mais pose la question de l'adéquation des lexiques utilisés comme références". afin de permettre d'utiliser un lexique de référence plus conséquent, nous proposons une nouvelle approche d'évaluation indirecte, basée sur l'idée d'exploiter les mesures de similarités entre les mots de wordnet @xcite . ces mesures sont présentées dans @xcite . elles sont implémentées dans nltk 1 . la base de données lexicale wordnet @xcite , plus volumineuse, offre des possibilités plus intéressantes. elle contient plus de 200 000 mots, avec leurs relations sémantiques et lexicales. nous décrivons notre approche plus en détail dans la section 4. pour nos expériences, nous avons choisi trois méthodes de représentations vectorielles de mots : word2vec @xcite , glove @xcite et websom @xcite . elles sont toutes fondées sur l'hypothèse de @xcite , selon laquelle les mots apparaissant dans des contextes similaires ont un sens similaire. les modèles de représentation vectorielle de mots transforment l'analyse distributionnelle d'un corpus en espace vectoriel, dans lequel deux vecteurs proches géométriquement représentent deux mots sémantiquement proches. ## représentation vectorielle de mots dans ce paragraphe, nous présentons brièvement les trois méthodes de representation vectorielle de mots que nous avons choisies pour conduire nos expérimentations. ## méthodologie la figure 1 donne une vue générale de la méthode proposée : figure 1 -le principe de fonctionnement de notre système représentation vectorielle de mots : nous appliquons les trois méthodes de représentation vectorielle de mots sur nos corpus, afin d'associer un vecteur à chaque mot dont la fréquence d'usage est supérieure à un seuil donné. filtrage : cette étape consiste à sélectionner, parmi les mots qui ont été représentés par des vecteurs, ceux qui sont indexés dans wordnet (@xmath0.synsets(w) = ∅). clustering : après la représentation vectorielle de mots, nous utilisons kmeans++ (arthur & vassilvitskii, 2007) 2 , afin de regrouper les mots qui ont une proximité sémantique ou syntaxique dans un même cluster. évaluation : nous calculons la similarité entre les mots de chaque cluster, pris deux à deux en utilisant la wup_similarity. nous définissons simwords(c i ) 3 la similarité entre les mots du cluster c i par l'équation (2). où les mots m k et m j appartiennent au clusters c i . nous calculons ensuite la moyenne des mesures de tous les clusters, par l'équation : où n ci est le nombre de mots du cluster c i , k est le nombre de clusters. note : pour l'arabe et le français, nltk utilise une traduction automatique, par exemple : ## conclusion nous avons proposé une solution d'évaluation de representations vectorielles de mots qui s'appuie sur un large lexique de référence. elle permet de mesurer concrètement les performances d'une méthode de représentation vectorielle de mots, ou d'en optimiser les paramètres afin d'augmenter ses performances. notre approche présente l'avantage d'être plus générale que les méthodes existant précédemment, grâce à la richesse sémantique qu'apportent les synonymes de wordnet et à la possibilité de l'utiliser avec différentes langues. les 200 000 mots indexés dans wordnet offrent la possibilité de calculer à peu près 20 milliards de similarités entre mots. en revanche, avec "wordsim-353" par exemple, nous ne disposons que de 350 similarités (nombre de paires de mots). ces résultats encourageants montrent l'efficacité de notre méthode et permettent d'envisager l'utilisation d'autres mesures de similarités dans wordnet et de comparer l'efficacité d'autres méthodes de vectorisation de mots.