Wordsurf : un outil pour naviguer dans un espace de « Word Embeddings » (Wordsurf : a tool to surf in a “word embeddings” space) (2017)

Abstract: Dans cet article, nous présentons un outil appelé « Wordsurf » pour faciliter la phase d’exploration et de navigation dans un espace de « Word Embeddings » préalablement entrainé sur des corpus de textes avec Word2Vec.

## contexte depuis quelques années, sont apparues des méthodes appelées « word embeddings » (notées we par la suite) ou méthodes de plongement de mots en français, comme word2vec @xcite ou glove @xcite , permettant de transformer des mots en vecteurs, c'est-à-dire de passer d'un espace de représentation discontinu (les mots) à un espace continu (espace vectoriel de grande dimension). pour ce faire, word2vec s'appuie sur des corpus volumineux de données textuelles et utilise un réseau de neurones peu profond cherchant à prédire le mieux possible le contexte des mots. la représentation numérique de ces mots est ensuite très utile pour différentes tâches comme la classification, le clustering, la traduction, l'analyse d'opinions, etc. par ailleurs, edf doit maintenant gérer des corpus textuels de plus en plus nombreux et variés : réclamations de clients, question posées à laura l'avatar ou chatbot situé sur le site web d'« edf particuliers », comptes rendus d'interventions techniques, etc. en compléments des techniques d'exploration de corpus dites « classiques », comme le clustering proposé par iramuteq @xcite , les technologies de type we commencent à être utilisées à edf pour « découvrir » ou explorer le contenu de ces différents corpus. pour faciliter cette phase d'exploration et de découverte, et comme les we sont assez difficiles à interpréter, nous avons développé un outil appelé « wordsurf » permettant de naviguer ou de « surfer » dans de telles bases ou espaces de mots. wordsurf est un logiciel interactif développé en java. il permet de lire un modèle de mots préalablement entrainé par word2vec sur un corpus de textes. la démonstration sera illustrée par des résultats obtenus sur un corpus de questions posées à l'agent conversationnel ou chatbot laura. les fonctionnalités de wordsurf sont les suivantes :  pour un mot donné, pouvoir rechercher les mots les plus « similaires » et les afficher sous la forme de nuage ou de liste de mots ;  visualiser l'évolution de ce nuage de mots en fonction des itérations du modèle ;  calculer des similarités entre phrases. pour cela, trois mesures de similarité ont été implémentées issues @xcite ) ainsi que deux autres reposant sur la comparaison de la distribution des voisins des mots constituant les deux phrases ;  un peu plus anecdotique, voire parfois poétique, une fonction permet de calculer les interpolations entre deux mots donnés ;  pour un mot particulier, une liste de mots ou tous les mots du corpus, calculer un graphe où les noeuds sont les mots et les arcs traduisent la proximité entre ces mots. le graphe peut être exporté vers le logiciel gephi @xcite ) ;  pour un mot particulier, une liste de mots ou tous les mots du corpus, générer une visualisation des mots via l'algorithme t-sne @xcite ;  pouvoir comparer qualitativement deux modèles « word2vec » entrainés avec des paramètres différents : pour cela, le logiciel liste les mots dont la représentation est la plus éloignés entre les deux modèles. la partie gauche de la figure 1 présente l'interface de l'outil wordsurf. on distingue un nuage de mots constitués des 100 mots les plus similaires au mot « facture ». la partie droite de la figure 1 représente les mots du modèle ainsi que leur proximité exportés au format html grâce à un plug-in du logiciel gephi. les différentes couleurs représentent les univers lexicaux : les appareils électriques (four, radiateur, etc.), le bâti (toit, coffret, câble, poteau, etc.), les offres, les factures, les justificatifs, etc.