Etude de la reproductibilité des word embeddings : repérage des zones stables et instables dans le lexique (Reproducibility of word embeddings : identifying stable and unstable zones in the semantic space) (2018)

Abstract: Les modèles vectoriels de sémantique distributionnelle (ou word embeddings), notamment ceux produits par les méthodes neuronales, posent des questions de reproductibilité et donnent des représentations différentes à chaque utilisation, même sans modifier leurs paramètres. Nous présentons ici un ensemble d’expérimentations permettant de mesurer cette instabilité, à la fois globalement et localement. Globalement, nous avons mesuré le taux de variation du voisinage des mots sur trois corpus différents, qui est estimé autour de 17% pour les 25 plus proches voisins d’un mot. Localement, nous avons identifié et caractérisé certaines zones de l’espace sémantique qui montrent une relative stabilité, ainsi que des cas de grande instabilité.

## introduction la popularité des modèles prédictifs en sémantique distributionnelle est indéniable, et les outils comme word2vec @xcite ont su s'imposer comme de nouveaux standards à la fois dans les applications du tal et dans les investigations empiriques des différentes facettes de la sémantique lexicale. ces outils permettent de représenter de façon compacte des unités lexicales (par des vecteurs de quelques centaines de dimensions), en se basant uniquement sur des quantités de texte correspondant aux standards contemporains (centaines de millions ou milliards de mots) et d'obtenir par ce biais des rapprochements convaincants d'unités lexicales sémantiquement liées. toutefois, au-delà des différentes méthodes mises en oeuvre dans ces techniques, leur utilisation soulève un ensemble de questions à la fois méthodologiques et pratiques. si les embeddings (ou plongements lexicaux) ont prouvé leur intérêt, et sont utilisés sans hésitation pour représenter des contenus lexicaux en amont d'une application de tal (notamment basée sur des méthodes d'apprentissage profond) @xcite , plusieurs questions restent en suspens quant aux conditions d'utilisation de ces techniques. depuis longtemps on sait que les méthodes d'analyse distributionnelle sont très sensibles à un ensemble de paramètres. on se base généralement sur des évaluations intrinsèques pour estimer la valeur optimale des paramètres, en comparant par exemple les similarités entre les mots au sein des modèles distributionnels avec celles estimées par des humains @xcite , et ce sur un échantillon réduit (généralement quelques centaines de paires de mots) ce qui soulève des problèmes concernant la fiabilité des évaluations effectuées. les modèles distributionnels neuronaux de type word2vec soulèvent d'autres questions liées à la reproductibilité des modèles construits, puisqu'ils se basent sur des méthodes stochastiques à différentes étapes de leur traitement. autrement dit, pour un même outil paramétré de la même façon et appliqué à un même corpus, un modèle différent est généré à chaque exécution. cette instabilité doit bien entendu être prise en compte, surtout lorsque l'on utilise les modèles distributionnels à des fins d'exploration locale d'une partie du lexique ou d'un corpus particulier @xcite . la ## dispositif nous résumons ici le dispositif expérimental mis en place, à savoir les modèles que nous avons construits et comment nous les comparons. ## vue d'ensemble de la variation dans cette section nous présentons les mesures globales de la variation entre les différents modèles que nous avons entraînés, en considérant la variation moyenne observée sur l'ensemble des mots, mais également en mesurant la stabilité d'un échantillon de valeurs de similarité. la première question à traiter concerne le choix d'une valeur pour n, le nombre de plus proches voisins considérés.