Évaluation des modèles sémantiques distributionnels : le cas de la dérivation syntaxique (Evaluation of distributional semantic models : The case of syntactic derivation ) (2016)

Abstract: Nous évaluons deux modèles sémantiques distributionnels au moyen d’un jeu de données représentant quatre types de relations lexicales et analysons l’influence des paramètres des deux modèles. Les résultats indiquent que le modèle qui offre les meilleurs résultats dépend des relations ciblées, et que l’influence des paramètres des deux modèles varie considérablement en fonction de ce facteur. Ils montrent également que ces modèles captent aussi bien la dérivation syntaxique que la synonymie, mais que les configurations qui captent le mieux ces deux types de relations sont très différentes.

## introduction dans le cadre d'un travail visant à caractériser l'apport des méthodes distributionnelles à la lexicographie spécialisée, nous avons cherché à déterminer comment le choix et la paramétrisation d'un modèle distributionnel sont influencés par divers facteurs, tels que la langue traitée, la partie du discours des termes utilisés pour interroger le modèle, et les relations lexicales ciblées. cette étude a été réalisée en évaluant des modèles distributionnels, construits à partir d'un corpus spécialisé, au moyen de données de référence extraites d'un dictionnaire spécialisé, représentant quatre types de relations lexicales paradigmatiques. les résultats ont notamment mis au jour des différences importantes entre la dérivation syntaxique et d'autres relations paradigmatiques telles que la synonymie en ce qui concerne leur modélisation par l'approche distributionnelle. en effet, les modèles distributionnels captent la dérivation aussi bien que la synonymie, mais les configurations qui captent le mieux ces deux types de relations sont très différentes. en comparant deux modèles distributionnels, nous montrons que celui qui produit les meilleurs résultats dépend des relations ciblées. puis, en explorant actes de la conférence conjointe jep-taln-recital 2016, volume 2 : taln systématiquement l'espace des (hyper)paramètres des deux modèles, nous montrons comment les paramétrisations optimales varient en fonction de ce facteur. ce travail fournit ainsi des balises pour l'application de méthodes distributionnelles dans le cadre du travail lexicographique. l'évaluation des modèles sémantiques distributionnels et l'analyse de leurs paramètres sont souvent réalisées au moyen de jeux de données qui ne ciblent pas une relation lexicale particulière (à l'exception de la synonymie) ou qui ne font pas de distinctions entre différentes relations lexicales. en effet, beaucoup des jeux de données couramment utilisés en sémantique distributionnelle foot_0 représentent des liens de similarité ou de proximité sémantique plus ou moins clairement définis, une exception notable étant le jeu bless @xcite , qui permet d'évaluer la modélisation de relations conceptuelles particulières (cohyponymie, hyperonymie, méronymie, concept-attribut, concept-évènement). nous utilisons dans ce travail un jeu de données représentant quatre classes particulières de relations lexicales paradigmatiques, qui comprennent une relation qui a reçu relativement peu d'attention dans le domaine de la sémantique distributionnelle, à savoir la dérivation syntaxique (voir section 3). cette étude comprend également une comparaison entre l'ad et les représentations distribuées apprises au moyen des deux modèles de langue neuronaux implémentés dans l'outil word2vec, appelés continuous bag-of-words (cbow) et continuous skip-gram @xcite . plusieurs évaluations comparatives de ces deux types de modèles (ad et word2vec) ont été réalisées récemment. @xcite ont comparé l'ad et et le modèle cbow sur plusieurs jeux de données et ont observé que cbow offrait systématiquement de meilleurs résultats. par contre, ferret (2015) a observé le contraire lorsqu'il a comparé deux thésaurus distributionnels construits à partir des représentations rendues disponibles par ces derniers. @xcite ont montré que lorsqu'on optimise correctement les (hyper)paramètres de l'ad et du modèle skip-gram, la qualité des résultats qu'on obtient avec ces deux modèles est souvent similaire. nous ne connaissons aucun travail comparant la capacité de l'ad et de word2vec à capter des relations lexicales spécifiques (à l'exception de la synoymie) ; il s'agit là d'une des contributions de ce travail. de plus, nous analysons l'influence des relations ciblées sur l'optimisation des hyperparamètres de word2vec, une question qui n'a pas été étudiée à notre connaissance. en outre, nous comparons ces deux types de modèles distributionnels sur un corpus spécialisé, de taille relativement petite (50m mots). soulignons enfin que notre travail est relié aux études traitant l'influence des paramètres distributionnels en corpus spécialisé @xcite @xcite , notre étude se distinguant de celles-ci notamment par la prise en compte de plusieurs relations lexicales spécifiques et par la comparaison de deux types différents de modèles distributionnels. ## ressources le corpus utilisé pour construire les modèles distributionnels est le corpus monolingue français panacea du domaine de l'environnement 2 (elra-w0065). ce corpus, compilé automatiquement @xcite , est constitué de pages web totalisant environ 50 millions de mots. le prétraitement appliqué au corpus comprend l'extraction du texte des documents xml (contenant au moins 50 mots), la normalisation des caractères, la lemmatisation au moyen de treetagger @xcite et la mise en minuscules. la lemmatisation, qui consiste à remplacer les variantes flexionnelles d'une même forme lexicale par sa forme canonique, a été appliquée parce qu'elle offre parfois une légère amélioration des résultats de l'approche distributionnelle 3 @xcite les données de référence que nous exploitons pour l'évaluation des modèles sont des paires de termes reliés par une relation lexicale paradigmatique. ces données ont été extraites du dicoenviro 4 , un dictionnaire spécialisé du domaine de l'environnement. les paires extraites du dictionnaire ont été filtrées afin de ne retenir que celles constituées de deux termes dont la fréquence dans le corpus était suffisamment élevée pour qu'ils fassent partie des mots-cibles pour lesquels nous avons produit des représentations (voir section 4). de plus, nous avons seulement retenu les paires constituées de deux termes simples 5 @xcite . nous avons ainsi extrait 1314 paires de termes reliés, que nous avons regroupées en 4 sous-ensembles correspondant à différents types de relations lexicales : -qsyn (quasi-synonymes) : 357 termes associés à un ou plusieurs synonymes, quasisynonymes, variantes, cohyponymes ou autres sens voisins, totalisant 689 relations ; p. ex. écologique!{écolo, propre, vert, environnemental, biotique}. -anti (antonymes) : 126 termes associés à un ou plusieurs antonymes, totalisant 173 relations ; p. ex. absorber ! {réfléchir, émettre, libérer}. -hyp (relations hiérarchiques) : 100 termes associés à un ou plusieurs hyponymes ou hyperonymes, totalisant 193 relations ; p. ex. biocarburant ! {carburant, biogaz, biodiesel, bioéthanol, éthanol}. -drv (dérivés) : 259 termes associés à un 6 dérivé syntaxique (mel'čuk et al., 1995, p. 133), à savoir un mot ayant le même sens, mais appartenant à une partie du discours différente 7 , totalisant 259 relations ; p. ex. absorber!{absorption}, combustion!{brûler}. 2. http://catalog.elra.info/product_info.php?@xmath0. nous avons effectivement observé que la lemmatisation augmente la qualité des résultats. 4. http://olst.ling.umontreal.ca/cgi-bin/dicoenviro/search_enviro.cgi 5. soulignons qu'une proportion élevée des entrées du dicoenviro sont des termes simples, car l'approche lexicosémantique à la terminologie sur laquelle repose ce dictionnaire ne décrit les termes complexes que si leur sens n'est pas compositionnel (l'homme, 2005). 6. un terme peut avoir plusieurs dérivés, mais dans les données que nous avons extraites, aucun terme n'a plus d'un dérivé. 7. il s'agit souvent, mais pas toujours, de dérivés morphologiques. il est important de noter que les qsyn, anti et hyp appartiennent à la même partie du discours, tandis que les drv appartiennent à des parties du discours différentes. 4 expérience l'expérience 8 que nous avons réalisée comporte une évaluation comparative de deux modèles sémantiques distributionnels et une exploration systématique de leurs (hyper)paramètres. le premier modèle que nous avons utilisé est une méthode distributionnelle classique qu'on appelle généralement analyse distributionnelle (ad) en français. l'ad consiste essentiellement à extraire des paires (mot, contexte) d'un corpus, puis à compter et pondérer la fréquence de cooccurrence des mots et des contextes. les contextes peuvent être définis de différentes façons ; on exploite souvent soit la cooccurrence graphique, soit les relations de dépendance syntaxique pour déterminer les contextes d'une occurrence particulière d'un mot. dans ce travail, les contextes sont des cooccurrents graphiques, c'est-à-dire les mots apparaissant dans une fenêtre de contexte centrée sur une occurrence donnée d'un mot. ainsi, les contextes sont aussi des mots ; nous appellerons donc mots-cibles les mots représentés par le modèle distributionnel et mots-contextes les contextes (ou attributs) du modèle. suivant levy et al. (2015), nous notons (w, c) les paires (mot, contexte) extraites du corpus, d l'ensemble des paires extraites, v w l'ensemble des mots-cibles et v c l'ensemble des mots-contextes. une fois la collection d extraite, on calcule pour chaque mot-cible w 2 v w et chaque mot-contexte c 2 v c leur fréquence de cooccurrence #(w, c) dans d. ces fréquences sont stockées dans une matrice m , puis pondérées, généralement au moyen d'une mesure d'association telle que l'information mutuelle. ainsi, chaque valeur m ij indique la force de l'association entre le mot-cible w i et le mot-contexte c j . la similarité distributionnelle des mots-cibles est ensuite calculée en comparant les vecteurs-rangées de m au moyen d'une mesure de similarité (ou de distance), la plus courante étant le cosinus de l'angle des vecteurs @xcite . l'entraînement des modèles neuronaux a été réalisé au moyen du programme word2vec 10 . nous avons utilisé les mêmes mots-cibles que pour l'ad 11 . la valeur par défaut a été utilisée pour tous les hyperparamètres sauf ceux dont nous analysons l'influence (voir la section 4.1). en ce qui concerne la mesure d'évaluation, nous utilisons la moyenne des précisions moyennes (en anglais, mean average precision ou map) pour évaluer la qualité de la liste ordonnée de voisins distributionnels qu'on obtient à partir d'un modèle donné pour chaque requête. on obtient ces listes en calculant la similarité entre la représentation de la requête et celle de tous les autres mots-cibles ; la mesure de similarité que nous utilisons est le cosinus de l'angle des vecteurs. pour définir le calcul de la map, appelons @xmath1, . . . , q n } l'ensemble des requêtes utilisées pour l'évaluation. pour chaque requête q i , nous avons un ensemble t @xmath2, . . . , t mi i } de termes reliés à la requête selon les données de référence. la map est calculée de la façon suivante : pour chaque requête q i , on calcule la précision de sa liste ordonnée de voisins à chacun des rangs où se trouvent les termes reliés t i , puis on calcule la moyenne de ces précisions (average precision ou ap) ; la map est alors la moyenne des précisions moyennes obtenues pour chaque requête q i 2 q. si on suppose que la fonction v(q, t) retourne la liste ordonnée des voisins de la requête q jusqu'au rang du terme relié t, on peut alors formuler la précision moyenne (ap) pour la requête q i de la façon suivante : ## résultats nous comparons d'abord la map atteinte par les deux modèles distributionnels sur l'ensemble des données de référence (toutes relations confondues). la figure 1a , qui présente la dispersion de la map en fonction du modèle utilisé, montre que l'ad atteint une map plus élevée que w2v lorsqu'on explore systématiquement l'espace des (hyper)paramètres des deux modèles ; en effet, l'ad atteint 0.4107 tandis que la map maximale de w2v est 0.3819. si on choisissait une paramétrisation au hasard, la map qu'on obtiendrait, en moyenne, avec l'ad (0.3283) est également plus élevée que celle qu'on obtiendrait avec w2v (0.3065). la figure 1b présente la dispersion de la map en fonction de la relation lexicale ciblée, les deux modèles confondus. cette figure montre qu'on atteint une map beaucoup plus élevée sur les qsyn et les drv que sur les anti ou les hyp, ce qui signifie que les termes reliés qu'on souhaite repérer se trouvent plus près du début des listes ordonnées de voisins distributionnels, en moyenne, lorsqu'on cherche des quasi-synonymes ou des dérivés que lorsqu'on cherche des antonymes, des hyponymes ou des hyperonymes. cette figure montre également qu'on arrive à modéliser les drv aussi bien que les qsyn, mais que la dispersion de la map est beaucoup plus élevée sur les drv, ce qui indique que la qualité des résultats qu'on obtient pour cette relation est beaucoup plus sensible au choix et à la paramétrisation du modèle que pour les autres relations. on peut vérifier dans quelle mesure le choix du modèle détermine la qualité des résultats qu'on obtient pour chaque relation en observant les map moyenne et maximale de chaque modèle sur les 4 types de relations lexicales. ces données, qui sont présentées dans la