Au-delà de la performance des modèles : la prédiction de liens peut-elle enrichir des graphes lexico-sémantiques du français ? (2024)

Abstract: Cet article présente une étude sur l’utilisation de modèles de prédiction de liens pour l’enrichissement de graphes lexico-sémantiques du français. Celle-ci porte sur deux graphes, RezoJDM16k et RL-fr et sept modèles de prédiction de liens. Nous avons étudié les prédictions du modèle le plus performant, afin d’extraire de potentiels nouveaux triplets en utilisant un score de confiance que nous avons évalué avec des annotations manuelles. Nos résultats mettent en évidence des avantages différentspour le graphe dense RezoJDM16k par rapport à RL-fr, plus clairsemé. Si l’ajout de nouveaux triplets à RezoJDM16k offre des avantages limités, RL-fr peut bénéficier substantiellement de notre approche.

## introduction les ressources lexicales ont longtemps été essentielles pour le développement des systèmes de traitement automatique des langues (tal). malgré les récentes avancées de l'apprentissage non supervisé et des modèles de langue, ces ressources et plus spécifiquement les graphes de connaissances ou lexico-sémantiques restent des sources de connaissances linguistiques permettant l'amélioration des systèmes dans la résolution de tâches de tal @xcite . en outre, ces objets décrivant la langue sont également importants dans des domaines tels que la linguistique ou l'enseignement des langues. dans cet article, nous nous intéressons à l'utilisation de modèles de prédiction de liens pour enrichir des graphes lexico-sémantiques du français. plus précisément, nous cherchons ici à améliorer la complétude du réseau lexical du français, rl-fr @xcite , un graphe lexico-sémantique relativement peu dense créé manuellement par des lexicographes. pour mieux comparer l'efficacité de notre approche, nous avons également appliqué nos expériences sur rezojdm16k @xcite , un graphe lexico-sémantique très dense. les principales contributions de l'article sont les suivantes : i) nous avons évalué les performances de sept modèles de prédictions de liens sur deux graphes lexico-sémantiques du français, dont un modèle présentant des résultats état-de-l'art, ii) nous avons ajouté un score de confiance sur les prédictions générées par le modèle compgcn-conve pour extraire de potentiels nouveaux triplets et iii) nous avons analysé qualitativement ces prédictions à partir d'annotations manuelles. notre expérience produit des résultats encourageants et ouvre une voie nouvelle vers l'enrichissement semi-automatique des ressources lexico-sémantiques. ## tâche de prédiction de liens les graphes de connaissances sont généralement incomplets en raison de l'impossibilité de décrire le monde ou la langue de manière exhaustive. la tâche de prédiction de liens consiste alors à prédire des triplets manquants dans un graphe. il existe deux variantes principales de cette tâche : la prédiction transductive et la prédiction inductive. dans la prédiction transductive, l'entraînement et l'inférence se font sur le même graphe. inversement, dans la prédiction inductive, l'inférence peut avoir lieu sur un graphe différent et l'échantillon de test peut inclure des noeuds inconnus @xcite . dans cet article, nous nous concentrons uniquement sur la prédiction transductive. les graphes de connaissances peuvent être décrits comme un ensemble de triplets, désignés par (h, r, t) pour head (tête), relation et tail (queue). étant donné des triplets incomplets tels que (h, r, ?) ou ( ?, r, t), le modèle doit prédire l'entité manquante. pour ce faire, les modèles neuronaux sont entraînés à donner un meilleur score aux triplets positifs qu'aux triplets négatifs créés negative sampling @xcite , technique consistant à corrompre les triplets positifs en remplaçant l'entité de tête ou de queue par une autre entité choisie au hasard. les scores sont calculés à l'aide d'une fonction score, qui dépend du type de modèle. dans cette section, nous donnons un aperçu général de certains de ces types. nous renvoyons les lecteurs intéressés à l'étude complète de chen et al. (2020) pour une compréhension approfondie des approches neuronales de prédiction de liens. modèles semantic-matching ces modèles utilisent une fonction de score dérivée de la similarité sémantique pour découvrir les connexions sémantiques potentielles entre les entités et les relations. parmi les exemples notables, nous pouvons citer rescal @xcite , qui capture les interactions par paire entre les entités, distmult @xcite qui réduit la charge de calcul mais est limité aux relations symétriques et complex @xcite , qui introduit des plongements basés sur un espace vectoriel complexe pour une capacité de modélisation plus large. ## état de l'art si la tâche de complétion des graphes lexico-sémantiques reste sous-explorée, il existe une vaste littérature sur l'enrichissement des graphes lexicaux. de manière générale, ces approches visent à accroître la couverture de la ressource, c'est-à-dire à ajouter de nouveaux noeuds au graphe, en s'appuyant sur des ressources externes. l'une des premières approches se base sur les co-occurrences statistiques pour amorcer les graphes lexico-sémantiques existants @xcite . ces approches, ainsi que d'autres antérieures @xcite , nécessitaient toutefois une intervention manuelle importante en raison de la faible qualité des prédictions. l'une des avancées majeures dans ce domaine a été la création de la ressource multilingue babelnet @xcite , qui a étendu wordnet @xcite en croisant les sens des mots avec les articles de wikipedia. des modèles de traductions automatiques ainsi que d'autres approches @xcite ont également été utilisées à des degrés divers. les progrès de la levée d'ambiguïté lexicale et l'existence de corpus ou de dictionnaires parallèles ont également permis d'enrichir les wordnets d'autres langues à partir de l'anglais @xcite . en outre, les approches visant à optimiser la complétude de ces graphes adoptent rarement une perspective centrée sur les ressources. en effet, bien qu'il existe de nombreux travaux utilisant des modèles transductifs de prédiction de liens sur ces graphes, très peu d'entre eux ont conduit à des ajouts concrets à ladite ressource, à l'exception des travaux de fellbaum (1998) sur l'ajout de liens entre les noeuds de wordnet par extraction de motifs (pattern mining) à partir de corpus. il est également important de souligner que ce domaine a un biais important en faveur des ressources de l'anglais, comme le montre l'utilisation de jeux de données de référence tels que wn18rr (dettmers et al., 2018) et fb15k-237 @xcite . si la plupart des techniques sont en théorie transférables à n'importe quel graphe, très peu d'efforts empiriques ont été faits. pour les ressources du français, @xcite ont étudié l'efficacité des modèles de prédiction de liens sur un graphe lexico-sémantique, mais se concentrent davantage sur la création du jeu de données et l'évaluation des modèles plutôt que sur l'enrichissement de la ressource. rezojdm et rezojdm16k rezojdm (lafourcade & joubert, 2008; lafourcade & le brun, 2020) est un réseau lexico-sémantique du français développé via des jeux ayant un but, des approches contributives et des mécanismes d'inférence. la plateforme jeuxdemots 1 propose des jeux permettant de développer le réseau en ajoutant de nouvelles entrées et de vérifier des informations du réseau. le jeu principal invite les joueurs à saisir des termes dans un délai imparti selon un terme et un type de relation donnés. l'utilisation des jeux ayant un but a ainsi permis de créer un graphe dirigé très dense, puisqu'il comprend actuellement plus de 537 millions de relations et six millions de noeuds 2 . dans rezojdm, les noeuds représentent principalement des termes (type n_term) mais contiennent aussi des informations telles que des étiquettes de partie du discours (type n_pos) ou des formes fléchies (n_form). les relations sont divisées en trois catégories : lexicales (synonymie, antonymie. . .), ontologiques (hyperonymie, méronymie. . .) et prédicatives (agent, conséquences. . .). les noeuds et les relations ont la particularité de présenter des poids en fonction de la dynamique du jeu. pour les relations, un poids positif code une relation vraie et un poids négatif code une relation fausse, attribut relativement rare dans les graphes de connaissances. la polysémie d'un terme est exprimée en distinguant un noeud générique de ses noeuds de raffinement. cependant, comme le jeu demande au joueur d'entrer autant de termes que possible dans un temps limité, les joueurs ont tendance à ne pas affiner leurs réponses, ce qui conduit à une faible densité des noeuds de raffinement. par exemple, le noeud générique accord a un degré de 10 549, tandis que les degrés des noeuds de raffinement @xmath0. mirzapour et al. (2022) ont créé le sous-graphe rezojdm16k en appliquant divers filtres aux noeuds et relations de rezojdm. seuls les noeuds de type n_term et de poids supérieur à 50 ont été retenus. le même filtre de poids a été appliqué aux relations et certains types ont également été supprimés. en outre, les types de relations apparaissant moins de 100 fois et les noeuds ayant un degré inférieur à 45 ont été exclus, afin d'améliorer l'efficacité des modèles. le graphe final est composé de 15 746 noeuds et de 832 093 relations. rl-fr le réseau lexical du français rl-fr est un réseau lexico-sémantique du français créé par des lexicographes, où les noeuds correspondent à des unités lexicales et les arêtes à des relations lexico-sémantiques ou combinatoires (lux-pogodalla & polguère, 2011). dans cette section, nous présentons des informations concernant la version 2.1 de rl-fr, utilisée pour nos expériences 3 . et correspondent aux sens des mots. par conséquent, un mot polysémique, appelé vocable, est représenté comme une collection d'unités lexicales interconnectées par une relation de copolysémie. la version 2.1 du rl-fr contient 29 220 unités lexicales et 18 625 vocables. voici les lexèmes du vocable jambe, à titre d'exemple : contrairement aux dictionnaires classiques, où les sens d'un mot sont généralement seulement listés, le rl-fr représente les types de relation entre les sens avec la notion de copolysémie, décrite comme la relation entre les différents sens d'un mot, opposée à la polysémie qui est la propriété des mots d'exprimer plusieurs sens @xcite . il existe donc plusieurs relations de copolysémie, telle que la métonymie ou la métaphore (cf. annexe a). la ressource est basée sur la théorie sens-texte qui permet d'encoder les relations paradigmatiques et syntagmatiques avec les fonctions lexicales @xcite . quelques exemples de fonctions lexicales paradigmatiques sont donnés ci-dessous : les relations syntagmatiques comprennent, entre autres, les collocations et les verbes supports : deux graphes différents mais complémentaires malgré un format de réseau commun, rezojdm16k et rl-fr présentent des différences significatives en termes de création, de portée et de représentation de la polysémie. le tableau 1 illustre le contraste topologique entre ces deux graphes : rezojdm16k est très dense, avec un degré moyen de noeuds de 105,7 et un nombre d'arêtes 10 fois supérieur à celui de rl-fr. par ailleurs, rl-fr présente davantage de noeuds, en raison de la représentation des sens des mots dans des noeuds distincts. la figure 1 montre un aperçu du réseau rl-fr autour du vocable accord, représenté par deux noeuds accord 1 et accord 2 foot_3 . la méthode de création des ressources a un impact sur la structure du graphe, l'enrichissement manuel étant un processus chronophage. cependant, elle garantit un contenu contrôlé et de qualité qui est vérifié par des experts du domaine. concernant rezojdm16k, la qualité de la ressource n'est pas nécessairement inférieure, car elle est fournie par des bénévoles motivés par leur intérêt pour la langue @xcite , mais elle présente un certain bruit malgré les vérifications semi-automatiques. pour évaluer le score de confiance, 240 triplets par jeu de données ont été annotés par quatre annotateurs, chacun ayant annoté 120 triplets ce qui permet d'obtenir deux annotations pour chaque triplet et calculer un accord inter-annotateurs (aia). les scores de confiance sont représentés de manière homogène dans les échantillons de chaque annotateur, regroupés par intervalle de 0,1. la tâche d'annotation consiste à déterminer si un lien sémantique ou syntaxique existe entre deux entités. les annotateurs ne disposent d'aucune information en dehors du triplet et trois étiquettes d'annotation sont possibles : (1) il existe un lien entre les entités, (-1) il n'y a pas de lien, (0) le lien est ambigu ou discutable. l'aia est calculé avec un kappa de cohen et s'avère bien plus élevé pour le rlf27k avec l'accord le plus fort à 0,84 contre 0,61 pour rezojdm16k (cf. annexe c). l'accord minimum pour rezojdm16k est particulièrement faible, à 0,1, contrairement à 0,49 pour le rlf27k. la différence de l'aia entre rezojdm16k et rlf27k peut être attribuée à la distribution inégale des étiquettes d'annotation, et notamment à la surreprésentation de l'étiquette -1 dans rezojdm16k. sur les 240 triplets et sur les 183 où les annotateurs sont en accord, 85 % (156 triplets) ont été annotés comme -1 et 15 % (27) comme 1. cette proportion s'explique par la forte densité du graphe qui implique que des noeuds sémantiquement distants sont connectés par un chemin relativement court de 4. la figure 3 présente la comparaison entre les annotations manuelles et les scores de confiance des triplets des échantillons de rezojdm16k et rlf27k. pour rezojdm16k, les rares triplets annotés comme exacts ont tendance à présenter des scores de confiance élevés. toutefois, en raison de la prévalence des annotations -1, il est difficile d'établir une corrélation solide. d'autre part, dans l'échantillon rlf27k, sur les 200 triplets où les deux annotateurs étaient d'accord, 56,5 % (113) ont été annotés comme -1, 39 % (78) comme 1 et 4,5 % (9) comme 0. nous pouvons noter que les étiquettes d'annotation dans rlf27k présentent une distribution plus équilibrée par rapport à rezojdm16k et qu'on observe une plus forte corrélation entre les étiquettes d'annotation et les scores de confiance sur les triplets de rlf27k. les triplets annotés comme -1 ont un score de confiance faible, tandis que ceux annotés comme 1 ont un score de confiance plus élevé. 0.2 0.4 0.6 0.8 1.0 confidence score 1.0 0.5 0.0 0.5 1.0 annotation tags rlf27k 0.0 0.2 0.4 0.6 0.8 1.0 confidence score 1.0 0.5 0.0 0.5 1.0 annotation tags rezojdm16k figure 3 -corrélations entre les valeurs d'annotation et les scores de confiance dans rlf27k et de rezojdm16k. les triplets considérés sont ceux pour lesquels les annotateurs sont d'accord. la figure 5 présente le ratio des triplets corrects, i.e. annotées par les annotateurs comme ayant un lien entre ses entités, en fonction du seuil de confiance. nous remarquons qu'un seuil de confiance élevé conduit à une plus grande proportion de triplets corrects. par exemple, poser un seuil de confiance de 0,95 permet de faire en sorte que tous les triplets prédits soient corrects. sur le graphe rlf27k complet, il existe 95 766 triplets dont les entités ne sont pas connectées par un chemin orienté et 398 d'entre eux ont un score de confiance supérieur à 0,95, qui peuvent donc être considérés comme de nouveaux triplets potentiels. 0.0 0.2 0.4 0.6 0.8 1.0 confidence score threshold 0.0 0.2 0.4 0.6 0.8 1.0 correct predictions ratio figure 4 -ratio des prédictions correctes (annotées 1) du rlf27k selon le seuil de confiance. 7 discussion dans cette étude, nous avons cherché à identifier de nouveaux triplets potentiels pour deux graphes lexico-sémantiques, rezojdm16k et rlf27k, en utilisant des modèles de prédiction de liens. sur les sept modèles, le modèle compgcn-conve a obtenu les meilleures performances sur les deux graphes, surpassant les modèles état-de-l'art pour rezojdm16k. nous avons également étudié l'utilisation de l'algorithme mc dropout pour générer des prédictions basées sur un score de confiance que nous avons évalué avec des annotations manuelles. l'analyse qualitative que nous avons menée montre que les triplets de rlf27k ayant un score de confiance élevé sont de potentiels candidats à l'intégration dans la ressource, sous réserve d'une validation par des experts. pour rezojdm16k, du fait de sa forte densité, l'ajout de nouveaux triplets n'apporte pas d'avantages significatifs dans la mesure où même les entités ayant une faible proximité sémantique sont connectées par des chemins courts. cependant, notre approche peut s'avérer utile pour identifier des erreurs ou affiner des relations génériques. en effet, rezojdm16k présente une forte proportion de la relation générique associated, constituant 31 % des arêtes, qui pourrait être affinée grâce aux prédictions du modèle. bien que les résultats de notre approche soient prometteurs, nous maintenons que la vérification manuelle est une étape importante car la représentation de la polysémie dans des noeuds distincts affecte directement les prédictions. étant donné que le modèle ne s'appuie que sur la structure du graphe et les noeuds voisins pour appréhender la sémantique, il existe des limites inhérentes à la prédiction de l'entité précise parmi les différents sens d'un vocable. dans des recherches ultérieures, au-delà des méthodologies d'évaluation intrinsèque, nous avons pour perspective d'évaluer de manière extrinsèque en utilisant des graphes lexico-sémantiques augmentés ou corrigés dans des tâches de tal, telle que la levée d'ambiguïté lexicale. en outre, d'un point de vue ressource, nous souhaitons explorer les avantages mutuels et l'amélioration entre les deux réseaux lexico-sémantiques français. le code associé à nos expériences et les graphiques qui en résultent sont disponibles librement sur le lien suivant : https://github.com/hschoi4/fr-link-prediction . b monte carlo dropout notre objectif est d'obtenir une approximation de la distribution prédictive pour un point donné à partir de notre modèle paramétré. la distribution prédictive p(y * |x * , x, y) pour un nouveau point de données x * à partir d'un jeu de données (x, y) et un modèle paramétré par θ est : p(y * |x * , x, y) = p(y * |x * , θ)p(θ|x, y) dθ (1) ici, le premier terme est la probabilité d'observer la sortie y * compte tenu de l'entrée x * et des paramètres du modèle θ, et le second terme est la distribution a posteriori des paramètres compte tenu des données. le calcul de cette dernière est difficile à réaliser pour les réseaux neuronaux profonds en raison de leur espace paramétrique de grande dimension. monte-carlo (mc) dropout (gal & ghahramani, 2016) nous permet d'approximer cette intégrale. en effectuant t passages stochastiques à travers le réseau avec le dropout activé, nous obtenons t prédictions pour chaque entrée de test x * . la distribution empirique de ces prédictions se rapproche de la distribution prédictive p(y * |x * , x, y). mathématiquement, cela peut s'exprimer comme suit : p(y * |x * , x, y) ≈ 1 t t @xmath1, θ t ) (2) c accords inter-annotateurs a1 a2 a3 a4 a1 a2 a3 a4 0.63 0.77 0.66 0.72 0.84 0.49 rlf27k 0.0 0.2 0.4 0.6 0.8 1.0 a1 a2 a3 a4 a1 a2 a3 a4 0.1 0.61 0.47 0.4 0.3 0.39 rezojdm16k 0.0 0.2 0.4 0.6 0.8 1.0 figure 6 -kappa de cohen sur rlf27k et rezojdm16k.