Extraction de relations sémantiques et modèles de langue : pour une relation à double sens (2023)

Abstract: Les modèles de langue contextuels se sont rapidement imposés comme des outils essentiels du Traitement Automatique des Langues. Néanmoins, certains travaux ont montré que leurs capacités en termes de sémantique lexicale ne les distinguent pas vraiment sur ce plan de modèles plus anciens, comme les modèles statiques ou les modèles à base de comptes. Une des façons d’améliorer ces capacités est d’injecter dans les modèles contextuels des connaissances sémantiques. Dans cet article, nous proposons une méthode pour réaliser cette injection en nous appuyant sur des connaissances extraites automatiquement. Par ailleurs, nous proposons d’extraire de telles connaissances par deux voies différentes, l’une s’appuyant sur un modèle de langue statique, l’autre sur un modèle contextuel. Des évaluations réalisées pour l’anglais et focalisées sur la similarité sémantique ont montré l’intérêt de cette démarche, permettant d’enrichir sémantiquement un modèle de type BERT sans utilisation de ressources sémantiques externes.

## introduction les modèles de langue, qu'ils soient à base de comptes ou prédictifs @xcite , et parmi ces derniers, statiques ou contextuels @xcite , entretiennent une relation double visà-vis des connaissances sémantiques. d'une part, du fait de leur forte inscription dans l'hypothèse distributionnelle @xcite , ils constituent un moyen utilisé de longue date pour extraire des relations sémantiques lexicales à partir de corpus @xcite . d'autre part, beaucoup de travaux se sont attachés au problème de l'injection de connaissances sémantiques dans ces modèles afin de les enrichir @xcite , soit dans une perspective générale d'amélioration de la prise en compte des phénomènes sémantiques au niveau des tâches auxquels ils sont appliqués, soit pour leur adaptation à des domaines spécifiques. l'utilisation des modèles de langue pour l'extraction de relations sémantiques est étroitement liée à la problématique de la similarité sémantique @xcite et à celle des thésaurus distributionnels @xcite @xcite . la façon la plus commune d'extraire des relations sémantiques à partir d'un modèle de langue est en effet de s'appuyer sur la capacité de ces modèles à évaluer la similarité des mots les uns par rapport aux autres sur une base distributionnelle, capacité utilisée par ailleurs pour l'évaluation intrinsèque de ces modèles @xcite . appliquée au vocabulaire d'un corpus, cette capacité permet de construire un thésaurus distributionnel donnant pour chaque mot cible une liste de voisins distributionnels, ordonnés selon la valeur décroissante de leur similarité, évaluée par un modèle de langue, avec le mot cible. les premiers voisins sont alors supposés les plus pertinents sur le plan sémantique, avec un biais de principe vers les relations paradigmatiques compte tenu de l'hypothèse distributionnelle sous-jacente aux modèles de langue. compte tenu de ce principe général, la voie principale d'amélioration de cette extraction concerne la similarité sémantique utilisée pour construire les thésaurus distributionnels @xcite . néanmoins, quelques travaux se concentrent également sur une amélioration des thésaurus en tant que tels au moyen de méthodes de réordonnancement, soit à un niveau global @xcite , soit plus localement au niveau de chaque entrée du thésaurus @xcite . la question de l'injection de connaissances sémantiques dans les modèles de langue a fait quant à elle l'objet d'un grand nombre d'études, d'abord axées sur les modèles neuronaux statiques pour ensuite se focaliser sur les modèles contextuels. malgré les différences existant entre ces deux grands types de modèles, ils partagent la même distinction entre les méthodes opérant lors de la construction du modèle et celles venant enrichir un modèle après sa construction. les secondes ont clairement l'avantage du nombre dans le cas des modèles statiques, dans le prolongement @xcite , tandis que la situation est plus contrastée pour les modèles contextuels. en se limitant aux relations sémantiques lexicales foot_0 , on peut ainsi citer le modèle libert @xcite al. (2020) le travail présenté dans cet article conjugue les deux dimensions esquissées ci-dessus : il enrichit un modèle neuronal contextuel de type bert @xcite par l'injection de connaissances sémantiques lexicales mais contrairement aux travaux existants, ces connaissances sont elles-mêmes extraites automatiquement par le biais de l'exploitation de modèles de langue neuronaux. plus précisément, les contributions de ce travail sont : ## méthodes dans ce qui suit, nous présentons d'abord à la section 2.1 deux méthodes d'extraction de relations sémantiques lexicales à partir de modèles neuronaux de types différents. dans les deux cas, les relations extraites caractérisent une relation de similarité sémantique entre deux mots mais ne sont pas typées. l'union du produit de chacune de ces deux méthodes sert ensuite de base pour l'injection de connaissances sémantiques dans un modèle de type bert, objet de la section 2.2.