Apport des termes complexes pour enrichir l’analyse distributionnelle en domaine spécialisé (Multi-words terms impact in improving domain-specific distributed representations ) (2019)

Abstract: L’essor et les performances des modèles de sémantique distributionnelle sont principalement dus à l’accroissement de la quantité de données textuelles disponibles ainsi qu’à la généralisation des méthodes neuronales pour la construction de ces modèles. La qualité des représentations distribuées est souvent corrélée à la quantité de données disponibles et les corpus spécialisés, généralement d’une taille modeste, se trouvent de ce fait pénalisés. Alors que la plupart des modèles de sémantique distributionnelle traitent de mots isolés, nous partons de l’hypothèse que l’exploitation des termes, notamment complexes, est essentielle notamment en langue de spécialité car ils sont porteurs d’une dimension sémantique supplémentaire. Ainsi, nous évaluons une méthode de généralisation des contextes distributionnels par un mécanisme d’inclusion lexicale reposant sur les termes complexes. Nos différentes représentations distributionnelles sont ensuite confrontées à une tâche d’extraction de concepts médicaux à partir des rapports médicaux proposée par l’édition 2010 du challenge i2b2.

## introduction l'analyse distributionnelle est un domaine renouvelé depuis la généralisation des approches neuronales qui sont venues concurrencer les approches traditionnelles à base de sacs de mots. cette analyse repose sur l'hypothèse que les mots se trouvant dans des contextes d'apparition similaires tendent à avoir un sens proche. selon l'hypothèse harrissienne, le degré de recouvrement des contextes de deux mots permet de déterminer leur proximité sémantique. l'idée sous-jacente aux méthodes d'analyse distributionnelle est donc de regrouper les mots supposés sémantiquement proches. ces approches, qui se sont largement démocratisées notamment grâce à l'accroissement de la quantité de données textuelles disponibles sur le net, permettent de faire reposer le calcul du sens sur l'analyse statistique des contextes des mots dans un corpus et de ne pas avoir besoin de recourir à des sources extérieures de connaissance. ces ressources, constituées, par exemple, d'archives de journaux, de publications glanées sur les réseaux sociaux, recommandations de films ou de restaurants ou de textes généraux issus du web a permis la généralisation des méthodes distributionnelles et l'application de ces méthodes à grande échelle et sur une multitude de tâches. les performances de ces méthodes se sont également nettement améliorées avec l'utilisation des méthodes neuronales pour la construction des modèles @xcite . deux approches principales se côtoient. la première, dite approche explicite, est une approche par sac de mots. celle-ci consiste en la création d'une matrice pondérée de mots cibles et des contextes distributionnels qui leur sont associés suivie ou non d'une méthode de réduction de dimension. la seconde, dite approche prédictive, consiste en l'utilisation de méthodes neuronales pour créer des représentations denses de faible dimension, en apprenant à prédire de façon optimale les contextes distributionnels autour d'un mot cible. cependant, la qualité des représentations distribuées obtenues à travers ces méthodes est souvent corrélée au volume de données disponibles et des corpus généralistes de très grande taille sont utilisés pour générer ces matrices. or, dans le cas d'un domaine de spécialité, les corpus sont généralement de taille très modeste et ces méthodes se retrouvent dès lors moins efficaces. de plus, les corpus en langue de spécialité, qui véhiculent un savoir propre au domaine en question, présentent des différences fondamentales avec les domaines généralistes, autant d'un point de vue structurel que dans leur élaboration linguistique, étant donné l'importance des termes pour dénoter les notions du domaine. des adaptations des méthodes disponibles sont donc alors nécessaires. ainsi, nous partons de l'hypothèse que l'exploitation des termes, notamment complexes, est essentielle notamment en langue de spécialité @xcite . alors que la plupart des modèles de sémantique distributionnelle traitent de mots isolés, ces unités terminologiques sont porteuses d'une dimension sémantique supplémentaire et les relations classiques qu'elles ont entre elles peuvent généralement être trouvées dans une ressource terminologique propre au domaine. les termes complexes se classent dans deux principales catégories @xcite : des multi-termes (polylexicaux) tel que "muscle ischio-jambier" ou des termes morphologiquement complexes, tel "cardiovasculaire". les constituants de ces termes sont liés entre eux par une variété de relations : modification (ex. "muscle ischio-jambier"), complémentation (ex. "perforation intestinale"), composition morphologique (ex. "cardiovasculaire") ou encore affixation (ex. "hyperthyroïdie") ou suffixation (ex. "parasitose"). l'article se présente comme suit. dans un premier temps (section 2), nous allons voir en quoi consistent ces méthodes distributionnelles à base de sacs de mots et neuronales et les différentes manières de les mettre en oeuvre, en prenant en compte les spécificités des corpus en langue de spécialité. dans un second temps (section 3), nous présenterons quelques expériences exploratoires que nous avons effectuées dans le but d'étudier l'effet sur les représentations distribuées de la prise en compte des termes complexes ainsi que de l'inclusion lexicale dans les vecteurs de contexte. finalement (section 4), nous discutons des perspectives de travaux futurs. les méthodes d'analyse distributionnelle s'appuient sur l'hypothèse distributionnelle selon laquelle les mots se trouvant dans des contextes d'apparition similaires tendent à être sémantiquement proches. le contexte, qui peut être "une proposition, une phrase, un paragraphe, un document est souvent réduit aux mots qui le constituent" @xcite . il existe plusieurs manière de définir cette notion de contexte dans le cadre de l'analyse distributionnelle. tout d'abord, deux type de modèles existent. certains sont basés sur le document comme l'analyse sémantique latente (lsa, latent semantic analysis) @xcite . ces méthodes partent du principe que le document entier fait partie du contexte d'un mot étudié m, par observation des occurrences du dit mot dans le contexte du document. les autres méthodes sont basées sur les mots : le contexte d'un mot m est alors représenté par les mots se trouvant dans son voisinage immédiat. lequel peut être de nature graphique (les contextes sont récupérés à l'aide d'une fenêtre d'une taille donnée, centrée sur le mot m) @xcite @xcite ou syntaxique (les relations de dépendance syntaxique déterminent le contexte de m) @xcite . des expériences ont montré que les modèles à base de dépendances syntaxiques permettaient souvent d'acquérir des relations paradigmatiques alors que les modèles graphiques à base de co-occurrents tendent à extraire des concepts associés @xcite . combiner ces modèles pourrait alors permettre de tirer parti des avantages de chacun d'entre eux. il existe deux représentations computationnelles principales pour ces modèles distributionnels : les méthodes utilisant des graphes et les méthodes vectorielles. les méthodes vectorielles reposent sur la représentation des mots dans un espace vectoriel en fonction de leurs propriétés distributionnelles. une matrice pondérée de termes × termes ou de termes × contextes est générée et chaque vecteur représente alors à la fois les informations contextuelles et les données statistiques distributionnelles @xcite . ces représentations sont particulièrement prisées car elles ont l'avantage de permettre un calcul facile de la similarité sémantique entre deux termes : il suffit alors de calculer la distance entre leurs vecteurs de contexte. ## approche poursuivie pour explorer cette problématique, nous partons de l'approche @xcite qui consiste en la réduction de la dimensionnalité de la matrice de contexte par abstraction des contextes distributionnels. la méthode d'abstraction utilisée, l'inclusion lexicale, est une méthode de généralisation sémantique qui consiste à remplacer un terme complexe par sa tête. dans le cas de @xcite , cela se fait à partir de relations extraites automatiquement du corpus. l'inclusion lexicale permet de garder l'idée principale du terme complexe considéré en se débarrassant de ses spécificités. par exemple "examen médical" devient "examen" et "radiographie du col du fémur" de vient "radiographie". ainsi, on peut dire que si un terme est inclus dans un autre, il existe une relation d'hyperonymie entre eux @xcite . cela permet de réduire la dimensionnalité de la matrice tout en augmentant la fréquence d'apparition de certains contextes et donc d'augmenter la similarité entre les termes. nos représentations distribuées, construites sur un corpus spécialisé de petite taille, seront ensuite confrontées à une tâche de classification.