Extraction automatique de relations sémantiques d’hyperonymie et d’hyponymie dans un corpus métier (Automatic extraction of hypernym and hyponym relations in a professional corpus) (2021)

Abstract: Nous nous intéressons dans cet article à l’extraction automatique de relations sémantiques d’hyperonymie et d’hyponymie à partir d’un corpus de spécialités métier. Le corpus regroupe des ouvrages et articles en français d’expertise juridique et a été partiellement annoté en termes-clés par des experts. Nous prétraitons ces annotations afin de pouvoir les retrouver dans ce corpus et obtenir un concept général pour extraire les relations entre ces termes. Nous décrivons une étude expérimentale qui compare plusieurs méthodes de classification appliquées sur des vecteurs de relations construits à partir d’un modèle Word2Vec. Nous comparons les résultats obtenus grâce à un jeu de données construit à partir de relations d’hyperonymie tirées d’un réseau lexico-sémantique français que nous inversons pour obtenir les relations d’hyponymie. Nos résultats montrent que nous obtenons une classification pouvant atteindre un taux d’exactitude de 92 %.

## introduction l'identification de concepts et de relations dans des documents est une phase clé dans la construction d'une base de connaissances ontologiques @xcite . la construction manuelle d'un tel type de ressources est une tâche à forte intensité de main-d'oeuvre. bien que les données non structurées puissent être transformées en données structurées, cette construction englobe un processus très long et coûteux @xcite . plusieurs travaux de recherche tendent actuellement vers l'apprentissage automatique des ontologies afin de conjurer le goulot d'étranglement d'acquisition des connaissances @xcite . l'acquisition automatique des ontologies à partir de textes est devenue ainsi un domaine de recherche prépondérant du fait de la grande masse de données présentes sur le web dont ces dernières peuvent être décrites sous-forme structurées, semi-structurées ou non structurées @xcite . @xcite ont proposé une méthodologie permettant de construire des ontologies à partir de textes et cela en plusieurs étapes. l'ensemble du processus de leur méthodologie est connu sous le nom de « mille-feuille d'apprentissage de l'ontologie » (ontology learning layer cake). l'extraction de relations est l'une des étapes de ce processus et constitue un niveau essentiel pour la structuration des connaissances. plusieurs travaux de recherche se recentrent sur l'extraction de relations d'hyperonymie et d'hyponymie (par symétrie) car elles permettent d'avoir la hiérarchie de concepts dans une ontologie @xcite @xcite . nous nous intéressons, dans cet article, à cette particularité d'extraction de relations de type 'hyperonyme' et 'hyponyme' au sein de textes provenant de 8 domaines du secteur public, à savoir : (1) 'état civil et cimetières', (2) 'élections', (3) 'commande publique', (4) 'urbanisme', (5) 'comptabilité et finances locales', (6) 'ressources humaines territoriales', (7) 'justice' et (8) 'santé'. par définition, l'hyperonymie permet de représenter les termes pouvant être associés aux génériques d'une cible donnée, par exemple la grippe aviaire a pour termes génériques grippe, maladie, pathologie voire un processus pathologique. l'hyponymie, quant à elle, permet de représenter les termes pouvant être associés aux spécifiques d'une cible donnée, par exemple engagement a pour termes spécifiques mariage, engagement à long terme, engagement social, engagement de servir voire engagement d'achat ferme. chaque relation peut faire référence à un domaine bien défini. dans les exemples que nous venons de citer, c'est le domaine de la « santé » qui peut être identifié lorsque nous évoquons la grippe aviaire alors qu'il s'agit du domaine de « l'état civil » lorsque nous évoquons l'engagement en mariage. nous présentons tout d'abord dans la section 2 un état de l'art sur les méthodes d'extraction de relations. ensuite, nous décrirons dans la section 3 les données exploitées ainsi que les prétraitements effectués sur ces données. par la suite, dans la section 4, nous détaillons notre méthodologie pour l'extraction de relations. enfin, nous discutons dans la section 5 de nos résultats d'expérimentation obtenus avant de conclure et présenter des perspectives de notre travail (cf. section 6). ## travaux antérieurs d'extraction de relations plusieurs travaux de recherche sur l'extraction de relations ont été proposés, deux grandes catégories d'approches existent @xcite , à savoir : (1) les approches à base de patrons lexico-syntaxiques @xcite ; et (2) les approches à base d'apprentissage automatique/apprentissage profond @xcite . l'approche d'extraction de relations la plus ancienne revient à @xcite . elle repose sur l'utilisation de patrons lexico-syntaxiques pour l'extraction des hyperonymes dont la langue est l'anglais. pour la langue française, @xcite se sont intéressés aux patrons de hearst : ils ont itéré sur l'étude et l'ont étendue afin de limiter un certain nombre de bruits. par la suite, @xcite ont montré que ce type d'approches produit des résultats intéressants, notamment du point de vue de la précision, mais ne couvre qu'une partie de l'information. l'utilisation d'un nombre prédéfini de patrons lexico-syntaxiques pose les difficultés, d'une part, d'expliciter certaines relations et, d'autre part, de gérer l'ambiguïté de certains patrons. d'autres approches à base d'apprentissage automatique ont été proposées afin de limiter l'utilisation des patrons lexico-syntaxiques, que ce soit par supervision @xcite @xcite ou non supervision @xcite . l'une des premières approches de cette catégorie a été proposée par @xcite . elle s'appuie sur une technique de bootstrapping qui consiste à sélectionner des patrons par apprentissage semisupervisé afin de construire une base d'apprentissage. sur la même idée, des techniques de sélection de mots par analyse distributionnelle et de sélection de traits sémantiques ont été utilisées pour identifier des relations entre des entités nommées @xcite . par ailleurs, cartier (2015) a proposé une approche hybride d'extraction de relations à partir d'un corpus d'un million de définitions provenant de deux ressources, à savoir : le tlfi, trésor de la langue française informatisé @xcite et wikipédia. cette approche combine la précision des patrons lexico-syntaxiques et le rappel des méthodes statistiques par analyse distributionnelle. plusieurs relations sémantiques ont été étudiées dont l'hyperonymie et l'hyponymie font partie. le but du travail mené par cartier (2015) est d'obtenir automatiquement une ressource sémantique pour le français contemporain à partir d'un corpus de textes. @xcite se sont intéressés à classifier les relations sémantiques en utilisant des plongements lexicaux (word embeddings). dans le même principe, @xcite ont proposé une approche d'identification de relations dans un corpus métier du journalisme par une modélisation lstm (long short-term memory) et une utilisation de plongements lexicaux pré-entraînés avec un word2vec et une architecture skip-gram @xcite . un modèle de classification binaire a été aussi proposé et a permis d'améliorer significativement les résultats obtenus. dans cet article, nous nous positionnons dans un travail d'extraction de relations par apprentissage automatique et à partir d'un corpus de données regroupant un ensemble de domaines métier. cet apprentissage est guidé par un grand réseau lexico-sémantique où les sens communs/métiers sont définis de base. notre objectif est un peu similaire à celui @xcite puisque nous nous intéressons à produire des bases ontologiques métiers. de même, les travaux @xcite sont proches du nôtre puisque des plongements lexicaux et des modèles de classification sont utilisés. cependant, l'originalité du travail que nous proposons dans cet article est double : (1) une extraction de relations sémantiques sans avoir besoin d'un corpus annoté sémantiquement (sens/relations) et (2) une prise en compte de tous les termes à classe ouverte (noms communs, entités nommés, adjectifs, adverbes et verbes). ## données de travail nous utilisons un corpus français contenant 172 ouvrages et 12 838 articles en ligne d'une expertise juridique et pratique. l'ensemble des documents de ce corpus est édité par la société berger-levrault. ce corpus traite 8 domaines de spécialité, à savoir : (1) 'état civil et cimetières', (2) 'élections', (3) 'commande publique', (4) 'urbanisme', (5) 'comptabilité et finances locales', (6) 'ressources humaines territoriales', (7) 'justice' et (8) 'santé'. dans ce qui suit, nous faisons référence au corpus par le nom métier. ce dernier a été partiellement annoté par des experts. chaque paragraphe de chaque document (ouvrage ou article) est annoté avec des termes-clés. cela constitue une représentation semi-structurée par le biais de balises html. concrètement, plus de 45 000 annotations manuelles en termes-clés ont été effectuées. par exemple, dans la phrase « démocratie de proximité, l'expression suscite immédiatement un doute, une inquiétude, un trouble […] », le terme démocratie de proximité est considéré comme terme-clé. autre exemple, « une réforme à la recherche d'une démocratie participative à l'échelon local », ici démocratie participative est aussi un termeclé. dans le corpus métier, le nombre d'occurrences de chaque terme-clé est variable. certains termes sont très fréquents comme formation ou association foncière urbaine avec plus de 500 occurrences ; d'autres termes sont fréquents comme prix, publicité ou encore accord-cadre avec au moins 200 occurrences. enfin, des termes peu fréquents existent aussi comme survie, contamination, réception ou encore équipement avec moins de 50 occurrences. si nous prenons en considération seulement les articles, la 5 résultats et discussion nous avons appliqué nos classifieurs binaires sur un jeu de données équilibré de 220 236 paires de relations (110 118 relations r_isa / 110 118 relations r_hypo). les classifieurs utilisés ont été instanciés avec les paramètres par défaut et une identification des meilleurs paramètres à l'aide de gridsearchcv 4 n'a pas eu lieu. afin d'obtenir des résultats fiables, nous utilisons le principe de la validation croisée (cross-validation). une fonction est disponible dans scikit-learn 5 . afin d'évaluer la qualité de nos classifieurs, nous utilisons deux mesures d'évaluations, à savoir : (1) le taux d'exactitude (accuracy rate) et (2) f-mesure. ces deux mesures ont été indiquées directement dans un paramètre d'entrée à la fonction de validation croisée de scikit-learn. les résultats obtenus sont présentés dans le tableau 2. modèle f-mesure taux d'exactitude linearsvc 0,73 0,85 ridgeclassifier 0,72 0,79 kneighborsclassifier 0,82 0,91 randomforestclassifier 0,69 0,76 decisiontreeclassifier 0,67 0,73 logisticregression 0,71 0,83 supportvectorclassification 0,83 0,92