Construction de Graphes de Connaissance à partir de textes avec une I . A . centrée-utilisateur (Knowledge Graph Construction from Texts with an User-Centric A) (2022)

Abstract: Avec l’essor du Web sémantique au cours des deux dernières décennies est apparu un besoin en outils permettant de construire des graphes de connaissances de bonne qualité. Cet article présente mon travail de thèse, qui est la conception d’une méthode explicable et centrée-utilisateur pour la production semi-automatisée de graphes de connaissances à partir de textes spécifiques à un domaine. Ce système se présente initialement comme une interface d’édition guidée de RDF. Puis, se basant sur les actions de l’utilisateur, un système de suggestion de triplets se met en place. Enfin, à travers des interactions avec l’utilisateur, le système automatise progressivement le processus. Après avoir présenté le workflow du système et détaillé les unités qui le compose – une unité de prétraitement, une unité interactive et une unité automatisée - cet article documente les aspects de ce workflow déjà implémentés, ainsi que les résultats de leur évaluation.

## introduction durant les deux dernières décennies, le domaine du web sémantique est devenu partie intégrante du world wide web, avec à la fois un champ de recherche académique actif et de nombreuses applications industrielles. aujourd'hui, le linked open data cloud regroupe plus de 1200 graphes de connaissances (kgs). des kgs tels que yago @xcite ou wikidata @xcite regroupent plusieurs dizaines de millions de faits, et de nombreux travaux présentent comment requêter, éditer, unifier ou compléter ces kgs @xcite . différentes approches sont utilisées pour construire ces kgs. yago découle d'une collecte automatique de faits depuis des pages web structurées, alors que wikidata est mis à jour et complété à la main par sa communauté. on pourrait penser que les récents progrès en ia, induits par l'explosion du deep learning, auraient profité au domaine de la construction automatique de kgs. en effet, ces progrès ont touché le domaine du traitement automatique des langues (tal) et de l'extraction d'information, notamment par exemple avec l'apparition de modèles de langue préentrainés tels que bert @xcite et ses dérivés. cependant, les scores obtenus par ces systèmes sont encore trop bas pour permettre une automatisation totale de la construction de kgs à partir de textes. l'idée de ma thèse est que des approches centrées-utilisateur, mettant en avant l'interactivité et l'explicabilité, et rendant ainsi les systèmes plus intelligibles et plus fiables, pourrait être une solution. cet article présente mon sujet de thèse, dont l'objectif est le développement d'une ia centréeutilisateur pour la construction de kgs à partir de textes. ce système, à travers des interactions avec l'utilisateur, automatise progressivement le processus, en proposant initialement une interface pour la création manuelle de kg, puis en formulant des suggestions couplées avec des explications en se basant sur les actions précédentes de l'utilisateur, pour enfin peupler le graphe de façon de plus en plus automatisée. afin de réduire la taille du vocabulaire et d'avoir des cas d'usage pratiques, nous visons en priorité une utilisation sur des textes spécifiques à un domaine, par exemple, un juriste traitant et archivant des rapports de procès. dans cet exemple, l'utilisateur se constituerait progressivement un graphe de connaissances récapitulant les acteurs des différents procès et leurs rôles, et ceci à faible coût, la plus grosse part du travail se faisant automatiquement après un certain temps. le kg ainsi obtenu pourra être exploité afin de retrouver l'historique d'un individu particulier ou à des fins statistiques. dans la suite de cet article, la section 2 présente l'état de l'art. la section 3 détaille la conception du système et de ses sous-systèmes. pour finir, la section 4 présente les premiers résultats obtenus avec les éléments du système déjà implémentés. ## état de l'art au cours de ces vingt-cinq dernières années, de nombreuses méthodes ont été mises en oeuvre pour la construction et l'édition de graphes de connaissances (kgs). l'approche la plus évidente est l'approche manuelle, consistant à éditer à la main le graphe cible. l'outil d'édition manuelle de kg le plus célèbre est protégé @xcite , logiciel développé par l'université de stanford depuis les années 1990 et spécialisé pour la création et l'édition d'ontologies. aujourd'hui, certains kgs massifs tel que wikidata @xcite reposent toujours sur l'édition manuelle par ses utilisateurs, à travers une interface prenant la forme d'un formulaire. d'autres kgs, tels que yago @xcite ou le google knowledge graph @xcite , reposent sur l'extraction massive de faits à partir de pages web structurées, telles que les infobox de wikipedia ou les sites de e-commerce. parmi les outils plus expérimentaux, on peut citer @xcite qui propose une interface d'édition interactive de kg se basant sur un moteur de recommandation. une tâche centrale pour la contruction automatique de kgs à partir de textes est la tâche d'extraction de relations. cette tâche consiste, pour une phrase donnée dans laquelle sont identifiés deux entités, à prédire quelle relation lie ces deux entités. en pratique, cela permet d'extraire automatiquement des faits pouvant servir à peupler des kgs. si historiquement, des approches symboliques se sont attelées à cette tâche, notamment par des approches à base de règles validées manuellement, aujourd'hui l'état de l'art est constitué d'approches deep learning. initialement, des approches utilisant des réseaux convolutionnels @xcite , des réseaux récurents de type lstm @xcite ou de la convolution de graphe @xcite ont été utilisées. cependant, elles sont aujourd'hui largement dominées par les approches utilisant des modèles de langue pré-entrainés, basés sur la technologie des transformers @xcite , tel que bert @xcite et ses dérivés @xcite . cependant, ces approches sont toujours trop peu performantes (f-scores de l'ordre de 0.75 sur le benchmark tacred @xcite ) pour permettre une utilisation sans curation manuelle. on peut aussi citer @xcite qui détaille une méthode visant à construire automatiquement un kg à partir de textes en utilisant des techniques issues du domaine de l'open information extraction, méthode qui retourne en pratique un kg difficilement exploitable. concernant les i.a. centrées-utilisateur, ce domaine relativemment récent a fait l'objet de bien moins de travaux. on peut cependant citer @xcite , qui théorise la possibilité d'avoir des systèmes à la fois hautement automatisés et fortement contrôlés par l'humain, avec pour objectif qu'ils soient fiables, sûrs et dignes de confiance. en parallèle, les travaux présentés dans @xcite proposent un classifieur pour e-mails basé sur une extension logique de l'analyse des concepts formels (fca) @xcite qui fonctionne selon un cycle similaire à celui présenté dans cet article : annotation manuelle, puis suggestions du système, et enfin automatisation. ## approche proposée l'objectif global de cette thèse est la création d'un système centré utilisateur pour la production semiautomatique de kgs à partir de textes en langue naturelle. plus précisément, ce système aura pour objectif de produire des graphes rdf de haute qualité à partir de textes sans aucune connaissance ni aucun vocabulaire préalable en automatisant progressivement les actions de l'utilisateur. initialement, le système proposera une interface pour l'édition de graphes rdf. puis, se basant sur les actions de l'utilisateur, le système recommandera des triplets à ajouter au graphe. finalement, le système automatisera la validation des suggestions les plus fiables, afin d'obtenir un processus de génération de graphes en grande partie automatisé, l'utilisateur n'étant sollicité que pour les cas ambigus ou inédits. cette section présente en détail le workflow d'un tel système. premièrement, une vue globale du système est donnée, avant de détailler les rôles et possibles implémentations de ses sous-systèmes. ## premiers résultats dans cette section, je présente les premiers résultats obtenus. la section 4.1 présente comment le texte est modélisé sous forme de graphe, et introduit le module deep learning de détection de relations utilisé par cette modélisation. la section 4.2 introduit une approche lazy-learning et explicable de classification de relations s'appuyant sur une méthode symbolique. enfin, la section 4.3 présente les résultats préliminaires obtenus avec ces modules. le travail présenté dans cette section a déjà fait l'objet de deux publications : @xcite . ## conclusion et perspectives dans cet article, j'ai pu présenter le sujet de ma thèse, qui porte sur la conception d'un système centré-utilisateur pour la construction semi-automatisée de graphes de connaissances à partir de textes. divisé en trois unités, ce système commence par pré-traiter le texte en entrée afin d'en tirer une modélisation sytaxique et sémantique sous forme de graphe. cette modélisation est alors utilisée par deux unités. la première unité est une unité interactive qui se base sur un module lazy-learning et explicable de classification de relations pour venir faire des suggestions de qualité croissante à l'utilisateur à travers une interface homme-machine. enfin, les explications générées par ce module et validées par l'utilisateur viennent nourrir l'unité automatisée, qui les transforme en règles d'inférence et les applique sur la modélisation pour en extraire automatiquement des triplets à ajouter au graphe de connaissances, automatisant ainsi progressivement le processus. de plus, cet article détaille les éléments de ce workflow qui ont déjà été mis en oevre : une modélisation du texte se basant sur la structure syntaxique des phrases et la sémantique des mots la composant, un module d'apprentissage profond pour la détection de relation, et un module basé sur une technologie d'analyse de concepts formels (formal concept analysis, fca) pour la classification de relations. ces différents modules ont été évalués sur la tâche d'extraction de relations sur le benchmark tacred, et ont montré des résultats intéressants, aussi bien quantitatifs que qualitatifs. enfin, en ce qui concerne les perspectives, des travaux sont en cours sur la transformation d'explications issues du module de classification de relations en règles d'inférence. une fois cet aspect traité, il restera le développement d'une interface homme-machine remplissant les conditions spécifiées afin d'avoir un système complet, qui pourra alors être évalué via des tests utilisateur.