CALOR - QUEST : un corpus d’entraînement et d’évaluation pour la compréhension automatique de textes (Machine reading comprehension is a task related to Question-Answering where questions are not generic in scope but are related to a particular document) (2019)

Abstract: La compréhension automatique de texte est une tâche faisant partie de la famille des systèmes de Question/Réponse où les questions ne sont pas à portée générale mais sont liées à un document particulier. Récemment de très grand corpus (SQuAD, MS MARCO) contenant des triplets (document, question, réponse) ont été mis à la disposition de la communauté scientifique afin de développer des méthodes supervisées à base de réseaux de neurones profonds en obtenant des résultats prometteurs. Ces méthodes sont cependant très gourmandes en données d’apprentissage, données qui n’existent pour le moment que pour la langue anglaise. Le but de cette étude est de permettre le développement de telles ressources pour d’autres langues à moindre coût en proposant une méthode générant de manière semi-automatique des questions à partir d’une analyse sémantique d’un grand corpus. La collecte de questions naturelle est réduite à un ensemble de validation/test. L’application de cette méthode sur le corpus CALOR-Frame a permis de développer la ressource CALOR-QUEST présentée dans cet article.

## introduction la compréhension automatique de texte (machine reading comprehension) consiste pour une machine à répondre à des questions portant sur un document écrit, chaque réponse se présentant sous la forme d'un passage du document. il s'agit de la version automatique de la tâche, de compréhension écrite, qui permet de vérifier les capacités des élèves à lire un texte et à le comprendre. du point de vue du traitement automatique des langues il s'agit d'un cas particulier de la tâche de question/réponse où les questions ne sont pas de portée générale mais sont, au contraire, liées à un document particulier. cette tâche a reçu récemment une attention particulière avec la mise à disposition de deux très grands corpus de textes enrichis de questions et réponses : le corpus squad @xcite et le corpus ms marco @xcite contenant chacun plus de 100k triplets (corpus, question, réponse) où chaque question a été produite par un humain, soit via crowd-sourcing, soit via de vraies requêtes de moteurs de recherche. ces corpus ont permis le développement de nombreuses approches basées sur de l'apprentissage supervisé, principalement avec des réseaux de neurones profonds, tel que @xcite ou @xcite , avec une amélioration significative des résultats par rapport aux méthodes fondées sur des analyses linguistiques ou sur des méthodes d'appariement entre questions et texte contenant les réponses @xcite . ces ressources sont disponibles en langue anglaise mais pour d'autres langues, telles que le français, il n'existe pas de corpus comparable et l'effort nécessaire pour collecter une telle quantité de données est très important, limitant l'emploi de ces méthodes à d'autres langues ou à d'autres cadres applicatifs. pour répondre à ce problème, l'étude présentée dans ce papier vise à créer, de manière partiellement automatique, un corpus permettant d'entraîner de tels systèmes de manière supervisée sans avoir à collecter manuellement une très grande collection de données. la méthode proposée consiste à utiliser une analyse en cadre sémantique de type framenet sur de grands corpus de texte, puis à générer automatiquement des questions à partir des analyses obtenues. ces questions automatiques peuvent servir à entraîner des méthodes de compréhension de textes qui seront évaluées sur des questions naturelles posées par des évaluateurs humains sur les mêmes documents. ## travaux similaires plusieurs corpus pour la tâche de compréhension de texte par la machine (machine reading comprehension) sont disponibles sous la forme de paires de question/extrait de texte pouvant répondre à la question. si le corpus squad a généré de nombreuses contributions, le corpus ms-marco produit à partir de requêtes sur le moteur de recherche bing en est également un exemple récent. on peut se référer à l'article décrivant ce dernier @xcite pour une revue détaillée d'autres corpus en langue anglaise issus de différentes sources comme newsqa @xcite , searchqa @xcite proposant des questions du jeu jeopardy appariées à des extraits de textes issus de requêtes google, narrativeqa (kočiský et al., 2018) construit à partir de résumés de films et de livres. on y trouve également différents types de questions comme des questions à choix multiples dans le corpus arc (clark et al., 2018) ou des questions insérées sous forme de textes à trous comme dans le corpus record @xcite qui vise à tester l'influence de la connaissance du sens commun. on y trouve également quelques références à des corpus en langue chinoise mais à notre connaissance il n'existe pas de telles ressources en langue française. nous cherchons dans cette étude à construire un tel corpus pour le français sans pour autant devoir mettre en oeuvre un processus d'annotation trop complexe. nous proposons une méthode semi-automatique partant d'un texte et d'une représentation sémantique de ce texte pour produire les questions associées. la génération de questions à partir d'un texte est une problématique ancienne ayant fait l'objet de nombreux travaux, notamment à l'occasion de campagnes d'évaluation @xcite . deux grandes familles de méthodes ont été explorées, que ce soit grâce à des patrons construits à partir de l'analyse syntaxique d'une phrase ou à partir d'une analyse sémantique. les progrès récents dans ces deux disciplines ont permis de nouvelles avancées en génération de question @xcite . récemment @xcite par exemple proposent de générer des questions factuelles à partir d'une analyse en rôles sémantiques de type propbank. en revanche ces travaux se situent bien souvent dans un contexte applicatif différent du nôtre, à savoir la production de question pour l'apprentissage d'une langue ou la génération de quizz dans un processus pédagogique. dans de tels contextes, la lisibilité et la grammaticalité des questions obtenues est primordiale et les questions sont évaluées par des tests subjectifs ou des métriques de type bleu ou meteor. au delà des approches par règles, des travaux récents envisagent la génération de question comme une tâche d'apprentissage à part entière où la question est générée directement grâce à un réseau de neurones à partir du texte et d'un conditionnement par la réponse (dong et al., 2018) @xcite voire même en envisageant conjointement les tâches de génération de question et de réponse @xcite . nous proposons une approche de construction de questions à l'aide de patrons reposant sur une analyse sémantique de type framenet, nous permettant d'obtenir un corpus utilisable pour étudier la compréhension automatique de texte sur le français. ## génération semi-supervisée d'un corpus de questions le corpus calor-frame est composé de 4 sous-corpus issus de 3 sources encyclopédiques : wikipédia (wp), vikidia (v) et cliotexte (ct). 3 thématiques sont représentées : la première guerre mondiale (1gm), l'archéologie (arch) et l'antiquité (antiq). la variété des sources permet de couvrir différents registres de langage allant du document historique pour cliotexte (discours, déclarations) aux articles pour enfants dans vikidia. ce corpus a été annoté manuellement en cadre sémantique selon le schéma d'annotation berkeley framenet @xcite avec un ensemble de 54 frames décrit dans @xcite . les cadres sémantiques ou frames décrivent des situations prototypiques (décider, perdre, attaquer, vaincre, etc.). l'annotation consiste d'abord à identifier le mot déclencheur de la frame, appelé lexical unit (lu), puis les actants et circonstants appelés frame elements (fe). le nombre de déclencheurs différents représentés dans le corpus correspond à 145 lemmes (70 noms et 75 verbes). une même séquence de mots peut correspondre à plusieurs fes différents si une phrase comporte plusieurs frames. un exemple est donné figure 1 pour une phrase annotée avec les deux frames, losing déclenchée par le mot perdu et attack déclenchée par attaques. les troupes allemandes qui ont exécuté les attaques du 8 et du 9 octobre ont perdu 80% de leur effectif fe:assaillant fe:time fe:result lu frame:attack fe:owner fe:possession lu frame:losing fe:time figure 1 -exemple de phrase annotée avec des cadres sémantiques provenant de framenet ce type d'annotations est particulièrement intéressant pour l'obtention d'un corpus de ques-tions/réponses pour le développement de méthodes de compréhension automatique de texte. en effet, en sélectionnant une frame f et un frame element e dans une phrase, on peut produire automatiquement des questions dont la réponse est e. la frame ainsi que les autres fe présents dans la phrase vont constituer le contexte c de ces questions que l'on va noter sous forme de triplets : (f, e, c). en faisant varier f , e et c pour une même phrase, on peut obtenir un ensemble de questions pour lesquelles on dispose des réponses avec leur classe sémantique (le type du fe). par exemple, sur la phrase de l'exemple 1, nous aurons 18 combinaisons possibles (f, e, c) :