Un corpus annoté pour la génération de questions et l’extraction de réponses pour l’enseignement (An annotated corpus for abstractive question generation and extractive answer for education) (2022)

Abstract: Dans cette démonstration, nous présenterons les travaux en cours pour l’annotation d’un nouveau corpus de questions-réponses en langue Française. Contrairement aux corpus existant comme “FQuad” ou “Piaf”, nous nous intéressons à l’annotation de questions-réponses “non factuelles”. En effet, si dans la littérature, de nombreux corpus et modèles de questions-réponses pré-entraînés sont disponibles, ceux-ci ne privilégient que rarement les annotations s’appuyant sur un schéma de raisonnement issue de l’agrégation de différentes sources ou contextes. L’objectif du projet associé est de parvenir à la création d’un assistant virtuel pour l’éducation, ainsi des réponses explicatives, de raisonnement et/ou d’agrégation de l’information sont à privilégier. Notons enfin, que la volumétrie des données doit être conséquente, en particulier par la considération d’approches neuronales génératives ou extractives. Actuellement, nous disposons de 262 questions et réponses obtenues durant l’étape de validation de la campagne d’annotation. Une deuxième phase d’annotation avec une volumétrie plus importante débutera fin mai 2022 (environ 8000 questions).

## description avec les nouveaux outils du tal et la démocratisation de l'apprentissage profond, les applications en langage naturel se sont complexifiées. parmi ces applications, nous nous intéressons à la génération et la sélection de questions et réponses pour la mise en place d'un assistant de cours en langue française. néanmoins, si des corpus de questions/réponses (qr) existent, aucun ne correspond aujourd'hui au niveau de complexité requis pour assister efficacement enseignants et élèves. des corpus comme @xcite ont mis à disposition de la communauté des collections de qr. cependant, des réponses factuelles sont majoritairement attendues, celles-ci ne permettant pas d'aider efficacement l'apprenant à parfaire sa méthodologie ou ses connaissances. pour parvenir à réaliser notre objectif, nous avons mis en place un système d'annotation de qr conçu pour ce type de données. nous avons aujourd'hui terminé la première étape et validé le protocole d'annotation pour des documents portant sur les programmes d'histoire. cette pré-campagne a été réalisée avec l'aide de trois annotateurs spécialisés dans l'enseignement secondaire. les retours et remarques nous ont permis de définir et de préciser le type des données souhaité, en particulier sur les sources à choisir et la typologie des questions. pour l'étape de validation du protocole, nous nous somme appuyés sur deux ressources, l'une d'elle reprenant des articles de l'encyclopédie libre "wikipedia", la seconde axée sur les programmes scolaires officiels en utilisant des manuels d'enseignement du secondaire foot_0 . pour les ressources extraites de wikipedia, nous avons filtré les articles relativement à leur adéquation avec les programmes de seconde et première en histoire. pour cela, nous avons récupéré les articles s'appuyant sur des requêtes formées par les titres des chapitres du "bulletin officiel du ministère de l'éducation nationale" foot_1 . d'autres domaines et sources suivront dans les prochaines étapes de la campagne d'annotation. notre collaboration avec professorbob nous a permis d'analyser les données issues d'interactions réelles entre étudiants et un assistant virtuel. avec l'aide d'enseignants et leur retour sur les annotations, nous avons pu déterminer une typologie des questions souhaitées. nous précisons dans le guide d'annotation quelles sont les formulations attendues, privilégiant les annotations où la réponse sélectionnée est explicative ou construite sur un schéma de raisonnement en plusieurs étapes. pour reconnaître les différentes questions nous avons donc choisi de les classer en quatre types : 1) les questions factuelles ; 2) les questions de vocabulaire ; 3) les questions de cours où la réponse est explicative et la suite des passage sélectionnées répond explicitement à la question ; 4) les questions de compréhension où un raisonnement est nécessaire, la réponse est alors une liste de passages permettant de construire la réponse. ces différents types sont renseignés par les annotateurs. ## démonstration dans cette démonstration, nous présenterons :