CQ u AE : Un nouveau corpus de question-réponse pour l’enseignement (2024)

Abstract: Dans cet article nous présentons un nouveau corpus de question-réponse en français pour le domaine de l’éducation. Ce corpus à été construit dans le but de créer un système d’assistant virtuel pour répondre à des questions sur des documents ou du matériel de cours. Afin d’être utile autant aux enseignants qu’au étudiants, il est important de considérer des questions complexes ainsi que d’être capable de justifier les réponses sur du matériel validé. Nous présentons donc le nouveau Corpus CQuAE, un corpus de question-réponse manuellement annoté dont nous discutons des propriétés. Nous présenterons aussi les différentes étapes de sa création avec aujourd’hui une phase d’amélioration des données.Enfin, nous présentons plusieurs expériences pour évaluer l’exploitation du corpus dans le cadre d’un système de question-réponse automatique.Ces différentes analyses et expériences nous permettrons de valider l’adéquation des données collectés pour l’objectif visé.

## introduction ce travail s'inscrit dans le domaine de l'éducation, notamment dans le but d'aider les étudiants à apprendre et à réviser leurs cours en leur fournissant des questions sur les documents de cours choisis par l'enseignant, ainsi que les réponses associées. l'objectif est de dépasser les simples questions factuelles auxquelles il est facile de répondre et de pouvoir poser des questions complexes qui vont au-delà de la recherche d'une réponse par entité nommée. par exemple, face à un cours sur les débuts de la révolution française, nous ne voulons pas seulement demander quand a eu lieu la prise de la bastille, mais aussi quelles sont les raisons qui ont conduit les manifestants à le faire, nous rapprochant ainsi des questions de cours qu'un enseignant pourrait poser. pour aider les enseignants dans cette démarche chronophage, nous avons travaillé à la constitution d'un tel corpus afin d'automatiser la tâche de création de questions et de réponses, en commençant par la construction manuelle d'un premier corpus. à l'heure actuelle, aucun corpus ne répond à l'ensemble de ces critères, à savoir des questions et des réponses qui peuvent être complexes, qui s'appuient sur des ensembles de documents validés mais courts (les cours de l'enseignant), et qui sont en langue française. nous souhaitons travailler sur plusieurs disciplines, éventuellement à différents niveaux d'enseignement, nous avons commencé notre étude par l'histoire telle qu'elle est enseignée à la fin du collège et au début du lycée. pour avoir une base de comparaison, nous avons également effectué quelques tests sur la géographie, les sciences de la vie et l'éducation civique. nous avons ainsi constitué un corpus contenant : dans un premier temps les modèles de langues exploitant ces architectures ont été développés pour la langue anglaise, aujourd'hui plusieurs variantes en langue française existent comme les modéles cammembert ou flaubert @xcite pour la classification et le modèle barthez pour des tâches de génération @xcite . aujourd'hui la taille des modèles de langues permet de prendre en compte conjointement différentes langues, dans des approches multilingues @xcite . adaptation des grands modèles de langue. ces modèles de langue sont en général appris sur des tâches de reconstruction de l'entrée ou de prédiction du prochain mot (ou jeton). dès lors, il est nécessaire d'adapter ces modèles à la tâche visée. pour adapter le modèles à une tâche, comme la classification ou la génération, une première méthode consiste à adapter les poids du réseaux de neurones, cette approche est connue sous le nom de fine-tuning (ou adaptation fine). cette approche est néanmoins sujette à différents inconvénients ; d'une part l'optimisation de l'intégralité des paramètres peut être prohibitive en temps de calculs ; d'autre part l'optimisation de tous les poids du modèles peut mener à des problèmes de sur-apprentissage. les méthodes appelées adapter tentent aujourd'hui de palier ces problèmes @xcite en introduisant dans les différents blocs de nouveaux sous-réseaux de neurones qui seront les seuls optimisés durant l'étape de fine-tuning. de plus ce type d'approche permet de conserver les poids du modèles original (appelé modèle pré-entraîné). bien que le coût de l'adaptation soit diminué, le coût de l'inférence (l'étape de prédiction) est légèrement augmenté. récemment une nouvelle approche connue sous le nom de "low rank adaption" @xcite propose à la fois de diminuer le coût d'adaptation tout en préservant un coût d'inférence similaire à celui du modèle pré-entraîné. l'un de nos objectifs principaux est de recueillir des questions requérant des niveaux d'expertise différents pour y répondre. ce niveau de "difficulté" est lié au type de la question qui peut donc être : deux groupes d'annotateurs ont travaillé sur le corpus : le groupe a composé d'une vingtaine d'annotateurs personnes ayant un bon niveau général, mais sans expérience d'enseignement, le groupe b est composé de 6 annotateurs ayant une expérience en enseignement foot_2 . dans la ## génération de réponses le corpus annoté a pour objectif la création d'un assistant scolaire pour les thématiques d'enseignement secondaire, particulièrement sous la forme d'un système de génération de questions et/ou réponses. ainsi il nous parait pertinent de juger de la qualité de la génération de ces modèles pour nos données. dans cette section nous nous proposons d'évaluer automatiquement la tâche de génération de réponse étant donnée un document et une question. notons aussi, que dans le cas d'un assistant pour l'enseignement, la recherche de documents à partir d'un corpus vérifié (mis à disposition par l'enseignant) est une des tâches nécessaire au fonctionnement du système. ainsi, nous proposerons de comparer la dernière configuration considérant les documents cibles donnés par les annotateurs ou retrouvés via la méthode bm25 @xcite .