DEFT 2021: Évaluation automatique de réponses courtes, une approche basée sur la sélection de traits lexicaux et augmentation de données ( DEFT 2021 : Automatic short answer grading, a lexical features selection and data augmentation based approach) (2021)

Abstract: Cet article présente la participation de l’équipe Proofreaders du LS2N au DÉfi Fouille de Textes 2021 (DEFT 2021). La tâche proposée consiste en la poursuite automatique de l’évaluation de réponses courtes d’étudiants (EAQRC) à partir de quelques réponses déjà corrigées par l’enseignant pour chaque énoncé. Une étude comparative de différents traits lexicaux, ainsi qu’une augmentation artificielle de données et de différents modèles de régression pour la notation des réponses courtes est réalisée. Les méthodes sont évaluées en termes de précision, d’erreur quadratique moyenne et de score de corrélation de Spearman. Notre erreur quadratique moyenne varie entre 0.090 et 0.101 et notre précision entre 0.147 et 0.17. Le code source est disponible à l’adresse suivante : https://github.com/poulain-tim/DEFT _2021

## introduction le développement et l'augmentation du nombre de cours dans des plate-formes et formations digitales dans la sphère éducative traduisent un renouvellement des modalités d'apprentissage @xcite . le modèle d'apprentissage évoluant, il faut adapter un modèle d'évaluation en conséquence. l'assimilation de compétences se matérialise par des tests sur les connaissances de l'apprenant. dans cette pluralité de stratégies d'évaluation, questionnaire à choix multiples, question à choix uniques, nous nous concentrons sur les questions à réponses courtes. l'épreuve de qrc (questions à réponses courtes) est reconnue comme un dispositif d'évaluation performant permettant à l'élève de formuler ces propres réponses, mais aussi au professeur d'évaluer l'argumentaire, la rédaction et la synthétisation. contrairement aux questionnaires à choix multiples pour lesquels la restitution automatique des résultats se fait de manière précise et aisée, l'évaluation automatique des questions à réponses courtes est un domaine de recherche à part entière, comme en témoigne l'étude comparative @xcite qui prend en compte 44 systèmes différents d'évaluation des qrc. c'est dans ce cadre, que la campagne d'évaluation scientifique francophone, défi et fouille de textes (deft 2021) @xcite proposent deux tâches sur la correction automatique de copies électroniques d'étudiants. la première est une évaluation automatique des réponses d'après une référence professorale existante (tâche n°2) et la deuxième est une poursuite automatique de l'évaluation de réponses d'étudiants à partir de premières évaluations suivant des questions aussi bien ouvertes que fermées (tâche n°3). dans cet article, seulement l'évaluation de la tâche n°3 est effectuée.