Notation automatique de réponses courtes d’étudiants : présentation de la campagne DEFT 2022 (Automatic grading of students’ short answers : presentation of the DEFT 2022 challenge) (2022)

Abstract: La correction de copies d’étudiants est une tâche coûteuse en temps pour l’enseignant. Nous proposons deux tâches d’attribution automatique de notes à des réponses courtes d’étudiants : une tâche classique d’entraînement de système et d’application sur le corpus de test, et une tâche d’amélioration continue du système avec interrogation d’un serveur d’évaluation. Les corpus se composent de réponses courtes d’étudiants à des questions en programmation web et bases de données, et sont anonymes. Quatre équipes ont participé à la première tâche. Les meilleures précisions de chaque équipe varient de 0,440 à 0,756 pour une précision moyenne de 0,542 et une médiane de 0,524. En raison de la complexité de la deuxième tâche, une seule équipe a participé, mais les résultats soumis ne sont pas exploitables.

## introduction la correction de copies d'étudiants est une tâche chronophage, quel que soit le niveau d'expérience de l'enseignant. si les questionnaires à choix mutiples (qcm) permettent une correction automatique, les questions appelant des réponses en langue naturelle nécessitent encore une évaluation humaine. chaque enseignant élabore des stratégies de correction pour accélérer la correction ou pour s'assurer d'un traitement équitable entre élèves, par exemple en corrigeant les copies question par question. pourtant, cette stratégie se révèle également coûteuse en temps dans la mesure où des réponses identiques, appelant la même note, seront quand même évaluées les unes après les autres. dans la suite de l'édition 2021 du défi fouille de texte @xcite , nous proposons deux tâches autour de l'attribution automatique de notes à des réponses courtes d'étudiants sur des questions de programmation web. l'objectif vise à élaborer des méthodes automatiques ou semi-automatiques d'attribution de notes à des réponses d'étudiants, en vue d'aider le travail de correction des enseignants. une nouveauté a été introduite avec une tâche expérimentale qualifiée de tâche « continue » (voir section 3.2) qui permet aux participants d'alterner entre interrogation du serveur d'évaluation pour obtenir la note d'un étudiant à une question et dépôt d'une soumission sur le serveur de manière itérative, dans l'objectif d'interroger le serveur de manière pertinente pour constituer un modèle le plus efficace possible. l'objectif d'un enseignant peut être de 80% de réponses bien corrigées. pour atteindre cet objectif, la question que se pose un enseignant est de savoir combien de réponses doivent-être corrigées. la campagne a été lancée le 24 février. l'accès aux données d'entraînement était possible après signature d'un accord par tous les membres de l'équipe participante. la phase d'entraînement s'est déroulée sur deux mois, du 1er mars au 30 avril. la phase de test a été scindée en deux avec une période différente par tâche (du 2 au 3 mai pour la tâche de base, du 4 au 9 mai pour la tâche continue). contrairement aux éditions précédentes, les participants n'ont pas eu le choix des dates pour la phase de test. quatre équipes se sont inscrites, et sont allées jusqu'au terme de la campagne, dont deux équipes académiques (une équipe jointe lia-ls2n et une équipe sorbonne université sous le nom « stylo » -issue de l'équipe « queer » de l'année précédente -, et deux équipes industrielles (edf r&d et l'équipe sncf r&d sous le nom « tgv »). ## corpus les données proviennent des cours de « programmation web » et « base de données », récoltées sur plusieurs années. bien que l'objectif final soit similaire sur les deux tâches, les corpus de questions sont spécifiques à chaque tâche. ils se composent d'une liste de questions, et pour chacune des questions, d'une liste des réponses correspondantes. les corpus d'entraînement de cette année se composent des corpus d'entraînement et de test de deft 2021. en revanche, les corpus de test sont inédits. chaque corpus a été anonymisé, les identités des étudiants étant remplacées par un identifiant unique (jusqu'à 122 étudiants différents). en fonction de la provenance des données (deux cours avec des promotions différentes par année), le nombre de réponses par question peut varier. en cas d'absence de réponse de la part d'un étudiant, la mention « no_ans » est renseignée comme réponse. en revanche, aucune correction orthographique n'est appliquée sur les réponses d'étudiants. le tableau 1 présente deux exemples de questions issues du corpus d'entraînement. la question 2032 appelle une réponse en langue naturelle tandis que la question 2034 attend du code informatique. la correction de l'enseignant peut s'accompagner de commentaires pour faciliter l'attribution des notes. les données provenant de l'interface moodle, des balises de mise en forme restent présentes (<@xmath0; et &gt ; pour les chevrons ouvrant et fermant). le code informatique de la question 2034 doit se lire : <@xmath1: <ue @xmath2. le tableau 2 fournit les réponses de cinq étudiants aux questions 2032 et 2034 du tableau 1 ainsi que les notes de référence fournies par l'enseignant. les notes sont normalisées entre 0 (absence de réponse ou réponse incorrecte) et 1 (bonne réponse), avec au maximum deux décimales en cas de réponse partiellement correcte. question note id intitulé correction et commentaire enseignant 2032 1 32 quel est l'intérêt d'utiliser du code ajax ? <@xmath3.<@xmath4:<@xmath5;code&gt ;<@xmath6;ue @xmath7;<@xmath8;/code&gt ; ? <@xmath9;ue @xmath10;</@xmath11.5 si transformé id en sous-élément (mais pas si supprimé la notion d'id)<@xmath12. 2032 0 student107 no_ans 2032 0.5 student108 ajax permet de modifier en temps réel une page, sans avoir à faire appel au serveur. par exemple, on peut changer le contour d'un bouton lorsque la souris passe dessus. 2032 0.2 student109 cela permet d'appeler des scripts dans la page web 2032 1 student12 le code ajax permet d'actualiser une partie d'une page web sans avoir à recharger toute la page. 2034 1 @xmath13.5 @xmath14 ## tâches deux tâches sont proposées autour de la notation automatique de réponses d'étudiants : la première tâche consiste classiquement à prédire des notes à partir d'une référence (tâche de base, section 3.1) tandis que la seconde tâche est dynamique et repose sur une interrogation continue du serveur d'évaluation pour produire un modèle efficace et en affinant les prédictions (tâche continue, section 3.2). alors que les systèmes élaborés sur la tâche de base permettent d'attribuer automatiquement des notes, les systèmes de la tâche continue ont vocation à aider l'enseignant en lui proposant une organisation des corrections, avec pour objectif, soit de minimiser le temps passé en correction, soit de proposer une correction partielle automatique jusqu'à atteindre un niveau d'erreurs non corrigées acceptable et que l'enseignant aurait à vérifier pour attribuer la bonne note correspondante. pour la phase de test, si les jeux de questions/réponses sont distincts pour les deux tâches, nous avons imposé l'ordre des tâches -d'abord la tâche de base puis la tâche continue -pour éviter que le corpus de test de la tâche continue (récupérable avec les notes de référence par interrogation du serveur, voir section 3.2) ne soit utilisé pour enrichir le corpus d'apprentissage de la tâche de base.