Correction automatique d’examens écrits par approche neuronale profonde et attention croisée bidirectionnelle (Deep Neural Networks and Bidirectional Cross-Attention for Automatic Answer Grading) (2022)

Abstract: Cet article présente les systèmes développés par l’équipe LIA-LS2N dans le cadre de la campagne d’évaluation DEFT 2022 (Grouin & Illouz, 2022). Nous avons participé à la première tâche impliquant la correction automatique de copies d’étudiants à partir de références existantes. Nous proposons trois systèmes de classification reposant sur des caractéristiques extraites de plongements de mots contextuels issus d’un modèle BERT (CamemBERT). Nos approches reposent sur les concepts suivants : extraction de mesures de similarité entre les plongements de mots, attention croisée bidirectionnelle entre les plongements et fine-tuning (affinage) des plongements de mots. Les soumissions finales comprenaient deux systèmes fusionnés combinant l’attention croisée bidirectionnelle avec nos classificateurs basés sur BERT et celui sur les mesures de similarité. Notre meilleure soumission obtient une précision de 72,6 % en combinant le classifieur basé sur un modèle CamemBERT affiné et le mécanisme d’attention croisée bidirectionnelle. Ces résultats sont proches de ceux obtenus par le meilleur système de cette édition (75,6 %).

## introduction le défi fouille de textes (deft) est une campagne d'évaluation annuelle francophone. l'édition de cette année propose deux tâches d'évaluation automatique de réponses d'étudiants, une tâche de base et une tâche continue où l'ont requête une base de données afin d'effectuer des prédictions itératives. notre équipe s'est intéressée à la première tâche, qui consiste à prédire des notes d'après une référence existante. ces tâches sont en continuité avec les tâches 2 et 3 introduites initialement dans l'édition 2021. le système ayant obtenu les meilleurs résultats lors de l'édition 2021 appliquait un random forest sur des caractéristiques de soft cardinalité ou soft cardinality en anglais @xcite . dans notre cas, nous proposons trois systèmes de classification reposant sur des caractéristiques extraites de plongements de mots contextuels issus de la version française de bert @xcite , camembert @xcite , qui s'appuie initialement sur l'architecture transformers @xcite . nos approches reposent sur les concepts suivants : extraction de mesures de similarité entre les plongements de mots, calcul de l'attention croisée bidirectionnelle entre les plongements de mots, ainsi que, le fine-tuning (affinage) des plongements de mots. l'article est organisé de la manière suivante. la section 2 résume brièvement la tâche et le protocole expérimental. ensuite, la section 3 présente les approches de fusion proposées ainsi que le prétraitement des données textuelles. les expériences sont présentées dans la section 4 en même temps que les résultats, avant de conclure et de donner quelques perspectives dans les sections 5 et 6. ## description de la tâche pour cette édition deft, nous avons choisi de nous concentrer sur la tâche de base à savoir l'évaluation automatique de copies d'après une référence existante. l'objectif de cette tâche consiste à prédire la note d'une réponse d'un étudiant à une question (comprise entre 0 et 1) à partir d'éléments textuels tels que : la question, la réponse de l'étudiant ainsi que la réponse de l'enseignant. cette tâche peut être modélisée comme un problème de régression ou de classification. le tableau 1 donne des exemples de questions. le tableau 2 donne quant à lui illustre les réponses d'étudiants avec les notes associées. id question correction enseignant (+ suggestion de notation) 1021 <@xmath0;span&gt ; ?<@xmath1.<@xmath2.5 pour "la balise &lt ;span&gt ; sert à définir une partie du texte. ;" 0.5 aussi si parle de partie du document et pas du texte (si pas clair que inline et pas block)<@xmath3, par exemple recouvrement de contenus (violation du principe 1 de wcag ie perceptible)<@xmath4. ## conclusion les performances de nos systèmes de base sont similaires aux résultats obtenus lors de l'édition 2021. notre système de fusion camembert couplé à l'attention croisée bidirectionnelle s'est approché du meilleur résultat obtenu cette année. cette approche de classification basée sur les plongements de mots camembert, nous semble donc pertinente à approfondir lors de la prochaine édition du défi. il serait effectivement intéressant de combiner cette approche avec les caractéristiques de "soft cardinality" @xcite utilisés par le meilleur système de l'édition 2021 @xcite . l'architecture du système pourrait également être améliorée en remplaçant notre sélection manuelle des poids pour la moyenne pondérée par un modèle perceptron multicouche @xcite . nous espérions aussi étudier les performances des plongements de code source tels que codebert par microsoft @xcite puisque certaines réponses contiennent des extraits de code source.