Participation de l’équipe TGV à DEFT 2022 : Prédiction automatique de notes d’étudiants à des questionnaires en fonction du type de question (Team TGV at DEFT 2022 : automatic prediction of students’ grades according to the different question types) (2022)

Abstract: Cet article présente l’approche de l’équipe TGV lors de sa participation à la tâche de base de DEFT 2022, dont l’objectif était de prédire automatiquement les notes obtenues par des étudiants sur la base de leurs réponses à des questionnaires. Notre stratégie s’est focalisée sur la mise au point d’une méthode de classification des questions en fonction du type de réponse qu’elles attendent, de manière à pouvoir mener une approche différenciée pour chaque type. Nos trois runs ont consisté en une approche non différenciée, servant de référence, et deux approches différenciées, la première se basant sur la constitution d’un jeu de caractéristiques et la seconde sur le calcul de TF-IDF et de la fonction de hashage. Notre objectif premier était ainsi de vérifier si des approches dédiées à chaque type de questions sont préférables à une approche globale.

## état de l'art la tâche de base de cette année avait déjà été proposée lors du deft 2021 @xcite . pour notre état de l'art, nous nous sommes donc essentiellement basés sur les travaux menés l'année passée dans le but d'identifier les pistes à approfondir ainsi que pour nous assurer d'apporter de nouvelles méthodes non explorées. la tâche avait en grande partie été traitée par les participants comme une tâche de classification, bien qu'elle aurait très bien pu être abordée par une tâche de régression. cela s'explique par une sous-représentation des classes dans le jeu de validation : seules 4 notes différentes y sont présentes. la plupart des équipes avait opté pour des méthodes centrées sur le calcul de scores de similarités. les différents tests avaient montré que les meilleurs résultats étaient généralement obtenus en calculant la similarité entre la réponse proposée par le professeur et la réponse de l'élève, sans prise en compte de la question. des plongements lexicaux avaient également été utilisés pour calculer la similarité à partir de vecteurs, bien que, sans fine-tuning, les modèles camembert @xcite et sentencebert @xcite s'étaient avérés moins performants. l'utilisation de sentence-transformers multilingues @xcite s'était à ce propos révélée plus efficace. enfin, à partir de ces scores et de caractéristiques (features) linguistiques identifiées, les participants avaient pu entraîner différents classifieurs. le run ayant remporté les meilleurs résultats (soit 0, 682) utilisait des forêts aléatoires d'arbres @xcite . l'étude des méthodes de 2021 nous a par ailleurs permis de remarquer certaines pistes qui n'avaient pas été abordées. en effet, les questions avaient peu été prises en compte par les participants, de même que les informations sur les étudiants. tout en gardant à l'esprit les méthodes les plus performantes, nous avons choisi de nous concentrer sur ces paramètres, non exploités jusque-là, afin de mesurer leur apport. ## sélection des caractéristiques 4.1 caractéristiques statistiques nous avons identifié différentes caractéristiques à étudier en nous basant notamment sur diverses métriques : ## stratégies additionnelles 6.1 tâche de regression notre approche initiale fut de considérer la tâche comme une tâche de regression afin de prédire une note allant de 0 à 1. nous avons donc mis en place une descente de gradient stochastique (sgd) sur des représentations vectorielles obtenues par une fonction de hachage. ensuite, nous avons fait correspondre la valeur prédite (nombre flottant ente 0 et 1) à l'un des paliers considérés. cette correspondance a été effectuée de deux manières : par l'arrondi à la note connue la plus proche ou par une distance euclidienne entre les représentations pour trouver la note la plus proche. le meilleur score de précision obtenu a été de 0,36 en validation (visible en ## les runs un premier élément commun à tous les runs que nous avons lancés est l'attribution automatique de la note 0 aux réponses correspondant à « no_ans ». nous avons ensuite lancé l'algorithme de détection du type de question (section 5.2) sur les données pour récupérer cette information. il nous a ensuite fallu déterminer les trois méthodes que nous souhaitions tester à l'occasion des runs à soumettre. l'ensemble des résultats principaux obtenus est visible en ## conclusion dans le cadre de ce défi, nous avons mis en place trois modèles de notation automatique de réponses d'étudiants à des questionnaires. pour cela, nous avons fait l'hypothèse que les critères d'évaluation divergent en fonction du type de réponse attendue. en effet, la présence de différents types de questions dans le corpus nous a amenés à adopter une approche différenciée. nous avons essayé de valider notre intuition en mettant en place deux principes : 1) d'une part, une approche sans différenciation et, 2) d'autre part, deux approches différenciées ; l'une se basant sur diverses caractéristiques relevées sur l'ensemble du corpus et l'autre se basant sur une vectorisation du texte. les résultats obtenus peuvent confirmer l'importance d'adapter le modèle aux différents types de questions. l'efficacité des méthodes mises en place demeure dépendante de la performance de l'algorithme de détection du type de question. une simple amélioration de cet algorithme devrait permettre d'aboutir à de meilleurs résultats. en effet, sur les données de test, sa précision était de 0,92, ce qui laisse une marge de progression. en outre, nous avons remarqué la présence de questions mixtes, qui attendent une réponse précise et également une justification, donc une réponse en langue naturelle. de façon à améliorer les résultats, ce type de questions aurait besoin d'un traitement spécifique, même si on l'imagine bien plus difficile à prendre en compte. il aurait également été possible de réaliser davantage de tests au niveau du choix des caractéristiques puisque le run ne les prenant pas en compte (run 3) est celui qui a obtenu les meilleurs résultats. en effet, nous avons proposé un nombre assez élevé de caractéristiques basées sur des métriques et peut-être que leur pertinence n'était pas toujours avérée et a fini par entraîner des biais dans les modèles liés à un surapprentissage. de plus, nous aurions pu introduire dans les modèles utilisés les caractéristiques basées sur des scores de similarité que nous avions calculés ou encore tester de nouvelles mesures de similarité. ces mesures demeurent en effet les plus importantes pour cette tâche. nous aurions également pu nous intéresser davantage aux métriques qu'il est possible de réaliser au niveau des caractères, étant donné que se positionner à ce niveau s'avère souvent assez discriminant, surtout dans le cas des réponses en langue formelle. enfin, inclure les pistes que nous avons laissées de côté et pousser plus loin l'idée du traitement spécifique par type de question aurait pu également améliorer les résultats. jusque-là, nous avons seulement étudié une méthode de matching des réponses attendues, sans pour autant la mettre en place dans le modèle final. nous avons également réfléchi à des méthodes qu'il pourrait être intéressant de tester pour les deux autres types de questions, sans les avoir implémentées toutefois. concernant les réponses en langue formelle, faire appel à des outils de correction et de vérification de code pourrait être intéressant. concernant les réponses en langue naturelle, il pourrait être pertinent d'identifier des mots-clés dans les réponses attendues, de les associer à un lexique de synonymes et de les retrouver ensuite dans les réponses des élèves. au regard de l'ensemble de ces observations, et notamment des difficultés auxquelles nous nous sommes confrontés, nous pensons qu'il serait possible assez aisément d'améliorer les résultats de cette tâche si les données de départ étaient davantage harmonisées. nous proposons cette piste dans le cas où la volonté serait de créer un outil de notation automatique intégré à une plateforme de questionnaires étudiants. en cadrant davantage la manière dont le professeur entre ses propositions de réponse et le barème associé, il serait possible de mettre en place des méthodes plus fiables et par conséquent plus performantes. références akbik a., blythe d. & vollgraf r. (2018). contextual string embeddings for sequence labeling. in coling 2018, 27th international conference on computational linguistics, p. 1638-1649. breiman l. (2001). random forests. machine learning, 45(1), 5-32. wang x., liu x. & yue y. (2021). mesure de similarité textuelle pour l'évaluation automatique de copies d'étudiants. in actes de l'atelier défi fouille de textes@taln 2020 classification de cas cliniques et correction automatique de copies d'étudiants. atelier défi fouille de textes, p. 63-71, lille, france : association pour le traitement automatique des langues. textual similarity measurement for automatic evaluation of students' answers. zadrozny b. & elkan c. (2002). transforming classifier scores into accurate multiclass probability estimates. in proceedings of the eighth acm sigkdd international conference on knowledge discovery and data mining, p. 694-699.