Participation de l’équipe TTGV à DEFT 2023~: Réponse automatique à des QCM issus d’examens en pharmacie (2023)

Abstract: Cet article présente l’approche de l’équipe TTGV dans le cadre de sa participation aux deux tâches proposées lors du DEFT 2023 : l’identification du nombre de réponses supposément justes à un QCM et la prédiction de l’ensemble de réponses correctes parmi les cinq proposées pour une question donnée. Cet article présente les différentes méthodologies mises en oeuvre, explorant ainsi un large éventail d’approches et de techniques pour aborder dans un premier temps la distinction entre les questions appelant une seule ou plusieurs réponses avant de s’interroger sur l’identification des réponses correctes. Nous détaillerons les différentes méthodes utilisées, en mettant en exergue leurs avantages et leurs limites respectives. Ensuite, nous présenterons les résultats obtenus pour chaque approche. Enfin, nous discuterons des limitations intrinsèques aux tâches elles-mêmes ainsi qu’aux approches envisagées dans cette contribution.

## introduction cette année, l'équipe ttgv (tal à très grande vitesse) se (re)forme autour de l'équipe tgv qui a participé au défi deft en 2022. comptant désormais 11 membres issus de la sncf, de télécom paris et du loria, notre équipe s'est attelée à la résolution des deux tâches proposées : l'identification du nombre de réponses supposément justes à un qcm et la prédiction de l'ensemble de réponses correctes parmi les cinq proposées pour une question donnée. ces questions proviennent du corpus frenchmedmcqa, qui regroupe 3 105 questions fermées extraites des annales d'examens de pharmacie en français. les travaux de @xcite décrivent plus en détail les particularités de ce corpus et présentent les premières expérimentations pour aborder ces tâches. dans notre étude, nous avons décidé de nous appuyer sur différentes approches, tout en tirant des enseignements de la baseline établie par @xcite . la première partie de notre article se focalisera donc sur les différentes méthodologies mises en oeuvre, explorant ainsi un large éventail d'approches et de techniques pour aborder d'abord la distinction entre les questions appelant une seule ou plusieurs réponses avant de s'interroger sur l'identification des réponses correctes. nous détaillerons les différentes méthodes utilisées, en mettant en exergue leurs avantages et leurs limites respectives. ensuite, nous présenterons les résultats obtenus pour chaque approche. enfin, nous discuterons des limitations intrinsèques aux tâches elles-mêmes ainsi qu'aux approches envisagées dans cette contribution. la répartition du nombre de réponses attendues pour chaque question dans les jeux de données (train, dev et test) est illustrée dans la figure 1 en annexe. parmi les 3 105 questions du corpus, on observe que 35% (soit 1 080 questions) nécessitent uniquement une réponse. alors que le train contient davantage de questions demandant trois réponses, les questions ne demandant qu'une seule réponse sont majoritaires dans le dev et le test. d'une manière générale, la répartition des nombres de réponses suit une tendance similaire entre le dev et le test. étant donné la répartition des données, nous allons d'abord nous concentrer sur la distinction des questions n'appelant qu'une seule réponse (dites simples) et celles qui en exigent plusieurs (dites multiples).