Tâches et systèmes de détection automatique des réponses correctes dans des QCM s liés au domaine médical : Présentation de la campagne DEFT 2023 (2023)

Abstract: L’édition 2023 du DÉfi Fouille de Textes (DEFT) s’est concentrée sur le développement de méthodes permettant de choisir automatiquement des réponses dans des questions à choix multiples (QCMs) en français. Les approches ont été évaluées sur le corpus FrenchMedMCQA, intégrant un ensemble de QCMs avec, pour chaque question, cinq réponses potentielles, dans le cadre d’annales d’examens de pharmacie.Deux tâches ont été proposées. La première consistait à identifier automatiquement l’ensemble des réponses correctes à une question. Les résultats obtenus, évalués selon la métrique de l’Exact Match Ratio (EMR), variaient de 9,97% à 33,76%, alors que les performances en termes de distance de Hamming s’échelonnaient de 24,93 à 52,94. La seconde tâche visait à identifier automatiquement le nombre exact de réponses correctes. Les résultats, quant à eux, étaient évalués d’une part avec la métrique de F1-Macro, variant de 13,26% à 42,42%, et la métrique (Accuracy), allant de 47,43% à 68,65%. Parmi les approches variées proposées par les six équipes participantes à ce défi, le meilleur système s’est appuyé sur un modèle de langage large de type LLaMa affiné en utilisant la méthode d’adaptation LoRA.

## introduction le défi fouille de textes (deft) est une campagne d'évaluation annuelle francophone qui permet à plusieurs équipes, souvent issues du monde académique et/ou industriel, de confronter des méthodes originales en traitement automatique du langage naturel (taln) sur une ou plusieurs tâches régulièrement renouvelées. pour cette édition 2023 du défi foot_0 , nous avons proposé de travailler sur le corpus frenchmedmcqa @xcite , intégrant un ensemble de qcms en français issus d'annales d'examens de pharmacie. une des difficultés, et originalités, du corpus, est que chaque question contient une inconnue sur le nombre de réponses associées, là où d'autres corpus attendent une seule réponse par question. cette difficulté a permis aux équipes participantes d'explorer et de proposer des approches pouvant s'écarter de celles actuellement proposées pour des tâches plus classiques en taln. deux tâches ont été proposées aux participants pour cette édition : la campagne a été lancée le 27 février 2023. l'accès aux données d'entraînement était possible après signature d'un accord par tous les membres de l'équipe participante. la phase d'entraînement s'est déroulée sur pratiquement deux mois (27 février 2023 au 23 avril 2023). la phase de test s'est déroulée du 24 avril au 7 mai 2023. six équipes se sont inscrites, et sont allées jusqu'au terme de la campagne : ## corpus le corpus frenchmedmcqa @xcite contient un ensemble de 3 105 qcms en français portant sur le domaine médical, proche de ce que l'on retrouve dans d'autres langues telles que l'anglais avec le corpus medmcqa @xcite ou sciq @xcite . ce corpus a été constitué en collectant des questions et leurs réponses associées à partir d'annales d'examens réels de pharmacie obtenus du site remede.org 2 . chaque qcm contient cinq réponses potentielles, parmi lesquelles se trouve une ou plusieurs réponses correctes. ces qcms ont été réalisés manuellement par des experts médicaux et utilisés lors d'examens de pharmacie. le tableau 1 fournit la distribution du jeu de données frenchmedmcqa selon son découpage pour l'apprentissage, le développement et l'évaluation. nous constatons que le corpus est composé de 1 080 questions ayant une réponse unique parmi les cinq potentielles (#@xmath0, et de 2 025 questions avec de multiples réponses (#@xmath1. au total, le corpus contient 3 105 questions. afin de garder un corpus équilibré, 70% des questions sont utilisées pour le corpus d'apprentissage, alors que 10 % ont été conservées pour le corpus de développement et 20% pour l'évaluation. lors de ce défi, deux tâches liées aux qcms médicaux ont été proposées. la tâche principale (voir section 2.1.1) a consisté à choisir automatiquement, selon une question posée, l'ensemble des réponses correctes parmi cinq réponses possibles fournies. la tâche annexe (voir section 2.1.2) a consisté à identifier automatiquement le nombre de réponses correctes. à ces deux tâches, nous avons proposé, pour chacune d'entre-elles, deux pistes (voir section 2.2) que les équipes pouvaient développer : 1) recherche reproductible, avec des approches et modèles dont les données d'entraînement ou de référence étaient connues et contrôlées, et 2) aucune restriction, laissant libre chaque participant de fournir des propositions sans contrainte de reproductibilité. à noter que la seconde piste de recherche n'apparaît qu'à des fins de recherche et ne compte pas dans le classement final des équipes à la campagne deft 2023. pour l'ensemble des tâches et pistes, les participants ont eu à leur disposition les données d'entraînement et de développement comme décrites dans la section 2. les annotations du corpus de test, sur lequel toutes les équipes ont été évaluées, n'a jamais été fourni durant la campagne d'évaluation, mais a été rendu disponible librement, tout comme les corpus d'entraînement et de développement, à la fin de la campagne. enfin, nous avons fourni à l'ensemble des équipes un système état-de-l'art (baseline) pour chacune des deux tâches. ces systèmes ont été transmis sous la forme de recettes disponibles librement en ligne 3 que chaque participant pouvait entraîner. ces premiers résultats permettaient aux équipes d'avoir un repère quant aux performances de leurs approches. ## conclusion l'édition 2023 du défi fouille de textes (deft) s'est concentrée sur le développement de méthodes permettant de choisir les réponses dans des questions à choix multiples (qcms) en français. la première tâche a rassemblé six équipes et consistait à sélectionner automatiquement le sousensemble de réponses correctes parmi celles proposées pour une question donnée. les équipes participantes avaient à leur disposition des données d'entraînement et de développement fournies avec le corpus frenchmedmcqa, et pouvaient également s'aider de connaissances externes. les résultats obtenus sur les données de test de ce corpus ont été fournis selon la métrique de l'exact match ratio, variant de 9,97 % à 33,76 %, alors que les performances en termes de distance de hamming s'échelonnaient de 24,93 à 52,94. notre système baseline a obtenu 16,55 % et 36,24 respectivement avec l'emr et la distance de hamming. l'utilisation de grands modèles de langue comme llama affiné sur les données mises à disposition en utilisant la méthode d'adaptation lora s'est révélée la plus efficace. quant à la deuxième tâche, elle a rassemblé trois équipes et consistait à identifier, pour chaque question, le nombre exact de réponses correctes. les résultats ont été fournis en utilisant la métrique de f1-macro, variant de 13,26 % à 42,42 %, ainsi que la métrique accuracy, allant de 47,43 % à 68,65 %. notre système baseline a obtenu une f1-macro de 28,79 % et une accuracy de 67,04 %. cette nouvelle édition de deft se termine avec une grande variété de méthodes testées sur chacune des tâches proposées, et montre que l'utilisation de grands modèles de langue s'avère très efficace, alors même que certains de ces modèles ne sont pas adaptés au domaine traité (ici, le domaine médical).