Trois méthodes Sorbonne et SNCF pour la résolution de QCM ( DEFT 2024) (2024)

Abstract: Cet article décrit la participation de l’équipe Sorbonne-SNCF au Défi Fouille de Textes 2024, se concentrant sur la correction automatique de QCM en langue française. Le corpus, constitué de questions de pharmacologie, a été reformulé en assertions. Nous avons employé des techniques avancées de traitement du langage naturel pour traiter les réponses. Trois approches principales, NachosLLM, TTGV byfusion, et TTGV ollama multilabel, sont présentées avec des scores EMR respectifs de 2.94, 4.19 et 1.68. Les résultats obtenus montrent des niveaux de précision différents, en soulignant les limites des approches multi-étiquettes. Des suggestions d’amélioration incluent l’ajustement des modèles de langage et des critères de classification.

## description des données du défi et des méthodes développées le corpus frenchmed mcqa est constitué de qcm provenant d'examens de pharmacologie français. ces questions et réponses ont été élaborées manuellement par des experts médicaux et sont destinées à des étudiants de niveau universitaire. à chaque question est associée : un identifiant, cinq réponses possibles étiquetées de a à e, la ou les réponse(s) correcte(s) et le nombre de réponses correctes. ## résultats obtenus avec les différentes méthodes les résultats de l'approche multiétiquette sont loin d'être satisfaisants, comme nous pouvons le voir en hypothèse 1 invalidée. compte tenu des résultats obtenus aussi bien en validation qu'en test, l'approche multiétiquette invalide la première hypothèse (hyp1) pour l'affinage d'un modèle préentraîné, tandis que pré-entraînement sur nachos d'un modèle à l'architecture adaptée (section 2.2) démontre un plus grand potentiel avec moins de paramètres. malgré tout, les résultats restent dans l'ensemble bas et invalident donc cette hypothèse. hypothèse 2 à confirmer. l'intégration dans l'amorce des assertions à l'aide des mots clés extraits semble rendre le modèle plus confus. la limite de cette approche semble tenir en deux facteurs : la taille réduite des paramètres et la fenêtre de contexte relativement petite compte tenu des modèles plus récents (mais dépassant la limite de 3 milliards de paramètres). il convient donc de vérifier cette hypothèse sur les derniers modèles, tout en vérifiant l'impact de la position des informations additionnelles comme indiqué en section 2.4.