Classification de cas cliniques et évaluation automatique de réponses d’étudiants : présentation de la campagne DEFT 2021 (Clinical cases classification and automatic evaluation of student answers : Presentation of the DEFT 2021 Challenge) (2021)

Abstract: Le défi fouille de textes (DEFT) est une campagne d’évaluation annuelle francophone. Nous présentons les corpus et baselines élaborées pour trois tâches : (i) identifier le profil clinique de patients décrits dans des cas cliniques, (ii) évaluer automatiquement les réponses d’étudiants sur des questionnaires en ligne (Moodle) à partir de la correction de l’enseignant, et (iii) poursuivre une évaluation de réponses d’étudiants à partir de réponses déjà évaluées par l’enseignant. Les résultats varient de 0,394 à 0,814 de F-mesure sur la première tâche (7 équipes), de 0,448 à 0,682 de précision sur la deuxième (3 équipes), et de 0,133 à 0,510 de précision sur la dernière (3 équipes).

## introduction le défi fouille de textes (deft) est une campagne d'évaluation annuelle francophone qui permet à plusieurs équipes de confronter leurs méthodes sur une ou plusieurs tâches régulièrement renouvelées. pour cette nouvelle édition, nous proposons deux thématiques principales. la première concerne le domaine clinique au travers d'une tâche d'extraction d'information depuis des cas cliniques. la deuxième concerne l'enseignement et le traitement de copies d'étudiants avec deux tâches sur l'évaluation automatique des réponses d'étudiants dans des questionnaires en ligne de type moodle 1 . les tâches d'extraction d'information constituent une première étape d'accès aux informations pré-sentes dans des documents, pour des objectifs plus généraux (recherche de cas similaires, résumé automatique, etc.). a l'image des campagnes de repérage d'entités nommées, nous proposons de repérer les maladies, signes et symptômes des patients décrits dans des cas cliniques, dans la perspective de dresser le profil clinique des patients. cette tâche fait suite aux précédentes éditions sur l'identification d'informations démographiques et cliniques @xcite , et l'extraction d'information fine autour des patients, de la pratique clinique, des traitements et du temps @xcite . l'évaluation automatique de réponses d'étudiants constitue une tâche originale qui n'a jamais été abordée dans les campagnes deft. elle voit son utilité dans l'assistance automatique lors de la correction des copies et dans la comparaison qualitative entre une copie et une référence. organisation de la compétition. les participants ont pu s'inscrire à la compétition et accéder aux données d'entraînement à partir du 12 février 2021. ils ont eu accès aux scripts d'évaluation officiels le 26 avril. la phase de test s'est déroulée entre le 17 et le 23 mai, sur une période de trois jours choisie par chaque équipe de participants. l'atelier de clôture s'est déroulé le 28 juin 2021. quatorze équipes se sont inscrites, toutes françaises, parmi lesquelles quatre entreprises (y compris trois spécifiques au domaine médical), une équipe hospitalo-universitaire, trois équipes formées d'étudiants uniquement (niveau master ou doctorat), et six équipes académiques. trois équipes ont abandonné la compétition avant la phase de test et une équipe a abandonné la compétition pendant la phase de test. dans le contexte du règlement général européen sur la protection des données 2 (rgpd), nous relevons l'intérêt des acteurs du domaine clinique pour accéder à des données de type clinique. nous observons que la majorité des participants s'intéresse aux cas cliniques (cinq équipes académiques : doing, orléans ; isme, grenoble ; lirmm, montpellier ; queer, paris ; team stel, paris, et deux entreprises : bl.santé, toulouse ; everteam lab, lyon). trois équipes se sont consacrées à l'évaluation des réponses d'étudiants, avec un industriel (edf lab, palaiseau) et deux équipes d'étudiants en master (nantalco, univ. nanterre et inalco) ou en thèse (proofreaders, univ. nantes).