QUEER @ DEFT 2021 : Identification du Profil Clinique de Patients et Notation Automatique de Copies d’Étudiants ( QUEER @ DEFT 2021 : Patients Clinical Profile Identification and Automatic Student Grading ) (2021)

Abstract: Nous présentons dans cet article notre contribution aux 3 tâches de la campagne d’évaluation du défi Fouille de Texte 2021. Dans la tâche d’identification de de profil clinique (tâche 1) nous présentons une méthode de recherche d’information basé sur un index dérivé du MeSH. Pour la tâche de notation automatique à partir d’une correction (tâche 2), nous avons expérimenté une méthode de similarité de vecteurs de chaînes de caractères. Pour la tâche de notation à partir de copies déjà notées (tâche 3) nous avons entraîné un réseau de neurones LSTM.

## introduction le défi fouille de textes (deft), créé en 2005, porte pour l'édition 2021 @xcite sur la classification de cas cliniques et la correction automatique de copies d'étudiants à travers trois tâches. pour un cas clinique donné, la tâche 1 vise à identifier le profil clinique du patient concerné par le type de maladie de toutes les pathologies présentes dans le cas. elle s'appuie sur les annotations antérieures en informations démographiques et cliniques (pathologies, signes ou symptômes, etc.). les tâches 2 et 3 concernent la prédiction de notation de réponses d'étudiants à des questions courtes liées au domaine de l'informatique. les réponses attendues peuvent être de différents types. remarquons d'entrée de jeu que les tâches 2 et 3 cherchent à développer des modèles capables, pour une réponse donnée, de proposer une note uniquement en observant le contenu intrinsèque de cette réponse. l'intersection des jeux de questions entre l'ensemble d'apprentissage et celui d'évaluation est vide, et l'identité de l'étudiant auteur de la réponse n'est naturellement pas pris en considération. ces tâches visent ainsi à modéliser la langue (rationnelle dans le cas des réponses demandant du code, naturelle sinon) en fonction d'un système de notation. nous avons décidé de participer au trois tâches où nous explorons des différentes techniques de recherche d'information, analyses statistiques et réseaux de neurones artificielles. les jeux de données et métriques d'évaluation étant propres à chaque tâche, nous les présentons successivement. ## t1 -identification du profil clinique du patient la tâche 1 s'articule autour de deux ressources : un corpus de documents annotés au format brat 1 @xcite et un fichier de réponses attendues au format tabulaire. les annotations disponibles sont celles de deft 2020 @xcite . le corpus d'entraînement est constitué de 167 documents annotés au format brat, celui d'évaluation de 108 documents au même format. nous pouvons remarquer plusieurs éléments. le premier est que la distribution entre les classes est très déséquilibrée, la classe "etatsosy" étant représentée dans environ 90% des documents, là où les classes minoritaires entre 1% et 5% des documents. nous remarquons également que les distributions des classes dans l'ensemble d'entraînement et d'évaluation sont similaires. la seule différence notable est pour la classe "nerveux", qui passe d'un support relatif de 24,6% dans l'ensemble d'entraînement à 42,6% pour l'ensemble d'évaluation. ## t2 -évaluation automatique de copies d'après une référence la tâche 2 s'articule autour de deux ressources : un fichier de questions et un fichier de réponses produites par des étudiants. outre la question elle-même, le fichier de questions contient, pour certaines d'entre elles, un ou plusieurs éléments de réponse attendus. ceux-ci s'accompagnent dans certains cas d'indications de notation à l'usage du correcteur. de ce fait, le fichier de questions contient également des éléments de réponse incorrects. les données d'entraînement et d'évaluation sont composées de questions distinctes (entraînement : 50, évaluation : 21 questions). en revanche, les réponses (entraînement : 3 820, évaluation : 1 644) ont été fournies par le même ensemble de 118 étudiants. ## t3 -poursuite automatique de correction à partir de premières corrections la tâche 3 s'articule autour de deux ressources : un fichier de questions et un fichier de réponses. aucun élément de réponse n'est fourni. néanmoins, au moins une des réponses produites par les 4. nous utilisons ici la terminologie du countvectorizer de scikit-learn : characters between word boundaries étudiants a obtenu la note maximale. les données d'entraînement et d'évaluation sont composées de questions distinctes (entraînement : 11, évaluation : 6 questions). les réponses du jeu de données d'évaluation (387 réponses) ont été produites par un sous-ensemble de 197 étudiants parmi les 213 ayant produit les réponses du jeu d'entraînement (769 réponses).