Recherche et extraction d’information dans des cas cliniques. Présentation de la campagne d’évaluation DEFT 2019 (Information Retrieval and Information Extraction from Clinical Cases) (2019)

Abstract: Cet article présente la campagne d’évaluation DEFT 2019 sur l’analyse de textes cliniques rédigés en français. Le corpus se compose de cas cliniques publiés et discutés dans des articles scientifiques, et indexés par des mots-clés. Nous proposons trois tâches indépendantes : l’indexation des cas cliniques et discussions, évaluée prioritairement par la MAP (mean average precision), l’appariement entre cas cliniques et discussions, évalué au moyen d’une précision, et l’extraction d’information parmi quatre catégories (âge, genre, origine de la consultation, issue), évaluée en termes de rappel, précision et F-mesure. Nous présentons les résultats obtenus par les participants sur chaque tâche.

## introduction l'édition 2019 du défi fouille de textes (deft 2019, https://deft.limsi.fr/2019/ ) porte sur l'analyse de cas cliniques rédigés en français. cette édition se compose de trois tâches autour de la recherche d'information et de l'extraction d'information. bien que ces tâches aient déjà fait l'objet de campagnes d'évaluation dans le passé (l'identification de mots-clés dans deft 2012 et deft 2016, l'appariement entre une recette et ses ingrédients lors de deft 2013), c'est la première fois qu'une @xcite hamon et vincent claveau campagne d'évaluation porte sur des textes cliniques en français. les cas décrivent les situations cliniques de patients, réels ou fictifs. les cas cliniques sont publiés dans plusieurs sources de données (scientifique, didactique, associatif, juridique) sous forme anonymisée. l'objectif consiste à présenter des situations cliniques typiques (cadre didactique) ou bien des situations rares (cadre scientifique). déroulement de la campagne les annonces informant de cette campagne ont été faites entre décembre 2018 et avril 2019 sur plusieurs listes de diffusions du traitement automatique des langues, de l'ingénierie des connaissance, et du domaine biomédical, en français (aim, aria, egc, info-ic, ln, madics) et en anglais @xcite . l'accès aux données d'entraînement a été possible dès le 18 février, tandis que la phase de test s'est déroulée du 9 au 15 mai, sur une période de trois jours définie par chacun des participants. afin de participer, chaque équipe a signé un accord d'utilisation des données fixant les conditions d'accès et de précautions à prendre concernant les données. huit équipes se sont inscrites et ont participé jusqu'au bout. nous comptons cinq équipes académiques (lgi2p/mines alès, nîmes ; limics/inra, paris ; lipn/stih, paris ; taln-ls2n, nantes ; université assane seck de ziguinchor, sénégal), deux équipes industrielles (edf lab, palaiseau ; qwant, paris) et une équipe mixte (synapse/irit, toulouse).