Présentation de la campagne d’évaluation DEFT 2020 : similarité textuelle en domaine ouvert et extraction d’information précise dans des cas cliniques (Presentation of the DEFT 2020 Challenge : open domain textual similarity and precise information extraction from clinical cases ) (2020)

Abstract: L’édition 2020 du défi fouille de texte (DEFT) a proposé deux tâches autour de la similarité textuelle et une tâche d’extraction d’information. La première tâche vise à identifier le degré de similarité entre paires de phrases sur une échelle de 0 (le moins similaire) à 5 (le plus similaire). Les résultats varient de 0,65 à 0,82 d’EDRM. La deuxième tâche consiste à déterminer la phrase la plus proche d’une phrase source parmi trois phrases cibles fournies, avec des résultats très élevés, variant de 0,94 à 0,99 de précision. Ces deux tâches reposent sur un corpus du domaine général et de santé. La troisième tâche propose d’extraire dix catégories d’informations du domaine médical depuis le corpus de cas cliniques de DEFT 2019. Les résultats varient de 0,07 à 0,66 de F-mesure globale pour la sous-tâche des pathologies et signes ou symptômes, et de 0,14 à 0,76 pour la sous-tâche sur huit catégories médicales. Les méthodes utilisées reposent sur des CRF et des réseaux de neurones.

## introduction cet article présente la campagne d'évaluation 2020 du défi fouille de texte (deft). cette nouvelle édition se compose de trois tâches, dont deux nouvelles portant sur la similarité entre phrases et l'identification de phrases parallèles en domaine général et domaine de spécialité, tandis que la troisième tâche reprend le corpus de cas cliniques utilisé pour deft 2019 @xcite et propose de travailler sur des catégories d'informations plus fines. la similarité textuelle offre plusieurs possibilités d'utilisation, de la détection du plagiat jusqu'à la réécriture dans un but de simplification. dans cette campagne, nous avons souhaité étudier les niveaux de similarité qu'il est possible d'inférer automatiquement, entre phrases portant soit sur le même sujet, soit des sujets fondamentalement différents. l'extraction d'informations précises contenues dans des documents de spécialité, tels que les cas cliniques, constitue une première étape pour l'accès à l'information, la recherche de cas similaires, ou encore le peuplement de bases de données. a l'image de la campagne d'évaluation américaine i2b2/va 2010, nous avons proposé pour le français une tâche d'extraction d'informations pour le domaine médical. nous avons lancé le défi le 27 janvier. treize équipes se sont inscrites. dix équipes ont participé à la phase de test, qui s'est déroulée du 28 au 30 avril. parmi les équipes étant allé au terme de la campagne, nous retenons la présence d'une équipe académique africaine (université assane seck ziguinchor, sénégal) et de cinq équipes industrielles (edf r&d, palaiseau ; reezocar, boulogne-billancourt ; synapse, toulouse) ou mixtes industrielles et académiques (ibm france, bois-colombes et université paris 7, paris ; lirmm et onaos, montpellier). quatre équipes académiques complètent la liste des participants (bitem, haute ecole spécialisée, genève ; doing, université d'orléans ; limics, sorbonne université, paris ; lipn, sorbonne paris-nord, villetaneuse). la diffusion des corpus d'entraînement s'est faite à partir du 3 février pour la première tâche, à partir du 13 février pour la troisième tâche et du 17 février pour la deuxième tâche, pour des raisons de finalisation des corpus. enfin, une version améliorée des annotations de la troisième tâche a été distribuée le 20 mars. ## présentation le corpus utilisé pour les deux premières tâches se compose de pages wikipedia et vikidia 1 relatives à différents sujets (par exemple, les pages almaty, apiculture, biberon, boris godounov, etc.) ainsi que du contenu en santé tel que des notices de médicaments (bromazepam, buprénorphine, etc.) et des résumés cochrane @xcite . ## conclusion l'édition 2020 du défi fouille de texte a proposé trois tâches. malgré sa complexité, la tâche d'extraction d'informations fine a permis l'obtention des résultats corrects sur les deux catégories d'information les plus difficiles (pathologies et signes ou symptômes), alors même que ces deux catégories ont posé problème lors du travail d'annotation humaine. de plus, les résultats ne dépassaient que rarement les 0,8 de f-mesure sur des catégories a priori plus simples (doses, moments, valeurs). la diversité des contenus dans chacune des catégories semble expliquer ces résultats. la tâche d'identification de la phrase la plus similaire d'une phrase source parmi trois cibles fournies a permis à l'ensemble des participants d'obtenir d'excellents résultats, qui varient de 0,94 à 0,99 de précision. le corpus fourni pour cette deuxième tâche semble manifestement facile à traiter de manière automatique. par contre, lorsqu'il s'agit d'attribuer un degré de similarité sur une échelle à six valeurs, la tâche paraît plus complexe. l'absence volontaire de définition du contenu de chaque degré de similarité et le nombre relativement élevé de degrés disponibles (six degrés de 0 à 5) réduisent les chances de succès.