Participation de l’équipe LAI à DEFT 2019 (Participation of team LAI in the DEFT 2019 challenge ) (2019)

Abstract: Nous présentons dans cet article les méthodes conçues et les résultats obtenus lors de notre participation à la tâche 3 de la campagne d’évaluation DEFT 2019. Nous avons utilisé des approches simples à base de règles ou d’apprentissage automatique, et si nos résultats sont très bons sur les informations simples à extraire comme l’âge et le sexe du patient, ils restent mitigés sur les tâches plus difficiles.

## introduction nous présentons dans cet article les méthodes que nous avons conçues pour répondre à la tâche 3 de la campagne d'évaluation deft 2019. cette tâche porte sur l'extraction d'informations dans un corpus de cas cliniques @xcite . quatre types d'information doivent être identifiés : ## méthode nous avons mis en place des méthodes à base de règles et/ou d'apprentissage automatique, selon le type d'information à extraire. ## résultats et discussion les règles de reconnaissance de l'âge et du genre du patient donnent de très bons résultats sur le corpus d'entraînement (tableau 1). les performances sur le corpus de test sont également bonnes mais légèrement en baisse (tableau 2), en particulier pour l'âge qui perd environ 3 points en rappel. nos règles semblent donc dans l'ensemble assez robustes, mais manquent certains cas. les matrices de confusion pour l'entraînement (figure 1 ) et pour le test (figure 2 ) permettent de mettre en évidence la difficulté pour nos deux approches de distinguer efficacement les classes amélioration et guérison, ce qui représente la plus grande partie des erreurs des systèmes. il serait intéressant de savoir si les chiffres d'accords inter-annotateurs du corpus illustrent les mêmes difficultés. enfin, la ## conclusion si nos résultats sont, selon les cas, les meilleurs ou tout proches des meilleurs du challenge, nous ne sommes malheureusement pas parvenus à produire des approches innovantes et performantes sur cette tâche du défi deft 2019. nos résultats proviennent d'approches classiques et conduisent à des résultats sans surprise : très bons sur les informations simples à extraire comme l'âge et le sexe, plus mitigés sur les informations pouvant s'exprimer de façon très variable dans les textes. nous avons également réalisé des expérimentations sur la tâche 1 (extraction de mots-clés), avec une extraction de termes puis une adaptation de la word mover distance @xcite pondérée par les tf.idf des termes, pour estimer les termes les plus représentatifs de chaque paire cas/discussion, mais les résultats se sont avérés peu convaincants. run 1 run 2 figure 2 -matrice de confusion pour l'issue sur le jeu de test (run 1 à base de règles et run 2 par apprentissage).