DOING @ DEFT : cascade de CRF pour l’annotation d’entités cliniques imbriquées ( DOING @ DEFT : cascade of CRF for the annotation of nested clinical entities) (2020)

Abstract: Cet article présente le système développé par l’équipe DOING pour la campagne d’évaluation DEFT 2020 portant sur la similarité sémantique et l’extraction d’information fine. L’équipe a participé uniquement à la tâche 3 : “extraction d’information”. Nous avons utilisé une cascade de CRF pour annoter les différentes informations à repérer. Nous nous sommes concentrés sur la question de l’imbrication des entités et de la pertinence d’un type d’entité pour apprendre à reconnaître un autre. Nous avons également testé l’utilisation d’une ressource externe, MedDRA, pour améliorer les performances du système et d’un pipeline plus complexe mais ne gérant pas l’imbrication des entités. Nous avons soumis 3 runs et nous obtenons en moyenne sur toutes les classes des F-mesures de 0,64, 0,65 et 0,61.

## introduction dans le cadre du groupe de travail doing (cf. section 1.1), nous avons développé un système pour participer à la tâche 3 de deft 2020 @xcite . cette tâche est centrée sur l'extraction d'information fine dans un corpus de cas cliniques, et en particulier de l'annotation d'entités cli- ## méthode les entités considérées dans la tâche 3 de deft 2020 sont de 10 types 6 . dans le tableau 1, nous donnons la répartition des entités dans le corpus d'entraînement. nous pouvons les regrouper en 2 groupes, les entités cliniques et les entités associées à ces entités cliniques : comme les annotations étaient disponibles dans le corpus d'entraînement, nous avons travaillé également sur la reconnaissance de ces entités. nombre d'entités sosy 1831 anatomie 1608 examen 1218 substance 1024 valeur 588 moment 451 dose 392 traitement 374 pathologie 369 mode 243 en faisant ces regroupements, nous cherchons à apprendre ensemble des entités proches sémantiquement, morphologiquement et qui ne sont pas imbriquées ou très peu. 8 par exemple, nous avons constaté que les entités dose et valeur se présentent majoritairement sous la forme d'un nombre suivi d'une unité (exemples : dose "40 mg" ; valeur "191/95 mm hg"). en les apprenant ensemble, nous gagnons en rappel (+ 1,1 et + 1,7 respectivement pour dose et valeur) avec une légère perte de précision. 9 les entités anatomie et mode peuvent être proches sémantiquement et/ou morphologiquement et apparaître dans des contextes similaires (exemples : mode "entérale" ; anatomie "abdominal"). apprendre à les reconnaître avec le même modèle permet d'améliorer le rappel de +3 points et +0.3 points respectivement pour la reconnaissance des entités mode et anatomie. de même, l'entité moment tend par exemple à apparaître en début de phrase ("à son admission", "une semaine plus tard"), tout comme l'entité date ("[en] 2001"). dans ce contexte, les prépositions sont par ailleurs fréquentes. comme évoqué précédemment, nous avons également effectué nos regroupements en considérant les entités imbriquées. les entités anatomie et mode sont ainsi souvent imbriquées ou associées aux entités traitement et examen. c'est pourquoi deux paires ont été créées. cet apprentissage en cascade offre également la possibilité d'utiliser les annotations produites par le système comme traits supplémentaires pour l'annotation du niveau suivant. par exemple le modèle numéro 5 appris pour traitement et examen utilisera les annotations en valeur, dose, anatomie, etc. et le modèle appris pour sosy et pathologie utilisera les annotations produites par tous les modèles précédents. cette configuration permet par exemple d'améliorer le rappel et la précision pour la classe pathologie respectivement de +2,3 et +1,8. ces traits sont décrits dans la section 3.3.1. ## système le premier module de notre système est un module de pré-traitement, il est présenté dans la section 3.1. lors du pré-traitement, les annotations sont transformées selon le format bio, format standard pour les crf. des modèles sont ensuite appris pour chaque niveau d'annotation (cf. section 3.2) et appliqués au fur et à mesure aux données non annotées. pour apprendre ces modèles, il est nécessaire de définir les traits à utiliser dans des templates, un par modèle. les templates sont des fichiers contenant des traits (caractéristiques d'un token, d'un segment, etc. utiles pour apprendre à reconnaître les entités) définis sous la forme de patrons, selon une syntaxe particulière. pour un token courant donné (noté 0), il convient de détailler les informations à prendre en compte pour l'étiqueter. à partir d'un fichier en entrée au format tabulaire (un token par ligne), il est ainsi possible d'indiquer, pour ce token, combien de tokens précédents (exemple : 2) et/ou suivants (exemple : 1) considérer, ainsi que la colonne dans laquelle se trouvent les caractéristiques pertinentes (exemple : le lemme en colonne 3). dans cette situation, les traits à définir sont les suivants : le dernier module permet d'effectuer la transformation des annotations au format bio vers le format brat. 10 ## résultats nous avons soumis 3 runs à deft. pour le premier run, nous avons utilisé le système décrit précédemment sans les descripteurs provenant de meddra et du pipeline ennov. pour le deuxième run, nous avons ajouté les descripteurs provenant de meddra et pour le troisième, les annotations produites par le pipeline. en résumé, les 3 runs sont :