Portée de la négation : détection par apprentissage supervisé en français et portugais brésilien (Negation scope : sequence labeling by supervised learning in F rench and B razilian- P ortuguese) (2018)

Abstract: La détection automatique de la négation fait souvent partie des pré-requis dans les systèmes d’extraction d’information, notamment dans le domaine biomédical. Cet article présente nos contributions concernant la détection de la portée de la négation en français et portugais brésilien. Nous présentons d’une part deux corpus principalement constitués d’extraits de protocoles d’essais cliniques en français et portugais brésilien, dédiés aux critères d’inclusion de patients. Les marqueurs de négation et leurs portées y ont été annotés manuellement. Nous présentons d’autre part une approche par réseau de neurones récurrents pour extraire les portées.

## introduction la détection de la négation dans les textes est un des pré-requis qui est utile dans de nombreuses tâches d'extraction d'informations. dans le domaine biomédical, plusieurs informations existent sous forme non structurée et il y est donc nécessaire de pouvoir différencier, par exemple, l'absence et la présence d'une maladie, ou encore la prise ou non d'un médicament @xcite . dans le cas d'essais cliniques, ces informations sont déterminantes dans le processus de recrutement des patients car elles indiquent et définissent les critères d'inclusion et d'exclusion de patients pouvant être inclus dans un essai. il peut s'agit par exemple du statut fumeur ou non d'une personne, de la prise ou non d'un médicament donné, du fait qu'une patiente soit enceinte, etc. l'article est structuré de la manière suivante. dans la section qui suit, nous présentons les travaux existants qui proposent des ensembles de données annotées ainsi que des méthodes par systèmes expert ou par apprentissage supervisé pour la détection automatique de la négation et de sa portée. ces travaux concernent majoritairement le traitement de textes en anglais. nous présentons ensuite, dans la section 3, les ensembles de données que nous avons annotées, en français et portugais brésilien, dans le but d'automatiser la détection de la négation dans d'autres langues que l'anglais. notre méthode de détection de la portée par apprentissage supervisé est présentée dans la section 4. dans la section 5, nous présentons les résultats de notre méthode sur ces ensembles de données, ainsi qu'une analyse des erreurs les plus fréquentes. enfin, nous présentons nos conclusions et perspectives dans la dernière section. ## travaux existants dans @xcite , nous avons présenté une grande partie des travaux pertinents pour cette tâche. dans cette section, nous les décrivons brièvement et complétons notre état de l'art. ## nos données nous présentons dans cette section deux corpus, l'un en français (fr), l'autre en portugais brésilien (ptbr), annotés manuellement pour marquer les informations liées à la négation : les marqueurs et leur portée. ces corpus sont similaires car élaborés à partir de protocoles d'essais cliniques dans les deux langues. le corpus français a été annoté par l'équipe de l'irisa d'inria, tandis que le corpus brésilien a été annoté par trois étudiants de l'école de médecine de l'université pontificale catholique du paraná foot_1 . les protocoles en français sont issus du registre des essais cliniques de l'hôpital gustave roussy, ainsi que de l'institut national du cancer, auxquels nous avons ajouté quelques cas cliniques. le corpus français est pré-traité avec treetagger @xcite pour effectuer l'étiquetage morpho-syntaxique et la lemmatisation. les protocoles en portugais brésilien sont issus du site brésilien dédié aux essais cliniques foot_2 . l'étiquetage morpho-syntaxique (universal pos tags) et les lemmes du corpus portugais brésilien sont obtenus à l'aide de rdrpostagger proposé par @xcite . dans les exemples qui suivent, les marqueurs de négation sont en gras et leur portée est marquée entre crochets. le rationale des annotations diffère légèrement dans les deux langues. si l'annotation des marqueurs est identique, il existe des différences dans l'annotation de leur portée : dans le corpus brésilien (exemples 4, 5, 6) la portée se limite souvent aux groupes nominaux tandis qu'en français (exemples 1, 2, 3) toutes les séquences (groupes nominaux, propositions, subordonnées...) impactées par le marqueur font partie de la portée. ainsi, dans l'exemple 4, apresentar n'est pas annoté, ni usuários de dans l'exemple 6. dans le tableau 2, nous présentons des exemples de phrases en français et en brésilien annotées avec la négation et sa portée. les champs renseignés sont : l'identifiant unique par phrase (#phrase), la position de chaque token dans la phrase (position), les différents descripteurs linguistiques (forme, lemme, pos-tag), ainsi le marqueur de la négation et sa portée. le dernier exemple du tableau est issu du corpus brésilien. comme d'autres phrases de ce corpus, il ne contient qu'un seul mot : gestantes signifiant que l'étude porte sur les femmes enceintes. les phrases affirmatives sont indiqués par *** dans la sixième colonne. ## méthodes nous abordons la tâche de détection de la portée de la négation comme une tâche de classification binaire (inside-outside). les informations recherchées doivent être prédites grâce à l'algorithme d'apprentissage supervisé, que nous décrivons dans la suite de cette section. inspirée @xcite , notre approche, dédiée à la détection de la portée de la négation, utilise un réseau de neurones long short-term memory (lstm) bidirectionnel suivi, en sortie, d'une prédiction par champs aléatoires conditionnels (crf). un lstm bidirectionnel est la combinaison de deux structures de réseaux de neurones récurrents (rnn) : le réseau de neurones récurrent bidirectionnel proposé par @xcite , qui opère dans le sens de lecture et dans le sens contraire. la passe arrière est particulièrement importante dans le cas de la détection de la portée puisque les unités affectées peuvent également se trouver avant le marqueur. le lstm proposé par implémenté à l'aide de tensorflow @xcite , notre système prend en entrée une instance i(n, c, t), où chaque mot est représenté par un vecteur n (word-embedding), un vecteur c, qui détermine si le mot fait partie d'un marqueur (cue-embedding), ainsi que d'un vecteur t, qui est la représentation vectorielle de l'étiquetage morpho-syntaxique pour chaque mot (postag-embedding). pour chaque système, nous utilisons des paramètres d'entraînement définis de façon empirique. nos embeddings sont de dimension @xmath0. la couche cachée compte 200 unités (400 pour le bilstm, qui nécessite deux couches cachées concaténées). 50 périodes d'entraînement permettent d'atteindre le meilleur score f 1 sur l'ensemble de validation. les corpus sont segmentés en trois parties : 60% pour l'ensemble d'entraînement, 15% pour l'ensemble de validation et 25% pour l'ensemble de test. les résultats obtenus sur le corpus de test sont évalués contre les données de référence avec les mesures d'évaluation classiques : la précision p , qui quantifie la pertinence de l'étiquetage, le rappel r, qui quantifie la sensibilité de l'étiquetage, ainsi que la moyenne harmonique de la précision et du rappel noté f 1 . dans le tableau 3, nous présentons les résultats de notre approche sur nos deux corpus. sont indiqués les résultats sur les ensembles de validation et de test. à titre de comparaison, nous indiquons mots étiquetés portées exactes dataset p r f 1 p r f 1 français-valid 93,72 86,22 89,81 100 72,48 84,04 français-test 88,29 84,68 86,45 100 53,55 69,75 ptbr-valid 79,06 69,93 74,22 100 33,71 50,42 ptbr-test 77,61 64,58 70,50 100 34,29 51,06 *sem-2012 * 91,24 87,10 89,12 100 62,5 76,92 *sem-2012 ** 92,62 85,13 88,72 99,40 63,87 77,7 tableau 3 -résultats de notre système sur nos corpus. les résultats sont donnés en pourcentage. (dalloux et al., 2017) * , (fancellu et al., 2016) ** également les résultats que nous obtenons sur le corpus de *sem-2012, ainsi que ceux de fancellu et al. (2016) obtenus sur ce même corpus. bien que l'ensemble d'entraînement français soit plus petit (d'environ 40 %), nous obtenons des résultats proches de ceux obtenus sur le corpus en anglais, avec un score f 1 de 86,45 en français contre 89,12 en anglais. les résultats sont bien moins convainquants sur le corpus brésilien, qui est encore plus petit (d'environ 55 % pour l'ensemble d'entraînement). il nous semble que les différences dans la façon d'annoter ont également une influence importante sur les résultats, l'annotation en français se rapprochant bien plus de celle de *sem-2012 qu'en brésilien. notons que la précision est privilégiée par le système, avec des valeurs proches ou égales à 100. un examen des résultats permet d'isoler des cas récurrents d'erreurs. pour le corpus français, nous pouvons ainsi noter l'omission de groupes verbaux et l'inclusion d'incises : -gold : dans cet essai, ni [le patient,] ni [le médecin] ne [connaîtront quel traitement] (procervix ou placebo) [est administré]. -pred : dans cet essai, ni [le patient], ni [le médecin] ne [connaîtront quel traitement] (procervix ou placebo) est administré. -gold : par ailleurs [les patientes du second groupe ayant un risque de rechute potentiellement bas] (grade génomique bas) ne [recevront] pas [de chimiothérapie]. -pred : par ailleurs les patientes du second groupe ayant [un risque de rechute potentiellement bas] ([grade génomique bas)] ne [recevront] pas [de chimiothérapie]. dans le corpus brésilien, les cas d'erreurs s'avèrent plus complexes. en effet, nous constatons qu'un grand nombre de prédictions combinent des erreurs de précision et de rappel au sein d'une même phrase. les exemples ci-dessous illustrent cette situation : -gold : ausencia de diagnóstico de [doenças neuromusculares], [trauma], [tumores] ou [abscessos raquimedulares], [hemiplegia]/ [paresia], [lesão de plexo] ou [encefalopatia cerebral]. -pred : ausencia de diagnóstico [de doenças neuromusculares], [trauma], tumores ou [abscessos raquimedulares], hemiplegia/paresia, lesão de plexo ou [encefalopatia] cerebral. -gold : que não apresentem outras [doenças neurológicas] ou [ortopédicas diagnosticadas]. -pred : que não apresentem [outras doenças neurológicas] ou [ortopédicas] diagnosticadas. une des erreurs concerne l'inclusion ou non de déterminants (de, outras) dans la portée des marqueurs. une autre erreur concerne la complétude de groupes nominaux (encefalopatia cerebral et ortopédicas diagnosticadas). il s'agit sans doute des annotations non homogènes, qui peuvent être corrigées assez facilement. dans cet article, nous proposons deux types de contributions. une première contribution concerne deux nouveaux corpus de données biomédicales, en français et en brésilien, annotées avec les informations sur la négation (les marqueurs et leur portée). les corpus seront finalisés grâce à l'intégration de données nouvelles provenant d'autres sources, telles que des articles scientifiques ou bien des cas cliniques. l'accord inter-annotateur est en cours de calcul, s'en suivra une étape d'harmonisation des annotations. la seconde contribution de notre travail consiste en l'exploitation d'un lstm bidirectionnel pour la détection automatique de la portée de la négation. les expériences sont effectuées et évaluées dans deux langues qui n'ont pas connu beaucoup de travaux de ce type : en portugais brésilien et en français. sur le corpus français, notre système montre des performances qui s'approchent de celles de packard et al. (2014) et fancellu et al. (2016) sur les données de *sem-2012, bien que le contenu de nos corpus soit très différent et qu'il nous semble y trouver plus de variations dans la structure de phrases négatives (énumérations, grandes portées discontinues, etc.). néanmoins, il nous reste plusieurs points à explorer. en effet, nous souhaitons exploiter différentes architectures de réseaux de neurones récurrents, ainsi que différents types de word embeddings. nous prévoyons également de comparer nos résultats sur le français avec des systèmes experts tels que ceux proposés par @xcite ou bien par @xcite . une première version de notre système est désormais accessible et utilisable en ligne à cette adresse : https://allgo.inria.fr/webapps/173