Identification des problèmes d’annotation pour l’extraction de relations (Identification of annotation problem for the relation extraction) (2020)

Abstract: L’annotation d’un corpus est une tâche difficile et laborieuse, notamment sur des textes de spécialité comme les textes biomédicaux. Ainsi, dans un contexte comme l’extraction des interactions alimentmédicament (FDI), l’annotation du corpus POMELO a été réalisée par un seul annotateur et présente des risques d’erreur. Dans cet article, nous proposons d’identifier ces problèmes d’annotation en utilisant un corpus Silver Standard (CSS) que nous établissons à partir d’un vote majoritaire parmi les annotations proposées par des modèles entraînés sur un domaine similaire (interaction médicamentmédicament – DDI) et l’annotation manuelle à évaluer. Les résultats obtenus montrent que l’annotation dans POMELO est considérablement éloignée du CSS. L’analyse des erreurs permet d’en identifier les principales causes et de proposer des solutions pour corriger l’annotation existante.

## introduction il peut être difficile dans de nombreuses circonstances d'établir un corpus selon les pratiques habituelles, c'est-à-dire une double annotation avec un consensus. c'est notamment le cas dans les domaines spécialisés où mobiliser plusieurs experts pour réaliser des annotations peut être compliqué. en pratique, les corpus annotés sont développés lors des travaux préliminaires, comme preuve de concept ou pour définir le guide d'annotation. étant donné qu'aucun consensus n'a été effectué, on peut s'attendre à ce que de tels corpus comportent des problèmes d'incohérence ou d'ambiguïté. dans ce contexte, il est possible d'envisager d'améliorer l'annotation effectuée par un seul annotateur pour réduire le coût de l'annotation. pour atteindre cet objectif, nous considérons la tâche d'extraction de relations spécifiques au domaine, en particulier l'extraction de l'interaction entre aliments et médicaments (food-drug interaction -fdi) pour laquelle il existe très peu de corpus annotés ou de modèles d'extraction automatique. à l'instar des interactions entre médicaments (drug-drug interaction -ddi), les fdi correspondent à l'absorption, distribution ou l'effet inattendu d'un médicament, provoqués par l'ingestion d'un aliment @xcite . par exemple, le pamplemousse est connu pour avoir un effet inhibiteur sur une enzyme impliquée dans le métabolisme de plusieurs médicaments @xcite . toutefois, à la différence des ddi @xcite ou les effets indésirables des médicaments @xcite qui sont répertoriés dans des bases de données telles que drugbank 1 ou thériaque 2 , les fdi figurent rarement dans les bases de connaissances et sont généralement dispersées dans des sources hétérogènes @xcite . en outre, dans drugbank par exemple, les informations sont principalement stockées sous forme de phrases. des travaux précédents ont été réalisés pour l'extraction automatique de ces informations @xcite et ont conduit à la définition d'un ensemble de 639 résumés medline (corpus pomelo) annotés par un externe en pharmacie selon 21 types de relation avec un grand déséquilibre en termes de nombre d'exemples par type. les tentatives d'entraînement d'un système de détection automatique des interactions entre aliments et médicaments sur ce corpus ont conduit à de faibles performances. ((randriatsitohaina & hamon, 2019)) nous émettons l'hypothèse que l'annotation du corpus, étant faite par une seule personne, peut présenter des incohérences. afin de les identifier, nous proposons de tirer parti du corpus existant sur les ddi qui est un domaine similaire afin d'évaluer l'annotation pomelo selon un schéma d'annotation de plus haut niveau (4 types de relations ddi). nos contributions se concentrent sur la définition d'un corpus silver standard (css) à partir d'un consensus avec les annotations des modèles d'extraction des ddi, l'analyse de l'annotation pomelo par rapport au css, l'identification des incohérences et la proposition de solutions pour corriger l'annotation existante. 2 état de l'art le développement d'un corpus silver standard (css) a été introduit pour réduire les coûts d'annotation de corpus. l'idée est d'appliquer des systèmes d'annotation sur un corpus et d'harmoniser l'annotation finale en utilisant un système de vote. rebholz-schuhmann et al. (2010) a produit un corpus pour l'identification des entités nommées à partir de textes biomédicaux. lu et al. (2011) utilisent un algorithme espérance-maximisation (expectation maximisation) pour déduire la vérité terrain, basé uniquement sur les soumissions des équipes participantes à un défi sur le normalisation de gènes. suivant le même principe, nous établissons un css obtenu par un système de vote sur les annotations des modèles d'extraction des ddi pour identifier ensuite les problèmes d'annotation des relations. certaines approches utilisent l'apprentissage actif afin d'améliorer l'annotation d'un corpus bruyant 1. https://www.drugbank.ca/ 2. http://www.theriaque.org @xcite ). le processus est basé sur le choix d'une instance mal étiquetée par détection d'erreur, en donnant les instances sélectionnées à l'oracle (l'annotateur humain), pour être manuellement désambiguïsées et ajoutées aux données d'apprentissage. une approche de détection des erreurs d'annotation est proposée par @xcite , basée sur le regroupement des instances correspondant à chaque valeur d'étiquette "silver" unique, puis sur la considération des valeurs aberrantes comme des étiquettes éventuellement bruyantes qui doivent être ré-annotées par l'expert. dans notre cas, nous utilisons le résultat de modèles entraînés sur les ddi pour identifier les éventuelles erreurs d'annotation. ## corpus notre approche est mise en oeuvre sur le corpus pomelo qui contient des annotations de fdi mais dont la qualité doit être améliorée, et le corpus ddi fournissant des annotations d'interactions entre médicaments et dont la qualité est avérée suite à son utilisation dans des campagnes d'évaluation. corpus pomelo des études ont déjà été menées sur les fdi durant lesquelles l'ensemble de données pomelo a été développé @xcite . ce corpus est constitué de 639 résumés d'articles scientifiques du domaine médical (269 824 mots, 5 752 phrases) en anglais, collectés à partir du portail pubmed 3 . les 639 résumés sont annotés selon 9 types d'entités et 21 types de relations avec brat @xcite par un étudiant en pharmacie. les annotations se concentrent sur des informations sur la relation entre aliments, médicaments et pathologies. étant donné que nous examinons les interactions aliment-médicament, nous avons construit notre ensemble de données en tenant compte de tous les couples de drug et food ou food-supplement à partir des données pomelo. l'ensemble de données qui en résulte est composé de 900 phrases étiquetées avec 13 types de relations (avec le nombre d'instances) : decrease absorption (53), slow absorption (15), slow elimination (15), increase absorption (39), speed up absorption (1), new side effect (4), negative effect on drug (88), worsen drug effect (8), positive effect on drug (21), improve drug effect (6), no effect on drug (109), without food (13), unspecified relation (528).