Simplification de schémas d’annotation : un aller sans retour ? (Annotation scheme simplification : a one way trip with no return ?) (2018)

Abstract: Dans cet article, nous comparons l’impact de la simplification d’un schéma d’annotation sur un système de repérage d’entités nommées (REN). Une simplification consiste à rassembler les types d’entités nommées (EN) sous deux types génériques (personne et lieu), l’autre revient à mieux définir chaque type d’EN. Nous observons une amélioration des résultats sur les deux versions simplifiées. Nous étudions également la possibilité de retrouver le niveau de détail des types d’EN du schéma d’origine à partir des versions simplifiées. L’utilisation de règles de conversion permet de recouvrer les types d’EN d’origine, mais il reste une forme d’ambiguïté contextuelle qu’il est impossible de lever au moyen de règles.

## introduction l'annotation de corpus est un processus long et coûteux, mais utile pour construire des resources, réaliser des analyses linguistiques, entraîner des modèles d'apprentissage statistique, ou pour évaluer les sorties de systèmes. @xcite rappelle qu'un processus d'annotation comprend plusieurs étapes : écriture et mises à jour du guide d'annotation, entraînement des annotateurs humains, double annotation et phases d'adjudication. plusieurs solutions existent pour réduire le coût, le temps et améliorer la qualité des annotations : pré-annotation automatique @xcite , apprentissage actif par @xcite sur du repérage d'entités nommées (ren) et par @xcite et @xcite sur de l'étiquetage en parties du discours, annotation agile @xcite , ou encore propagation contrôlée d'annotations existantes @xcite . alors que ces solutions préservent le schéma d'annotation, une autre piste de simplification du processus d'annotation consiste à modifier le schéma par fusion de types ou redéfinition. @xcite rappellent que les schémas sémantiques relèvent d'un compromis entre le souhait de refléter l'organisation des mots dans l'esprit humain, et la nécessité d'avoir des annotations utiles pour les chercheurs, cette utilité étant guidée par la tâche. si un schéma d'annotation n'est jamais défini en fonction de possibilités techniques, il est possible de tenir compte des propriétés des données (distribution, ambiguïté, etc.) pour améliorer la qualité des annotations. un équilibre doit être trouvé entre simplification et possibilité de recouvrer le niveau de détail du schéma d'origine. dans cet article, nous évaluons l'impact de la complexité d'un schéma d'annotation sur les performances d'un système de reconnaissance d'entités nommées. depuis un schéma d'annotation complexe (nombre élevé de catégories, ambiguïtés entre catégories, prise en compte du contexte pour décider d'annoter et déterminer l'étiquette à utiliser, etc.), nous réduisons la complexité en fusionnant des types existants ou en proposant de nouvelles définitions pour les types difficiles à traiter. nous évaluons les résultats obtenus par des modèles entraînés sur ces versions, et la possibilité de retrouver les types du schéma d'origine après simplification. ## état de l'art travailler sur les schémas d'annotation peut viser un objectif d'interopérabilité @xcite ) ou d'analyse de l'impact d'un schéma sur des outils du tal appliqués sur ces annotations, en particulier pour démontrer l'impact des propriétés du corpus et des différences d'annotations (définitions, nombre de types, portions annotées, coordination d'entités). plusieurs travaux ont déterminé le seuil au-delà duquel un schéma d'annotation devenait trop complexe. sur une tâche d'analyse de dépendances, @xcite ont graduellement ajouté des relations grammaticales au schéma d'annotation du penn treebank (15, 31, 44 et 60 relations) et ont comparé les performances sur quatre analyseurs de dépendances. ils observent qu'un schéma d'annotation linguistiquement plus riche n'implique pas forcément une baisse d'exactitude (moins de 0,9) entre 15 et 44 relations alors que les différences sont plus marquées avec le schéma composé de 60 relations. en reconnaissance d'entités nommées, @xcite font l'observation inverse. les auteurs ont comparé les performances de banner @xcite sur un corpus annoté en suivant deux schémas d'annotations des maladies. avec une validation croisée 10-plis, l'outil obtient de moins bons résultats sur le corpus annoté avec le schéma d'annotation complexe (f-mesure de 0,7365) qu'avec un schéma d'annotation plus simple (f-mesure de 0,9164). ## corpus et méthodes nos expériences reposent sur le corpus produit pour la tâche de désidentification de la campagne d'évaluation i2b2/uthealth 2014 nlp challenge @xcite . ce corpus comprend 1304 documents cliniques rédigés en anglais (de 2 à 5 par patient), pour un total de 296 patients différents. les annotations couvrent 7 types principaux (age, contact, date, id, location, name, et profession) et 25 sous-types (doctor, patient, username pour name ; street, state, city, zip, hospital, organization pour location). ces annotations ont ensuite été remplacées en corpus par des données fictives réalistes. nous nous intéressons à deux principaux types d'entités nommées : les noms de personnes en raison de leur complexité sémantique (différence entre nom et prénom, ou entre un médecin et un patient), et les noms de lieu en raison de leur composition d'éléments de types différents, en particulier sur les adresses et noms d'hôpitaux qui sont complexes à traiter pour des systèmes de ren lorsque ces noms font référence à des personnes ou à d'autres lieux. nos expériences reposent sur trois versions seulement d'un schéma d'annotation (voir figure 1 ) : depuis la version régulière (v3), nous avons rassemblé dans la même portion les noms et prénoms des personnes et avons repris les mêmes déclencheurs et phrases introductives que ci-dessus. la figure 3 présente l'évolution de la f-mesure de neuroner sur le test, pour chaque version du schéma. le tableau 2 présente les résultats par catégorie à l'issue de la construction du modèle. l'apprentissage prend fin lorsque les dix dernières itérations n'ont présenté aucune amélioration. le tableau 3 présente les résultats par application de neuroner et des règles de conversion des types d'en produits par neuroner. puisque les types produits sur la version d'origine du schéma d'annotation (v1) constituent déjà les types d'en attendus, les résultats sur la v1 sont identiques entre les tableaux 2 et 3. la tableau 4 présente les résultats lorsque la conversion est appliquée sur les entités nommées de référence. cette évaluation met en évidence la qualité des règles de conversion indépendamment de l'identification des entités nommées par neuroner. type v1 (origine) v2 (simple) v3 (régulier) r p f r p f r p f pers. ---.885 .938 .911 ---doc. .859 .929 .893 ------pat. .846 .863 .854 ------first ------.887 .919 .903 last ------.917 .927 .922 code ------.657 .888 .755 loc. ---.737 .836 .784 ---hosp. .655 .830 .732 ------street .838 .826 .832 ------city .633 .788 .702 ---.633 .761 .691 state .790 .802 .796 ---.756 .791 .773 zip .914 .928 .921 ------num. ------.834 .931 .883 name ------.488 .743 .589 type ------.842 .879 .860 tous .800 .881 .839 .831 .902 .865 .818 .888 .852 ## conclusion dans cet article, nous avons comparé l'impact de deux versions d'un schéma d'annotations sur un système de ren, une version simplifiant les types d'en en deux types consensuels (nom et lieu) et une version proposant des définitions régulières. dans les deux cas, cette simplification améliore les résultats. nous avons étudié la possibilité de recouvrer les types d'en du schéma d'origine à partir des versions simplifiées. les règles de conversion ne suffisent pas pour retrouver le niveau de détail du schéma d'annotation d'origine. si l'intérêt d'une simplification est réel, nous estimons que d'autres solutions doivent être identifiées pour retrouver les types d'en d'origine. dans le cadre de travaux futurs, nous envisageons de reproduire ces expériences au moyen de crf de chaîne linéaire, ainsi que l'application de méthodes symboliques. la comparaison des résultats obtenus avec ces approches permettra de vérifier l'impact de la simplification de schémas d'annotation avec d'autres approches.