Corpus EN -Istex : un corpus d’articles scientifiques annoté manuellement en entités nommées ( ISTEX - EN Corpus: a scientific paper corpus manually annotated in named entities) (2021)

Abstract: Nous présentons ici une nouvelle ressource libre : le corpus EN-ISTEX, un corpus de deux cents articles scientifiques annotés manuellement en entités nommées. Ces articles ont été extraits des deux éditeurs scientifiques les plus importants de la plateforme ISTEX. Tous les domaines sont concernés, même si les sciences dites dures, en particulier les sciences du vivant et de la santé, sont prépondérantes. Parmi ceux-ci vingt articles ont été multi-annotés afin de vérifier l’adéquation du guide d’annotation et la fiabilité de l’annotation. L’accord inter annotateurs sur ces vingt textes s’élève à 91 %.

## introduction le projet investissement d'avenir istex 1 avait pour but la constitution d'une bibliothèque d'articles scientifiques disponibles en libre accès pour les acteurs de la recherche en france. cette bibliothèque numérique comporte aujourd'hui « 23 millions de documents provenant de 30 corpus de littérature scientifique dans toutes les disciplines » 2 . pour améliorer la consultation de la plateforme istex, des services à valeurs ajoutées ont été développés et sont disponibles via l'api d'istex. parmi ceux-ci, un service permet une interrogation de la base via les entités nommées (noms propres, dates et références). ce service a bien sûr été testé en interne, mais l'idée est venue de constituer manuellement un corpus annoté en entités nommées avec un accord inter annotateurs, utilisable comme corpus d'apprentissage pour la création ou l'amélioration d'outils de détection d'entités nommées. il s'agit d'une nouvelle ressource libre (sous licence ouverte etalab 3 ), disponible à l'url https://corpusgold.corpus.istex.fr/. ce corpus contient deux cents articles, issus des éditeurs wiley et elsevier, sélectionnés à partir des catégories scientifiques science-metrix de niveau 1, proportionnellement à l'ensemble constitué de ces deux éditeurs dans le fonds istex. parmi ceux-ci, vingt articles ont fait l'objet d'une annotation multiple avec calcul de l'accord inter annotateurs et choix collégial de la bonne annotation. cet accord, calculé par le alpha de krippendorff, est très bon, puisqu'il atteint 91 %. le travail sur ces vingt articles a permis la formation des annotateurs qui ont ainsi acquis une capacité à annoter les textes de façon similaire. de ce fait, l'ensemble du corpus en-istex peut être considéré comme un gold standard. l'interprétation du alpha porte toujours à débat, mais pour un coefficient alpha de cet ordre, cette ressource peut être qualifiée d'une très bonne fiabilité.