Uniformisation de corpus anglais annotés en sens (Unification of sense annotated E nglish corpora for word sense disambiguation) (2017)

Abstract: Pour la désambiguïsation lexicale en anglais, on compte aujourd’hui une quinzaine de corpus annotés en sens dans des formats souvent différents et provenant de différentes versions du Princeton WordNet. Nous présentons un format pour uniformiser ces corpus, et nous fournissons à la communauté l’ensemble des corpus annotés en anglais portés à notre connaissance avec des sens uniformisés du Princeton WordNet 3.0, lorsque les droits le permettent et le code source pour construire l’ensemble des corpus à partir des données originales.

## introduction que ce soit pour l'évaluation ou l'apprentissage d'un système de désambiguïsation lexicale (dl), les corpus annotés en sens sont essentiels. en effet, les systèmes de dl exploitant les exemples issus de corpus annotés en sens sont généralement bien meilleurs que ceux qui n'en exploitent pas @xcite . en anglais, le princeton wordnet @xcite est aujourd'hui la base lexicale standard de facto. la plupart des corpus annotés en sens sont ainsi soit annotés directement grâce à wordnet soit annotés avec un inventaire de sens lié aux sens de wordnet comme babelnet @xcite . il n'est toutefois pas aisé d'utiliser ces corpus car la plupart diffèrent grandement par leur format et par la version du princeton wordnet utilisée. de plus, les systèmes sont systématiquement évalués sur les corpus destinés à l'origine à l'évaluation et jamais sur les corpus destinés à l'origine à un autre usage sans qu'il n'y ait de raison scientifique pour cela. nous présentons ainsi un travail d'unification de tous les corpus anglais annotés avec wordnet portés à notre connaissance, dans un format unique, simple à comprendre et rapide à utiliser en pratique. nous mettons au même plan les corpus destinés à l'origine à l'évaluation et ceux destinés à l'apprentissage, pour faciliter la construction de systèmes de dl qui pourraient ainsi réaliser une évaluation à plus large échelle en procédant, par exemple, à une validation croisée par rotation dans laquelle on utilise tour à tour chacun des corpus pour l'évaluation d'un système et l'ensemble des autres pour sa construction. nous avons aussi effectué la conversion de toutes les annotations en sens depuis leur version de wordnet d'origine à la dernière version (3.0) grâce à des tables de conversion dont la méthode de fabrication est issue @xcite 1 . notre travail est proche de celui @xcite mais il diffère en deux points : premièrement, ils séparent les corpus en corpus d'évaluation et corpus d'apprentissage, et deuxièmement, ils n'intègrent que 7 corpus contre 12 pour nous. nous fournissons du code java permettant de lire et écrire facilement ce format, ainsi que tous les corpus utilisés, à la fois dans leur format original ainsi que dans notre format. le code qui nous a permis de faire la conversion est lui aussi fourni. le tout est disponible à l'adresse suivante : https://github.com/getalp/wsd-taln2017-corpus-vialetal 2 corpus anglais annotés en sens notre ressource contient tous les corpus anglais annotés en sens princeton wordnet à notre connaissance, c'est à dire : ## format de corpus unifié notre format de corpus est voulu pour être clair et facile à comprendre, tout en étant à la fois efficace à traiter, et contenant toutes les informations données par les différents corpus originaux. ainsi, nous avons opté pour un format descriptif xml, composé des 5 noeuds suivants : corpus, document, paragraph, sentence et word. à n'importe quel noeud, on peut y attacher un ou plusieurs attributs quelconques. tous les attributs sont optionnels, sauf pour l'attribut surface_form d'un mot qui correspond à sa forme de surface. les parties du discours sont annotés avec l'attribut pos, les lemmes avec lemma, les clés de sens pour une version spécifique de princeton wordnet avec wn{version}_key. l'extrait suivant est un exemple de xml résultant : <@xmath0.s001" > <word @xmath1:09:00::" /> </@xmath2