Divergences entre annotations dans le projet U niversal D ependencies et leur impact sur l’évaluation des performance d’étiquetage morpho-syntaxique (Evaluating Annotation Divergences in the UD Project) (2018)

Abstract: Ce travail montre que la dégradation des performances souvent observée lors de l’application d’un analyseur morpho-syntaxique à des données hors domaine résulte souvent d’incohérences entre les annotations des ensembles de test et d’apprentissage. Nous montrons comment le principe de variation des annotations, introduit par Dickinson & Meurers (2003) pour identifier automatiquement les erreurs d’annotation, peut être utilisé pour identifier ces incohérences et évaluer leur impact sur les performances des analyseurs morpho-syntaxiques.

## introduction les performances des analyseurs morpho-syntaxiques statistiques chutent de manière significative dès qu'ils sont utilisés pour étiqueter des phrases provenant d'un domaine différent de celui sur lequel ils ont été entrainés. cette chute est généralement expliquée @xcite @xcite en supposant que la différence entre domaines se traduit par un changement de la distribution des vecteurs de caractéristiques p(x) 1 liée à une variation dans l'usage des mots, à l'augmentation du nombre de mots hors-vocabulaire, à un usage différent de la ponctuation ou de la typographie, etc. cet article défend un point de vue différent et cherche à mettre en évidence qu'un autre facteur important pour expliquer la différence entre la entre domaines est le changement de la distribution jointe p(x, y), qui découle d'incohérences dans la manière dont les corpus sont étiquetés. en effet, dans la quasi totalité des expériences d'adaptation au domaine, les ensembles de test et d'apprentissage ont été annotés de manière indépendante par des experts différents et même lorsqu'un même jeu d'étiquettes a été utilisé, les guides d'annotation ne sont pas toujours interprétés de la même manière. le tableau 1 donne plusieurs exemples foot_0 de ces divergences entre annotations. pour les particuliers , ce fut -et c' est toujours -une véritable aubaine , d' autant qu' en octobre 1989 , par peur d' une fuite de les placements dans une europe bientôt sans frontières , le gouvernement socialiste ( un comble ! ) exonéra pratiquement d' adp impôts les revenus de les sicav monétaires , admises à le revenu de ces sicav à le voisinage de 10 % : pour les particuliers , ce fut -et c' est toujours -une véritable aubaine , d' autant qu' en octobre 1989 , par peur d' une fuite de les placements dans une europe bientôt sans frontières , le gouvernement socialiste ( un comble ! ) exonéra pratiquement d' det impôts les revenus de les sicav monétaires , admises à le revenu de ces sicav à le bénéfice de la capitalisation ( voir ci -dessous ) . le marché commun de le golfe , devant déboucher vers la mise en place d' une monnaie commune , connaît aujourd'hui des retards en raison , entre autres noun de les divergences nées entre ryadh et abou dhabi , principalement à le sujet de le siège de la future banque propn centrale . le marché commun de le golfe , devant déboucher vers la mise en place d' une monnaie commune , connaît aujourd'hui des retards en raison , entre autres pron de les divergences nées entre ryadh et abou dhabi , principalement à le sujet de le siège de la future banque noun centrale . a quelques jours de le sommet de les sept grands pays industrialisés adj , de le 6 à le 8 juillet à munich , nous poursuivons la radioscopie de la situation économique de les pays riches ( le monde de les 30 juin , 1 et 2 juillet ) . a quelques jours de le sommet de les sept grands pays industrialisés verb , de le 6 à le 8 juillet à munich , nous poursuivons notre enquête sur la situation de les pays riches ( le monde de les 30 juin , 1 , 2 et 3 juillet ) . dans cet article, nous décrivons plusieurs expériences qui mettent en évidence les divergences entre annotations au sein du projet universal dependencies (désormais ud) @xcite . suivant l'approche développée par @xcite , nous montrons comment le principe de variation d'annotations (annotation variation principle) introduit par @xcite peut être utilisé pour identifier les divergences entre annotations et mesurons l'impact de cellesci sur l'évaluation des performances d'un analyseur morpho-syntaxique. nos résultats suggèrent que la performance des étiqueteurs morpho-syntaxique sur des corpus hors domaine est souvent sous-estimée. le reste de cet article est organisé de la manière suivante. nous commencerons par décrire les corpus et outils utilisés dans nos expériences ( §2). nous analyserons ensuite les résultats de deux expériences révélant des divergences d'annotations dans les corpus de l'ud ( §3), avant de quantifier leur impact sur la qualité des prédictions ( §4). de nombreux corpus de l'ud résultent d'une conversion manuelle ou semi-automatique d'un corpus existant vers le schéma d'annotation de l'ud @xcite . dans la mesure où ces annotations ou conversions ont été réalisées indépendemment par différentes équipes, le risque d'incohérences et d'erreurs lors de l'interprétation des guides d'annotation est démultiplié ; plusieurs travaux @xcite ont ainsi récemment montré que de nombreux corpus d'une même langue ne sont pas étiqueté de manière cohérente. un des principaux objectifs du présent article est de confirmer et de quantifier ces observations. analyseur morpho-syntaxique nos expériences utilisent un analyseur morpho-syntaxique à base d'historique @xcite . dans ces modèles, la prédiction d'une séquence d'étiquettes morphosyntaxiques se réduit à une succession de problèmes de classification multi-classe : les étiquettes des mots de la phrase sont prédits l'une après l'autre par un perceptron moyenné. nous utilisons un jeu de caractéristiques standard @xcite : le mot courant, les mots suivants et précédents dans une fenêtre de taille deux, les deux dernières étiquettes prédites, etc. ce modèle permet d'atteindre des performances proches de l'état de l'art tout en étant extrêmement rapide à entrainer, ce qui permet de multiplier les expériences. une description détaillée de ce modèle se trouve dans @xcite . ## évaluation hors domaine d'un analyseur morpho-syntaxique pour évaluer l'impact des erreurs d'annotation sur la qualité des prédictions d'un analyseur morphosyntaxique, nous proposons de comparer ε full , le taux d'erreur d'un analyseur estimé sur l'ensemble 8. le rapport entre le nombre d'exemples de chaque corpus peut atteindre 88. 2 3 4 5 6 10 taille du match 0 20 40 60 80 100 %match avec une erreur 53.1% 62.7% 70.7% 72.4% 73.3% 75.9% 55.2% 62.4% 66.6% 68.1% 52.5% 100.0% fr en figure 2: matchs contenant au moins une étiquette mal prédite en fonction de la taille du match. selon les jeux de données, le taux d'erreur sur l'ensemble du corpus est compris entre 5% et 15%. du corpus de test et ε ignoring le taux d'erreur estimé en ignorant les matchs. plus précisément, ε ignoring est défini de la manière suivante : ε @xmath0, après filtrage. intuitivement, ce taux d'erreur correspond à un taux d'erreur « oracle » qui serait obtenu si l'analyseur morpho-syntaxique prédisait correctement toutes les étiquettes des matchs. la figure 3 représente ces taux d'erreur pour les corpus franc ¸ais lorsque sont ignorés les matchs ne respectant pas l'heuristique disjointe, les matchs de trois mots et plus, enfin tous les matchs. supposer que les étiquettes des matchs sont correctement prédites permet de réduire de manière importante le taux d'erreur, au point que ε ignoring est souvent du même ordre de grandeur que le taux d'erreur obtenu sur un corpus du même domaine. en fait, dans plus de 43% (resp. 25%) des conditions, le taux d'erreur obtenu en ignorant les erreurs dans les matchs filtrés avec l'heuristique disjointe (resp. en fonction de la longueur du match) est inférieur au taux d'erreur obtenu sur les données du domaine. ces taux d'erreur sont naturellement sous-estimés puisque nous avons supprimé, dans ces expériences, des mots ou des structures qui étaient ambigus et dont l'étiquette est donc plus difficile à prédire. ils peuvent toutefois être considérés comme une valeur oracle de la qualité de la prédiction. pour évaluer la qualité des différentes heuristiques de filtrage considérée, nous avons manuellement vérifié tous les matchs entre le corpus d'apprentissage ud_french et le corpus de test ftb_french et corrigé les différentes incohérences et erreur d'annotation (près de 2 000 étiquettes ont été modifiées). lorsqu'il est entrainé sur le corpus d'origine, un analyseur morpho-syntaxique atteint un taux d'erreur de 6,8% sur le corpus ftb et 4,5% sur le corpus de test du même domaine. après correction, le taux d'erreur hors-domaine tombe à 5,1%. cette valeur est proche du taux d'erreur obtenu en ignorant les matchs de trois mots et plus, une observation qui valide l'heuristique considérée. ud ftb partut sequoia test 0 2 4 6 8 10 taux d'erreur (%) fr (partut) full ignoring(minsize) ignoring(disjoint) ignoring(all) ud ftb partut sequoia test 0 1 2 3 4 5 6 7 8 taux d'erreur (%) fr (sequoia) full ignoring(minsize) ignoring(disjoint) ignoring(all) ud ftb partut sequoia test 0 1 2 3 4 5 6 7 taux d'erreur (%) fr (ftb) full ignoring(minsize) ignoring(disjoint) ignoring(all) ud ftb partut sequoia test 0 1 2 3 4 5 6 taux d'erreur (%) fr (ud) full ignoring(minsize) ignoring(disjoint) ignoring(all) figure 3: taux d'erreur d'un analyseur morpho-syntaxique sur les différents corpus franc ¸ais de l'ud obtenus lorsque toutes les étiquettes des matchs sont correctement prédites. la ligne rouge représente le taux d'erreur obtenu sur un corpus de test du même domaine. ## conclusion dans ce travail, nous avons montré que, lors de l'évaluation d'un analyseur morpho-syntaxique sur des données hors-domaine, de nombreuses erreurs étaient dues à des divergence dans l'annotation des données. une méthode permettant de quantifier cette divergence a également été décrite. bien que nous n'ayons considéré que les corpus du projet ud et la tâche d'étiquetage morpho-syntaxique, la méthode décrite est très générique et peut être facilement applicable à d'autres corpus ou annotations (par exemple des annotations en dépendances), une tâche que nous aborderons dans nos futurs travaux.