Adaptation au domaine pour l’analyse morpho-syntaxique (Domain Adaptation for P o S tagging) (2017)

Abstract: Ce travail cherche à comprendre pourquoi les performances d’un analyseur morpho-syntaxiques chutent fortement lorsque celui-ci est utilisé sur des données hors domaine. Nous montrons à l’aide d’une expérience jouet que ce comportement peut être dû à un phénomène de masquage des caractéristiques lexicalisées par les caractéristiques non lexicalisées. Nous proposons plusieurs modèles essayant de réduire cet effet.

## introduction l'étiquetage morpho-syntaxique (pos tagging) est une tâche qui est généralement considérée comme résolue : à partir du moment où suffisamment de données du domaine considéré sont disponibles, les performances des méthodes statistiques sont telles que les seules erreurs de prédiction restantes résultent d'erreurs d'annotation ou de cas particulièrement ambigus @xcite . pourtant dès que l'on change de domaine ou de type de documents, les performances chutent de manière spectaculaire @xcite . les raisons généralement avancées pour expliquer cette chute sont l'augmentation du nombre de mots hors vocabulaire (hv) qui n'ont jamais été observés sur le corpus d'apprentissage et l'incapacité des modèles statistiques à généraliser les connaissances extraites du corpus d'apprentissage à ceux-ci @xcite . l'objectif de ce travail est de fournir une première explication de cette observation : nous montrons par plusieurs expériences, qu'une raison possible peut être liée à un phénomène de masquage des caractéristiques non lexicalisées (robustes au changement de domaine mais avec un faible pouvoir prédictif) par les caractéristiques lexicalisées (permettant d'obtenir de très bonnes performances sur des données du même domaine, mais avec un faible pouvoir de généralisation). nous proposons et évaluons également plusieurs méthodes cherchant à limiter cet effet. ## évaluation hors domaine d'un analyseur morpho-syntaxique nos expériences utilisent un analyseur morpho-syntaxique à base d'historique @xcite . dans ces modèles, la prédiction d'une séquence d'étiquettes morpho-syntaxiques est modélisée sous la forme d'une suite de problèmes de décision, consistant chacun à prédire l'étiquette d'une observation. chaque décision est prise par un classifieur multi-classe utilisant comme descripteurs des informations extraites de la structure d'entrée, ainsi que les décisions prises antérieurement. nous utilisons, dans toutes nos expériences, un perceptron moyenné comme classifieur multi-classe @xcite . les caractéristiques utilisées sont décrites dans le tableau 1 1 . ce sont des caractéristiques simples et indépendantes de la langue qui sont, à notre connaissance, utilisées dans tous les étiqueteurs morpho-syntaxiques. une description détaillée de ce modèle est présentée dans @xcite . pour mesurer l'impact du changement de domaine sur les performances de l'analyse morphosyntaxique, nous avons mené une série d'expériences sur le français. les paramètres de l'analyseur sont estimés sur le corpus d'apprentissage du projet ud 2 qui a pour objectif de fournir, pour de nombreuses langues, des corpus annotés en pos, morphologie et dépendances dans un schéma commun. ses performances sont évaluées sur un corpus du domaine (la partie test du corpus ud) ainsi que sur quatre corpus hors domaine : -deux corpus de contenu généré par des utilisateurs (user generated content, ugc) collectés sur les forums de discussion du site marmiton 3 et du jeu minecraft 4 . la collecte et l'analyse de ces corpus sont présentées dans (martínez alonso et al., 2016). -deux corpus de tweets, un parlant de football, foot et l'autre de catastrophe naturelle, natdis. ces deux corpus sont décrits plus précisément dans (adda et al., 2017). ces corpus diffèrent du corpus d'apprentissage sur plusieurs points : ils sont composés de phrases marmiton que faire de facile avec un reste de boeuf pour une fondue ? ? ? qu' avez -vous dans le vôtre ? minecraft tu fais kit artisan apr'es tu veux alli sale noob de azarid ... foot ça va faire un petit juventus -barça , excellent aha ça c' est de l' attaque ! la bbc #halamadrid #realmadrid http ://t.co/icknogm9mf natdis a lire #liban une vague de chaleur exceptionnelle frappe le liban , 40 degrés à midi http ://t.co/modwsrreat au @radiojournal_rc 7h un nouveau tremblement de terre sème la terreur au népal http ://t.co/uptzpytq0q comme on pouvait s'y attendre, changer de domaine a un fort impact négatif sur la qualité de la prédiction : l'analyseur réalise entre 2 et 4 fois plus d'erreurs sur les corpus hors domaine que sur le test du domaine. pour mieux comprendre l'impact du changement de domaine, nous proposons d'évaluer, les performances de l'analyseur sur différents types de mots : ## l'effet de masquage des caractéristiques lexicalisées il est surprenant que les performances sur les mots hv soient beaucoup plus faibles que celles sur les mots observés en apprentissage. il est bien connu que, pour l'analyse morpho-syntaxique, la caractéristique la plus utile est la connaissance du mot, puisque la plupart des mots ne sont pas ou peu ambigus. ainsi, sur le corpus ud, un analyseur prédisant l'étiquette la plus fréquente associée à chaque mot ne fait que 11.0% d'erreur, les mots hv étant considérés comme des erreurs. toutefois, les modèles de l'état de l'art comportent tous des caractéristiques décrivant la structure (étiquettes voisines) et une approximation plus ou moins grossière de la « morphologie » des mots (à minima les suffixes et préfixes), afin d'être capable de généraliser les observations faites sur le corpus d'apprentissage aux mots hv. par exemple, un mot inconnu se trouvant entre un déterminant (une) et un nom (voiture) sera très probablement un adjectif 7 ; les caractéristiques de forme aident à prédire qu'un mot se terminant en -ment sera très certainement un adverbe. les résultats présentés dans le tableau 3 montrent que ces caractéristiques n'arrivent pas à jouer leur rôle. nous faisons l'hypothèse que cela est la conséquence du très fort pouvoir prédictif des caractéristiques lexicalisées : comme expliqué dans le paragraphe précédent, connaître le mot dont on cherche à prédire l'étiquette permet de déterminer celle-ci de manière quasi déterministe et, l'on peut supposer qu'il suffit d'observer une fois un mot pour « retenir » l'étiquette qui lui est associée. mais, une fois que l'étiquette d'un mot est correctement prédite (ce qui est, à priori, possible à partir d'une unique caractéristique lexicale), celui-ci ne participe plus à l'apprentissage puisque dans les modèles à base de correction d'erreur, comme le perceptron, les paramètres ne sont mis-à-jour lorsqu'une prédiction est erronée et dans les modèles maximisant la vraisemblance (log-loss), comme les réseaux neuronaux ou les crf, la norme du gradient est proportionnelle à l'erreur. l'estimation du poids des autres caractéristiques sera alors moins fiable, puisqu'étant moins souvent mis à jour, leur variance sera plus grande. tout se passe comme si les caractéristiques lexicales masquaient les autres. une observation similaire a été faite par @xcite qui en faisant le lien avec le phénomène explaining-away @xcite , montre comment certaines caractéristiques peuvent être ignorées lors de l'apprentissage. les expériences menées par (pécheux et al., 2015) mettent également en évidence 7. cela pourrait également être un nom comme dans « un chien voiture » ce phénomène en étudiants l'impact de contraintes appliquées lors de l'apprentissage d'un analyseur morpho-syntaxique. pour confirmer cette hypothèse, nous proposons l'expérience jouet suivante : est-il possible d'identifier si un mot se terminant en -ent est un verbe (conjugué à la troisième personne du pluriel) ou un adverbe, à partir de la connaissance du mot et de l'étiquette du mot précédent ? en réduisant le nombre de caractéristiques et d'étiquettes, nous espérons limiter les interactions entre caractéristiques et obtenir des modèles plus facilement interprétables. plus précisément, nous extrayons des corpus ud et spmrl (seddah et al., 2013) français tous les mots se terminant en -ent ainsi que l'étiquette (oracle) du mot précédent. ces mots sont des verbes, des noms, des adjectifs ou des adverbes. nous considérons ensuite deux perceptrons moyennés essayant d'identifier ces classes à partir de deux jeux de caractéristiques différents : le premier considère des caractéristiques lexicalisées (l'étiquette du mot précédent et le mot courant), le second uniquement des caractéristiques non lexicalisées (l'étiquette du mot précédent). les résultats, présentés ## méthode d'adaptation au domaine nous proposons dans cette section deux améliorations de notre analyseur morpho-syntaxique visant à améliorer les performances de celui-ci sur des données hors domaine. méthodes la première méthode, spec, repose sur une spécialisation du perceptron utilisé dans notre analyseur morpho-syntaxique. elle consiste simplement à utiliser deux perceptrons différents pour prendre les décisions successives lors de l'inférence : un premier classifieur, utilisant l'ensemble des caractéristiques de la évaluation expérimentale les résultats de ces deux approches sont décrits dans le tableau 5. aucun des méthodes proposées ne parvient à réduire significativement l'impact du changement de domaine. de manière plus surprenante, sur plusieurs corpus, les résultats obtenus par les approches proposées sont très proches de ceux obtenus par un simple perceptron. nous pensons que cette observations peut-être liées à deux raisons : i) des différences systématiques dans la préparation (p. ex. la segmentation en mots) et l'annotation des données, une hypothèse également étudiée par @xcite ii) une mauvaise compréhension ou modélisation des caractéristiques robustes au changement de domaine (p. ex. est-ce que la structure des phrases est conservée lors du changement de domaine). nous menons actuellement des expériences pour mettre en évidence l'impact de ces deux raisons.