Mise au point d’une méthode d’annotation morphosyntaxique fine du serbe (Developping a method for detailed morphosyntactic tagging of S erbian) (2016)

Abstract: Cet article présente une expérience d’annotation morphosyntaxique fine du volet serbe du corpus parallèle ParCoLab (corpus serbe-français-anglais). Elle a consisté à enrichir une annotation existante en parties du discours avec des traits morphosyntaxiques fins, afin de préparer une étape ultérieure de parsing. Nous avons comparé trois approches : 1) annotation manuelle ; 2) préannotation avec un étiqueteur entraîné sur le croate suivie d’une correction manuelle ; 3) réentraînement de l’outil sur un petit échantillon validé du corpus, suivi de l’annotation automatique et de la correction manuelle. Le modèle croate maintient une stabilité globale en passant au serbe, mais les différences entre les deux jeux d’étiquettes exigent des interventions manuelles importantes. Le modèle ré-entraîné sur un échantillon de taille limité (20K tokens) atteint la même exactitude que le modèle existant et le gain de temps observé montre que cette méthode optimise la phase de correction.

## introduction cette étude s'inscrit dans un projet de constitution d'un corpus parallèle serbe -français -anglais, doté d'annotations morphosyntaxiques et syntaxiques de qualité, parcolab @xcite , susceptible d'être exploité en tant que corpus de référence pour des expériences en étiquetage morphosyntaxique et en parsing ainsi que pour des études linguistiques. le travail que nous décrivons se focalise sur le volet serbe de ce corpus, dont un échantillon de 150k tokens dispose d'une annotation en parties du discours et en sous-catégories, détaillée dans @xcite . nous utilisons cet échantillon comme point de départ pour le développement d'un corpus d'entraînement pour le parsing. cette deuxième phase nécessite d'enrichir l'annotation existante. en effet, le serbe, comme toutes les langues slaves, manifeste un ordre de constituants très flexible et les fonctions syntaxiques sont en grande partie encodées dans les indices morphosyntaxiques. par conséquent, la partie du discours et sa sous-catégorie constituent des informations insuffisantes pour permettre à un parser de dériver des règles d'analyse syntaxique fiables. notre objectif est donc d'enrichir le corpus de traits morphosyntaxiques plus fins avant d'aborder l'analyse syntaxique. malgré des développements récents, le serbe reste une langue relativement peu dotée en ressources et outils pour le traitement automatique. si quelques corpus annotés ont été créés @xcite @xcite , ils sont encore difficiles d'accès ou peu adaptés à l'entraînement d'outils. la situation est comparable en ce qui concerne les outils. ainsi, @xcite mentionnent alfanum pos tagger de sečujski (2009), mais il ne semble pas librement accessible. à notre connaissance, le seul étiqueteur statistique consacré au serbe est btagger @xcite , mais les tests que nous avons réalisés ont montré que sa vitesse d'exécution était insuffisante. nous nous sommes donc intéressés au modèle de hunpos @xcite pour le croate, développé par @xcite . les auteurs signalent que ce modèle, entraîné seulement sur des données croates, annote des textes serbes avec une exactitude très proche (87% pour le croate vs 85% pour le serbe), ce qui s'explique par la proximité prononcée de ces deux langues foot_0 . notre objectif est de dégager une méthode optimale pour l'enrichissement de ce corpus serbe en traits morphosyntaxiques, le critère retenu étant le temps nécessaire à l'obtention d'un corpus étiqueté validé. la première approche, l'annotation manuelle, sert de point de comparaison pour étudier le gain apporté par le recours à une pré-annotation automatique avec hunpos. nous avons testé cet outil selon deux modalités : tout d'abord, nous avons expérimenté l'utilisation du modèle d' @xcite , entraîné sur le croate, suivie d'une phase de correction manuelle ; dans un deuxième temps, nous avons ré-entraîné le même outil sur le corpus corrigé et appliqué ce nouveau modèle sur de nouveaux textes, avant de soumettre l'annotation produite à la correction manuelle. nous décrivons dans les trois sections suivantes les différentes expériences menées et les résultats obtenus, avant de dégager les conclusions de ce travail et les pistes de prolongement. ## etablissement du jeu d'étiquettes et annotation manuelle pour effectuer l'annotation morphosyntaxique, nous avons établi un jeu de 910 étiquettes. ce jeu a été construit sur une double base : le traitement des parties du discours a été repris de l'annotation existante, décrite dans @xcite , avec un ajout des traits morphosyntaxiques utilisés dans le jeu d'étiquettes pour le serbe du projet multext-east @xcite . le jeu d'étiquettes final ne reprend cependant pas toutes les propriétés présentes dans le jeu de multext-east : la priorité a été accordée aux traits les plus à même d'avoir un rôle au niveau syntaxique (cf. ## annotation avec le modèle croate pour hunpos pour effectuer une pré-annotation automatique de l'échantillon, nous avons sélectionné hunpos de @xcite . à notre connaissance, cet étiqueteur n'a pas été entraîné sur le serbe, mais un modèle pour le croate a été développé par @xcite . ce modèle a été entraîné sur un corpus journalistique de 87k tokens (setimes.hr, ibid). annotation avec le modèle ré-entraîné de hunpos nous avons cherché à augmenter le gain de vitesse de correction de l'annotation produite avec le modèle d'agić et al. (2013) en testant une nouvelle piste : se servir des 20k tokens validés pour réentraîner hunpos et utiliser le modèle obtenu pour pré-annoter un nouvel échantillon de texte. l'apprentissage a été effectué dans les mêmes conditions que pour le modèle croate : aucune ressource externe n'a été utilisée. notre inquiétude principale était qu'un échantillon de cette taille ne serait pas suffisant pour entraîner un modèle aussi performant que le modèle existant, à fortiori sur un jeu d'étiquettes étendu. nous avons donc évalué le modèle ré-entraîné aussi bien du point de vue de ses performances (évaluation quantitative), que de ses effets sur les temps de correction. ## conclusions et pistes nous avons présenté une démarche pour l'annotation morphosyntaxique riche d'un corpus serbe, fondée sur 3 principes : 1) la mise au point d'un nouveau jeu d'étiquettes enrichi, conçu pour faciliter la phase ultérieure de parsing ; 2) l'exploitation d'un modèle croate, langue typologiquement très proche du serbe, pour une pré-annotation automatique initiale afin d'accélérer l'annotation manuelle, et 3) le ré-entraînement d'un modèle sur un échantillon validé du corpus afin de minimiser le besoin d'intervention manuelle dans la phase de correction. les résultats présentés confirment la stabilité globale du modèle de hunpos pour le croate @xcite lors du passage au serbe, même si une baisse d'exactitude a été constatée. la préannotation avec ce modèle a apporté une accélération du traitement de tokens de 24% par rapport à l'annotation manuelle intégrale. après validation, un échantillon de cette annotation a été utilisé pour ré-entraîner hunpos. les résultats obtenus (exactitude moyenne de 78,82%) montrent que, malgré la richesse du jeu d'étiquettes utilisé, il est possible d'entraîner un modèle statistique de manière satisfaisante à partir d'un corpus annoté de taille réduite, notamment pour la tâche en question : la pré-annotation automatique avec le modèle ré-entraîné apporte un gain très important en temps par rapport à l'annotation manuelle intégrale (60% pour un annotateur expérimenté, et plus de 300% pour un annotateur novice). dans l'immédiat, ce travail nous a permis d'entamer le cycle de bootstrapping : nous avons annoté un nouvel échantillon de 20k tokens, dont la correction est en cours. ces tokens seront ensuite joints à l'échantillon initial pour un nouveau cycle d'entraînement et d'évaluation. cette augmentation du corpus d'entraînement devrait permettre d'améliorer les performances de l'outil et de faciliter la correction manuelle. grâce à cette méthode, nous pourrons atteindre plus rapidement l'objectif global, à savoir l'annotation de la totalité du volet serbe en traits morphosyntaxiques indispensables au démarrage du parsing.