Transformation d’annotations en parties du discours et lemmes vers le format U niversal D ependencies : étude de cas pour l’alsacien et l’occitan (Converting POS -tag and Lemma Annotations into the U niversal D ependencies Format : A Case Study on A lsatian and O ccitan ) (2019)

Abstract: Cet article présente un retour d’expérience sur la transformation de corpus annotés pour l’alsacien et l’occitan vers le format CONLL-U défini dans le projet Universal Dependencies. Il met en particulier l’accent sur divers points de vigilance à prendre en compte, concernant la tokénisation et la définition des catégories pour l’annotation.

## introduction les langues régionales de france sont à l'heure actuelle encore largement sous-dotées en ressources linguistiques, qu'il s'agisse de corpus, bruts ou annotés, ou de ressources lexicales comme des lexiques flexionnels ou des dictionnaires bilingues. nous nous intéressons dans cet article à l'alsacien et à l'occitan qui, bien que se trouvant dans des situations différentes (famille linguistique, vitalité, ressources existantes), font face à des défis communs. en effet, le développement de ressources et d'outils pour les langues peu dotées nécessite une approche pragmatique qui prend en compte les faibles moyens financiers et humains généralement disponibles. ainsi, @xcite ont énoncé un ensemble de principes mettant l'accent sur la coopération, l'utilisation de standards internationaux, la réutilisation d'approches et de ressources existantes, le partage des ressources et outils produits dans des formats ouverts. dans cet article nous montrons comment nous avons repris ces divers principes à notre compte pour le développement de corpus annotés en parties du discours (pos) et lemmes dans le format conll-u foot_0 défini dans le projet universal dependencies (ud) @xcite , pour l'alsacien et l'occitan. le choix du format conll-u répond à au moins deux des principes énoncés par @xcite : utilisation de standards et réutilisation d'approches existantes. par ailleurs, les dialectes alsaciens et l'occitan ne sont pour l'heure pas représentés dans les corpus universal dependencies. nous souhaitons pouvoir combler ce manque en partageant les ressources annotées produites avec une licence libre. cet objectif respecte deux autres principes de @xcite , à savoir le partage des ressources sur une plateforme pérenne et avec une licence libre, et permet en outre de donner une meilleure visibilité à ces langues. par ailleurs, le format conll-u peut être utilisé directement pour entraîner divers outils (par exemple, spacy foot_1 ou udpipe @xcite ), ce qui constitue également un atout pour les langues disposant de peu de moyens pour développer de nouveaux outils. nous mettons aussi l'accent sur divers points de vigilance qui sont à prendre en compte lors du passage de corpus annotés vers le format connl-u et le jeu d'étiquettes morphosyntaxiques définies dans le projet universal dependencies. nous souhaitons ainsi que ce retour d'expérience puisse servir pour d'autres langues, et notamment des langues peu dotées. même si ce travail a déjà été réalisé pour d'autres langues mieux dotées, cela ne le rend pas trivial pour autant, et ce d'autant plus que les comptes rendus de ce type d'expériences ont peu été publiés. certains corpus sont directement annotés en suivant les catégories pré-définies dans universal dependencies, comme par exemple le corpus komi-zyriène produit par le lattice pour des besoins d'évaluation @xcite . cependant, d'autres standards existent, comme par exemple le standard grace @xcite , lui-même dérivé des jeux d'étiquettes multext @xcite . ils ont été très largement employés pour l'annotation de multiples corpus dans plusieurs langues, dont l'occitan, l'une des langues étudiées dans cet article (cf. section 3). de nombreux corpus ud ont ainsi été produits par transformation semi-automatique à partir de corpus étiquetés et arborés existants, à l'aide notamment de tables de conversion entre jeux d'étiquettes foot_2 . cela étant, ce processus de conversion peut être plus complexe et nécessiter des opérations supplémentaires. nous nous intéressons ici plus particulièrement aux étapes de découpage en tokens et à l'annotation en lemmes et parties du discours qui concernent directement les travaux présentés dans cet article. concernant ces aspects, chun et al. @xcite décrivent le processus pour trois corpus arborés du coréen. la transformation vers le format ud version 2.0 a nécessité un redécoupage en tokens de l'un des corpus, pour les tokens incluant des signes de ponctuation et des symboles. pour les deux autres corpus, des tables de correspondance ont été établies entre les étiquettes morphosyntaxiques existantes et celles du projet ud. @xcite décrivent le processus de conversion vers ud d'un corpus de tweets en italien. certains tokens ont dû être redécoupés, à savoir les contractions préposition-article et verbe-clitique et un certain nombre de lemmes ont été ajoutés manuellement, car ne pouvant faire l'objet d'une lemmatisation automatique. les formes non standards (mots étrangers ou dialectaux, formes tronquées ou amalgamées) ont été étiquetées avec la catégorie x. les objectifs d'annotation unifiée à travers les langues du projet ud posent bien évidemment divers problèmes qui ont été soulignés à plusieurs reprises. l'annotation en relations de dépendance syntaxique impose un découpage particulier en tokens (voir @xcite pour une discussion de ces choix). certains mots orthographiques, tels que produits généralement par les outils de tokénisation, doivent être découpés en plusieurs unités. c'est notamment le cas pour les formes contractées ou des formes non standard, que l'on peut trouver dans les contenus produits par les utilisateurs sur le web @xcite . ce découpage particulier en tokens a d'ailleurs été un des problèmes auxquels nous avons été confrontées (voir section 4). par contre, l'annotation en lemmes et parties du discours est moins problématique en raison de la flexibilité du format. nous avons tout de même choisi de ne pas respecter systématiquement les définitions proposées pour chaque partie du discours en raison des spécificités des langues traitées (voir section 5.3). ## jeux d'étiquettes originaux pour l'alsacien et l'occitan les jeux d'étiquettes originaux relèvent de deux situations différentes : celui utilisé pour les dialectes alsaciens était déjà très proche des universal pos tags car s'en inspirant fortement, tandis que celui de l'occitan s'inspirait des catégories plus nombreuses de grace @xcite . en plus des parties du discours, d'autres informations ont également été ajoutées lors de l'annotation : le lemme et sa traduction en français, ainsi que les noms de lieux. ces annotations supplémentaires permettent de constituer directement des lexiques bilingues à partir des corpus, et d'évaluer l'annotation en entités de type lieu. les corpus annotés sont de taille sensiblement similaire pour les deux langues : environ 12 600 tokens pour l'alsacien et 11 900 pour l'occitan @xcite . les catégories initiales pour l'alsacien sont très proches des catégories proposées dans ud, respectant ainsi le principe de réutilisation soutenu par @xcite . il existe peu de descriptions linguistiques détaillées de la morphosyntaxe de l'alsacien et il nous semblait donc plus réaliste de partir d'un nombre limité de catégories bien décrites, compte tenu également du temps limité et des moyens à disposition. nous avons toutefois ajouté les catégories suivantes aux 17 catégories ud (bernhard et al., 2018b) : epe pour les épenthèses (insertions de sons pour faciliter l'articulation), apprart pour les contractions préposition + article, mod pour les modaux et fm pour les mots d'une autre langue (souvent le français). le cas des épenthèses est discuté dans la section 5.2 et celui des contractions le sera dans la section suivante. les catégories mod et fm ont été ajoutées car relativement claires et simples à annoter à ce stade. pour l'occitan, deux ressources ont été produites : loflòc, lexique de formes fléchies @xcite puis un corpus annoté en catégories morphosyntaxiques, avec un même jeu d'étiquettes, adapté du standard grace @xcite . les étiquettes grace peuvent être interprétées comme des étiquettes à 3 niveaux. le premier niveau d'étiquette permet d'indiquer la catégorie grammaticale des formes fléchies, de classer les signes de ponctuation (f) et les formes attestées dont la classification n'a pas encore été réalisée (x). le deuxième niveau propose une classification sémantique ou fonctionnelle spécifique à chaque catégorie de niveau 1. le troisième niveau concerne les informations morphosyntaxiques flexionnelles, telles le genre, le nombre, la personne, le temps verbal, etc. des modifications ont été apportées par rapport au jeu d'étiquettes grace. par exemple, l'ajout, pour les verbes, d'un attribut "form" pouvant prendre les valeurs positif/négatif afin d'annoter l'impératif négatif de l'occitan dont la forme se distingue de celle de l'impératif positif. une description détaillée du jeu d'étiquettes est disponible dans le guide d'annotation @xcite . dans la version actuelle du corpus, nous retenons les deux premiers niveaux d'étiquettes (le pos et la sous-catégorie sémantique ou fonctionnelle, cf. figure 1 ), ce qui donne un jeu de 40 étiquettes au total ; ces annotations ont été corrigées manuellement après une première annotation automatique. le corpus a également été étiqueté en informations flexionnelles, mais cette couche d'information, produite de manière automatique, n'a pas encore été validée par des annotateurs humains. ceci fait partie des pistes pour la suite du travail. le choix de ce jeu d'étiquettes est principalement motivé par le fait d'exploiter des ressources existantes pour l'occitan (le lexique mentionné ci-dessus), mais aussi pour d'autres langues proches, notamment pour le français (cf. ftb @xcite , construit en utilisant les mêmes standards) et pour le catalan (cf. ancora-ca @xcite , fondé sur des principes similaires). pour rendre nos corpus compatibles avec les exigences du projet ud, il a été nécessaire d'intervenir à deux niveaux : il a fallu adapter le découpage en tokens (cf. section 4) et ensuite convertir l'annotation morphosyntaxique vers le jeu d'étiquettes ud (cf. section 5). le travail s'est ici partagé entre les deux équipes spécialistes de l'alsacien et de l'occitan, pour les questions plus linguistiques, et la réalisation pratique a été supervisée par le limsi concernant la mise en oeuvre des scripts de conversion et de vérification. ce partage du travail a permis une mise en commun des solutions aux problèmes rencontrés, garantissant ainsi une meilleure qualité aux ressources produites. ## transformation vers ud : segmentation en tokens comme il a été mentionné dans la section 2, le guide de tokénisation ud pose des exigences spécifiques foot_3 . tout d'abord, il considère comme unité textuelle de base un token syntaxique et non pas orthographique. cela implique, par exemple, la séparation des formes contractées préposition + article, présentes aussi bien en alsacien qu'en occitan. en même temps, le projet proscrit les mots « multi-tokens » (incluant des espaces) et les expressions polylexicales (multiword expressions) sont systématiquement traitées par l'annotation syntaxique plutôt que par la tokénisation, sauf dans quelques cas exceptionnels. ## conclusion et perspectives nous avons présenté un retour d'expérience sur la transformation de deux corpus annotés en alsacien et occitan vers le format ud. notre travail de réflexion sur l'annotation a démarré au moment de la publication de ud v1 @xcite . entre temps, le projet ud a pris de l'ampleur, et une version 2 des recommandations a été publiée. il nous a donc semblé opportun de transformer nos corpus annotés vers le format préconisé par ud, pour des questions de visibilité et de partage de nos ressources, ainsi que pour aborder l'étape suivante de l'analyse syntaxique en s'appuyant sur les travaux réalisés dans des langues proches dans le cadre de ud. comme nous l'avons montré dans l'article, une telle transformation peut poser divers problèmes, qui sont plus ou moins simples à résoudre. il faut tout d'abord souligner le travail de réflexion qui est nécessaire en amont de la transformation. la transformation des corpus d'origine a été réalisée de manière essentiellement automatique et semi-automatique pour partie (nouveau découpage en tokens notamment). ce travail sur des langues peu dotées n'aurait pu être réalisé sans une réelle coopération entre diverses équipes, dotées de compétences complémentaires, ce qui permet de gagner en efficacité. en effet, le travail en parallèle sur plusieurs langues a permis de profiter des expériences réalisées sur d'autres langues. les problèmes qui se posent très vite sur une langue permettent une vigilance accrue à ce sujet dans une autre langue. par ailleurs, les outils développés peuvent être réutilisés (scripts de conversion et de vérification notamment). une première version de nos corpus au format conll-u est disponible @xcite . dans l'avenir, les informations manquantes seront également ajoutées : informations sur les propriétés lexicales et grammaticales des mots et relations syntaxiques. pour l'occitan, l'annotation en dépendances est en cours dans le cadre du projet linguatec.