Production automatique de gloses interlinéaires à travers un modèle probabiliste exploitant des alignements (2023)

Abstract: La production d’annotations linguistiques ou gloses interlinéaires explicitant le sens ou la fonction de chaque unité repérée dans un enregistrement source (ou dans sa transcription) est une étape importante du processus de documentation des langues. Ces gloses exigent une très grande expertise de la langue documentée et un travail d’annotation fastidieux. Notre étude s’intéresse à l’automatisation partielle de ce processus. Il s’appuie sur la partition des gloses en deux types : les gloses grammaticales exprimant une fonction grammaticale, les gloses lexicales indiquant les unités de sens. Notre approche repose sur l’hypothèse d’un alignement entre les gloses lexicales et une traduction ainsi que l’utilisation de Lost, un modèle probabiliste de traduction automatique. Nos expériences sur une langue en cours de documentation, le tsez, montrent que cet apprentissage est effectif même avec un faible nombre de phrases de supervision.

## introduction dans leur travail de documentation des langues, les linguistes de terrain produisent différentes strates d'annotations linguistiques des données orales collectées. ces annotations permettent d'étudier plus en détail la langue et de préparer la production de dictionnaires ou de grammaires. la figure 1 illustre ces différentes strates d'annotations appliquées à la transcription phonétique de l'enregistrement d'une phrase isolée. la phrase s dans la langue source étudiée (ici le tsez) est segmentée en deux niveaux : les unités lexicales sont séparées par des espaces et les morphèmes sont indiqués par les tirets au sein d'un mot. une seconde étape d'annotation consiste à renseigner le sens ou la fonction grammaticale de chaque morphème. ce niveau d'annotation est appelé glose interlinéaire (g sur la figure 1 ). nous distinguons deux catégories de gloses sur la ligne g' : les gloses grammaticales, telles que lat, indiquent la fonction du morphème ; les gloses lexicales (comme forest) expriment le sens du morphème, en utilisant un concept dans une langue de documentation (ici l'anglais). enfin, une traduction t accompagne chaque phrase. si les phrases sources et leurs traductions peuvent être recueillies simultanément sur le terrain, elles ne sont glosées qu'ultérieurement lors d'étapes d'analyse. elles sont ainsi coûteuses à obtenir et exigent une grande expertise et un fastidieux travail d'annotation manuelle. il n'est alors pas surprenant d'observer que les ressources complètement annotées soient peu nombreuses au regard du volume d'enregistrements bruts @xcite . notre objectif est ici d'étudier comment une partie de ce processus pourrait être automatisé, en effectuant une pré-annotation qui serait ensuite révisée par des annotateurs. en effet, les phénomènes complexes, qui, souvent, intéressent davantage les linguistes, ne sont pas les plus fréquents ; une automatisation pourrait être bénéfique pour traiter les cas les plus courants. elle permettrait également d'améliorer la cohérence et la vitesse de l'annotation en gloses @xcite . la tâche que nous considérons consiste alors à calculer des gloses (g) à partir de la phrase source segmentée en morphèmes (s) et de sa traduction (t). cette tâche soulève un grand nombre de difficultés, comme la faible quantité de phrases disponibles pour superviser cette annotation. de plus, si la variété de gloses grammaticales est en nombre fini (s'apparentant alors à une tâche d'étiquetage classique), les gloses lexicales sont, par nature, en nombre quasi illimité. enfin, malgré certaines conventions partagées (comme les leipzig glossing rules foot_0 @xcite ), ces annotations s'appuient sur une interprétation linguistique, toujours sujette à des variations inter-et intra-personnelles. face à ces constats, la production automatique de gloses pour les langues en cours de documentation a été abordée de différentes manières, principalement sous l'angle d'un étiquetage de séquences impliquant plusieurs étapes @xcite @xcite . une approche classique repose sur l'utilisation de champs markoviens conditionnels (conditional random field, crf) @xcite . par exemple, (mcmillan-major, 2020) emploie deux crf : l'un pour prédire les gloses depuis la phrase source, un autre depuis la phrase traduite. les deux prédictions sont ensuite combinées afin d'obtenir la prédiction finale. @xcite met en oeuvre une approche neuronale, considérant les deux entrées (phrases source et cible) comme séparées dans leur architecture. ces approches illustrent les diverses solutions imaginées pour aborder le principal défi de la tâche de génération de gloses : le problème posé par l'inventaire des gloses lexicales. pour y répondre, nous supposerons qu'il est possible de dériver les gloses lexicales de la traduction. cette hypothèse permet de circonscrire l'ensemble des étiquetages d'une phrase donnée lors de l'entraînement et de l'inférence d'un modèle probabiliste, qui pourra alors prendre en charge un ensemble arbitraire d'étiquettes. dans la section 2, après avoir formalisé la tâche, nous discutons du calcul de ces alignements, puis de leur considération dans un modèle de glose automatique. la section 3 présente les résultats obtenus sur le tsez, une langue déjà utilisée dans @xcite al., 2020) foot_1 . 2 un modèle probabiliste pour les gloses interlinéaires 2.1 formalisation du problème considérons tout d'abord la ligne g' de la figure 1. son calcul peut se formaliser comme une tâche d'étiquetage de séquence classique, où chaque morphème source est associé à une étiquette binaire : lex ou gram. pour ce faire, une méthode standard est d'utiliser un crf qui modélise : il est possible d'étendre ce modèle pour prédire chaque glose grammaticale plutôt qu'une seule étiquette (gram). ce changement implique un accroissement du nombre d'étiquettes possibles et de l'espace de recherche. les calculs associés restent en effet réalisables même lorsque l'on considère plusieurs centaines d'étiquettes @xcite . cette méthode est utilisée dans des travaux précédents de prédiction de gloses par @xcite @xcite . une fois les étiquettes grammaticales prédites par un crf, les gloses lexicales (toutes regroupées sous l'étiquette lex) sont annotées manuellement. calcul des gloses lexicales la prise en charge des gloses lexicales se heurte au problème de leur nombre et inventaire, non fixés au préalable. deux hypothèses sont alors possibles : h1 : considérer que seules les gloses lexicales observées à l'entraînement sont possibles, ce qui permet de spécifier globalement y, dont la taille pourra toutefois poser problème ; h2 : supposer que les gloses lexicales peuvent également être déduites de la traduction, dans laquelle on peut s'attendre à retrouver les mêmes concepts évoqués. cette hypothèse est notamment explorée par @xcite . sous l'hypothèse [h2], que nous adoptons également ici, gloser revient à prédire, pour chaque morphème, soit une étiquette grammaticale, soit un mot de la traduction (plus précisément, son lemme). [h1] et [h2] ne sont pas complètement exclusives et il est aussi possible d'inclure (certains) des mots observés à l'entraînement, même s'ils n'apparaissent pas dans la traduction. ceci s'avère en particulier nécessaire, comme dans l'exemple 1, car les gloses lexicales comme god ou belt ne peuvent pas être déduites de la seule traduction (même en explorant les synonymes). l'utilisation d'un lexique complémentaire permet donc d'associer une glose lorsque celle-ci ne figure pas dans la traduction. la figure 2 illustre notre formalisation pour la phrase de l'exemple 1. gloses grammaticales dem2.iisg.obl lat poss.ess gen1 ... iii pst.unw erg source sidaquł yiła r ciq q allah s ašuni b ukad n traduction one day she saw a rainbow in the forest mots additionnels éventuels (dictionnaire) ... god belt ... figure 2 -illustration du calcul de gloses pour la phrase de l'exemple 1. la partie supérieure contient les gloses grammaticales ; la partie inférieure, un alignement partiel entre la source et la traduction, ainsi que les mots supplémentaires (issus d'un dictionnaire). mettre en oeuvre un modèle probabiliste inspiré de (1) demande de résoudre plusieurs problèmes : (a) définir les étiquetages possibles pour une phrase source donnée en exploitant les mots de la traduction et les gloses du corpus d'apprentissage, tout en prenant soin de contraindre l'espace de recherche associé pour que le calcul de z θ reste faisable ; (b) définir les étiquetages de référence pour superviser l'apprentissage, car les alignements entre source et traduction ne sont pas observés ; (c) celui de définir l'ensemble des étiquetages possibles à l'inférence. notre approche propose des réponses à chacun de ces problèmes. pour le problème (a), nous utilisons une spécification locale (phrase par phrase) de y incluant : les lemmes de la traduction, les gloses lexicales non-présentes dans la traduction, des associations fréquentes listées dans un dictionnaire. pour ce qui concerne le problème (b), nous exploitons des alignements déterministes obtenus avec simalign (section 2.2) pour superviser l'apprentissage (cf. figure 2 ). enfin, pour (c), nous augmentons à l'inférence l'espace de recherche avec d'autres mots-candidats, en nous basant sur un dictionnaire issu des données d'entraînement. notre implémentation s'inspire de lost @xcite , un modèle probabiliste conçu pour la traduction automatique, qui permet de spécifier localement l'espace de recherche associé à un modèle globalement normalisé (section 2.3). ## conclusion dans cet article, nous avons présenté une nouvelle approche pour aborder la tâche de génération automatique de gloses linéaires. d'une part, après avoir validé l'hypothèse que les gloses lexicales sont le plus souvent présentes dans les traductions, nous avons utilisé des alignements automatiques pour superviser l'apprentissage d'un modèle de glose, en complétant éventuellement avec un dictionnaire. d'autre part, nous avons eu recours à une extension du modèle crf, lost, permettant de restreindre et sélectionner les gloses lexicales possibles pour une phrase donnée. dans nos conditions expérimentales, nous parvenons alors à surpasser le modèle de base avec 1 000 phrases d'entraînement, l'apprentissage améliorant en particulier les gloses grammaticales. ces résultats sous-estiment la qualité des gloses automatiques, du fait de la mesure considérée : pour quantifier cette sous-estimation, nous prévoyons de réaliser un alignement manuel entre source et traduction, afin de disposer de références qui correspondent exactement au problème d'apprentissage traité. pour le futur, plusieurs pistes sont explorées, en particulier l'utilisation des jeux de caractéristiques plus riches et l'exploration des manières alternatives de construire l'espace de recherche pour l'étiquetage. il serait par exemple intéressant d'exploiter également des alignements entre mots/morphèmes grammaticaux (en source et en cible) qui pourraient aider à mieux localiser les morphèmes pleins qui leur sont proches. pour améliorer l'apprentissage, il est aussi envisagé de relâcher les contraintes découlant de l'utilisation d'un alignement (ici, calculé par simalign) et d'apprendre le modèle probabiliste avec des alignements latents. une autre perspective est d'augmenter la base de données utilisées à l'apprentissage en combinant des corpus documentant plusieurs langues : l'objectif sera alors de faire émerger des caractéristiques « multilingues » dans les langues documentées pour améliorer la robustesse de caractéristiques testant des propriétés génériques (par exemple, la longueur ou la position relative des morphèmes grammaticaux vs. non-grammaticaux).