Méthodes de représentation de la langue pour l’analyse syntaxique multilingue (Language representation methods for multilingual syntactic parsing ) (2019)

Abstract: L’existence de modèles universels pour décrire la syntaxe des langues a longtemps été débattue. L’apparition de ressources comme le World Atlas of Language Structures et les corpus des Universal Dependencies rend possible l’étude d’une grammaire universelle pour l’analyse syntaxique en dépendances. Notre travail se concentre sur l’étude de différentes représentations des langues dans des systèmes multilingues appris sur des corpus arborés de 37 langues. Nos tests d’analyse syntaxique montrent que représenter la langue dont est issu chaque mot permet d’obtenir de meilleurs résultats qu’en cas d’un apprentissage sur une simple concaténation des langues. En revanche, l’utilisation d’un vecteur pour représenter la langue ne permet pas une amélioration évidente des résultats dans le cas d’une langue n’ayant pas du tout de données d’apprentissage.

## introduction l'analyse syntaxique en dépendances requiert, comme de nombreuses autres tâches en tal, de grandes quantités de données pour apprendre la syntaxe de la langue. certaines langues comme l'anglais bénéficient d'une grande quantité de données annotées. en revanche, pour de nombreuses langues, il n'en existe actuellement pas. l'analyse syntaxique multilingue est une solution possible pour tenter de tirer profit des langues bien dotées pour apprendre des informations communes entre les langues. deux problèmes importants se posent alors : comment représenter les données, et comment représenter la langue ? avec l'apparition des universal dependencies (ud) 1 , l'utilisation d'annotations universelles pour la syntaxe permet en partie de répondre au premier problème. en effet, ud propose un ensemble de relations de dépendances, de parties du discours et de traits morphologiques qui se veulent communs à toutes les langues @xcite . les corpus arborés de ud sont disponibles pour de nombreuses langues, et sont basés sur un guide d'annotation commun. bien que les ud permettent un certain partage entre les langues au niveau des traits universels proposés, il n'existe cependant pas de lexique commun à toutes les langues. le choix de l'utilisation d'un analyseur delexicalisé @xcite a été fait pour ce travail. cette technique consiste à ignorer le lexique lors de l'entraînement de l'analyseur. cet appauvrissement des données conduit à des analyseurs moins précis, mais offre une solution simple au problème du lexique 2 . le problème de représentation de la langue est le coeur de cet article. trois méthodes de représentations seront présentées. en plus du simple identifiant de la langue, nous verrons comment tenter d'extraire les paramètres syntaxiques, premièrement à partir des données, ensuite en utilisant le world atlas of language structures (wals) 3 @xcite . nos contributions consistent à comparer ces différentes méthodes et à évaluer leurs effets dans un cadre d'entraînement multilingue, où le corpus d'entraînement est composé de corpus arboré de 37 langues, puis dans un cadre de zero-shot, c'est-à-dire pour une langue n'ayant pas de données d'entraînement @xcite . après la présentation de l'état de l'art (sec. 2), nous décrirons les ud (sec. 3), nos représentations des langues (sec. 4), en particulier nous présenterons en détail le wals (sec. 4), puis présenterons l'analyseur utilisé (sec. 5). le cadre expérimental (sec. 6) précédera nos résultats (sec. 7) et nos conclusions (sec. 8). ## état de l'art ce travail est à l'intersection de trois tendances dans la littérature sur l'analyse syntaxique en dépendances multilingue. la première est le transfer parsing, qui consiste à apprendre un analyseur sur une langue (ou un ensemble de langues) puis à le tester sur une autre. la seconde est l' analyse syntaxique delexicalisée, qui a pour but de supprimer le lexique. la troisième et dernière tendance est l'utilisation de ressources typologiques telles que le wals. le transfer parsing est une bonne solution lorsqu'il faut traiter des langues avec peu de ressources. @xcite décrivent deux types de transfert : la première se base sur des corpus parallèles dont une des deux langues n'a pas, ou pas assez, de données d'entraînement pour apprendre un analyseur, alors que l'autre langue en a. la deuxième, les approches par transfert direct, reposent sur les similarités entre les langues et ne nécessitent pas de corpus parallèles. par exemple, @xcite proposent un analyseur pour l'irlandais entraîné d'abord sur une autre langue, puis appliqué à l'irlandais. étonnamment, l'indonésien est la langue donnant les meilleurs résultats, bien qu'elles n'appartiennent pas à la même famille de langues. l'hypothèse des auteurs serait que les dépendances très distantes sont mieux représentées dans l'indonésien que dans les autres langues testées. les langues pauvrement dotées peuvent parfois avoir une petite quantité de données d'entraînement disponible. en concaténant les corpus d'entraînement de deux langues, on peut obtenir un analyseur bilingue pour vérifier si une amélioration est possible comparé à un analyseur monolingue @xcite . les méthodes de transfert direct et les analyseurs bilingues sont proches de cet article, puisqu'on retrouve cette idée de concaténation des corpus d'entraînement. cependant, dans notre cas, nous combinons les corpus de bien plus de langues (environ 40) et incluons des méthodes de représentation des langues. la combinaison de corpus de multiples langues pour l'entraînement d'un analyseur est facilitée par les récentes avancées sur les standards multilingues et les ressources disponibles, en particulier grâce aux universal dependencies pour la syntaxe en dépendances @xcite . la recherche sur l'analyse syntaxique multilingue est fortement stimulée par des initiatives comme les campagnes d'évaluation conll 2017 et 2018, sur l'analyse syntaxique en dépendances fortement multilingue à partir de textes bruts @xcite . les analyseurs delexicalisés ignorent la forme superficielle et les lemmes des mots lors de l'analyse d'une phrase, utilisant des traits plus abstrait comme les étiquettes de parties de discours (pos). l'utilisation d'analyseurs delexicalisés est particulièrement pertinente pour l'apprentissage d'analyseurs multilingues, puisque les langues partagent généralement peu de leurs lexiques. l'approche proposée par @xcite consiste à adapter un analyseur pour une nouvelle langue en utilisant soit un corpus parallèle, soit un analyseur delexicalisé. cette méthode peut être utilisée pour construire rapidement un analyseur si la langue source et la langue cible sont suffisamment proches. de plus, les traits typologiques comme ceux présents dans le wals donnent une information sur la structure des langues @xcite . ces traits peuvent permettre à l'analyseur multilingue d'apprendre des caractéristiques communes à plusieurs langues. @xcite et @xcite utilisent l'ensemble des traits issus de la catégorie de l'ordre des mots du wals qui sont disponibles pour leurs langues. @xcite utilisent plutôt les traits qu'ils jugent pertinents dans les diverses catégories (pas uniquement celle concernant l'ordre des mots). @xcite utilisent une méthode de transfert multilingue delexicalisée, montrant en quoi le partage de paramètres basé sur des traits typologiques et l'appartenance à une famille de langues peut être utilisé dans un analyseur en dépendances discriminant. les traits typologiques choisis sont basés sur ceux utilisés par @xcite , en retirant deux traits qu'ils ne considèrent pas utiles. les travaux les plus proches du notre concatènent des corpus pour entraîner un analyseur multilingue @xcite . les auteurs utilisent un analyseur à transitions s-lstm similaire au notre (en dehors de l'utilisation de récurrence) entraîné sur un ensemble de traits lexicaux incluant des plongement de mots multilingues, des clusters de brown, et des étiquettes pos 4 détaillées, alors que nous utilisons seulement des pos plus grossières et des traits morphologiques dans un cadre delexicalisé. ils utilisent également un vecteur de représentation de la langue encodé en one-hot, l'ensemble de 6 traits issus du travail @xcite , et testent en plus l'utilisation de la matrice complète du wals. nous avons testé ces deux premières représentations, ainsi qu'un autre vecteur de dimension 22 issu du wals également. leurs expériences ont été réalisées sur sept langues richement dotées alors que nous avons mené les nôtres sur un échantillon beaucoup plus grand de 40 langues. bien que @xcite ont montré que, dans un cadre lexicalisé, la concaténation de corpus peut donner des résultats similaires à des analyseurs syntaxiques monolingues, les origines et les limites de ces gains restent floues. nous explorons entre autres des pistes pour évaluer les avantages des caractéristiques typologiques dans un analyseur delexicalisé. nous utilisons la version 2.0 de ud pour nos corpus d'entraînement de développement 5 , et les corpus de tests de la campagne d'évaluation conll 2017 6 . 64 corpus arborés de ud en 45 langues sont disponibles pour l'entraînement et le développement. cependant, ces corpus sont de taille très variable (de 529 mots pour le kazakh à 1 1842 867 mots pour le tchèque). les corpus de tests contiennent au minimum 10 000 mots par langue et sont disponibles pour 49 langues. 4 langues n'ont pas de corpus d'entraînement correspondant. les analyseurs delexicalisés, entraînés à partir des corpus de ud, prennent en entrée les parties du discours universelles (upos) et les traits morphologiques (feat) et prédisent les étiquettes de l'arbre de dépendances (incluant des sous-relations syntaxiques pouvant être spécifique au langage (p. ex., acl :relcl)). les traits morphologiques sont renseignés pour presque tous les corpus, mais présentent de grandes différences. par conséquent, nous avons fait le choix de ne garder que les traits les plus fréquents, qui apparaissent dans au moins 28 langues. de plus, les traits morphologiques sont représentés comme une liste de paires (clef, valeur) que nous avons séparé, afin que chaque paire soit considérée indépendamment, produisant ainsi un ensemble de 16 traits morphologiques par mot. ## les différentes représentations de la langue dans ce travail, nous utilisons trois méthodes de représentation de la langue. la première (que nous appelerons id) consiste en un simple identifiant de la langue, sous la forme d'un vecteur one-hot de dimension 37 en entrée de notre analyseur. les deux autres méthodes sont décrites ci-dessous. apprentissage à partir des données une méthode pour représenter la langue consiste à apprendre un vecteur à partir de nos données d'entraînement, utilisant des statistiques sur les dépendances vues dans les corpus d'entraînement. deux vecteurs seront appris de cette façon. le premier, que nous appellerons w d , consiste à encoder, pour chaque étiquette des dépendances syntaxiques, la distance moyenne qui sépare les deux éléments de la relation dans une langue. chaque dépendance d sera encodée sur deux composantes du vecteur w d : une pour le cas où d est une dépendance droite, et l'autre pour les dépendances gauches. la deuxième représentation, appelée w df , ajoute à w d l'information sur la fréquence de chacune de ces dépendances. ainsi, si il existe n étiquettes de dépendance, w d sera de taille 2 * n et w df de taille 4 * n. un exemple de w d et w df est donné, dans la ces vecteurs sont appris sur notre corpus d'entraînement (sec. 6) et ne sont donc pas disponibles pour les langues n'ayant pas de corpus d'entraînement. ils ne conviennent donc pas aux tests de type zero-shot, contrairement aux vecteurs issus du wals présentés ci-dessous. les matrices w n et w 80 ne fournissent qu'une description partielle des langues, fortement biaisée en faveur de l'analyse syntaxique et ignorant les autres aspects (p.ex. la phonologie). néanmoins, il est tentant de comparer les distances de langues appartenant aux mêmes familles typologiques dans ce mode de représentation. pour cela, nous nous sommes intéressés à 3 familles présentes dans notre ensemble de 40 langues : les langues romanes (6 langues), les langues germaniques (6 langues) et les langues slaves (7 langues). nous avons alors calculé la proximité des vecteurs de ces langues. nous définissons la distance interne moyenne (mid) d'un ensemble de langues @xmath0, . . . , l n }, comme la moyenne des distances de chaque paire dans l : nous avons calculé le mid de chaque famille de langues, et l'avons comparé au mid d'ensembles aléatoires de 6 langues (ce qui correspond au nombre de langues des familles germanique et romane). les résultats de la ## analyseur l'analyseur utilisé dans nos expériences est un analyseur par transition de type arc-eager @xcite , entraîné avec un oracle dynamique @xcite . la prédiction des transitions est faite par un perceptron multi-couches (mlp) similaire au système de chen & manning (2014), consistant en une couche d'entrée, une couche cachée et une couche de sortie. deux ensembles de traits entièrement delexicalisés ont été définis pour la prédiction : basique et étendu. basique est un ensemble classique composé de 9 traits liés au pos, 7 traits syntaxiques, 32 traits morphologiques et un trait de distance (la distance entre la tête et le dépendant). 10 l'ensemble étendu ajoute à basique de nouveaux traits correspondant aux vecteurs du wals w n et w 80 , et/ou l'identifiant 9. le nombre de dimensions pour lesquelles les valeurs diffèrent. 10. nos corpus, le code source de l'analyseur, les fichiers de configuration et les matrices issues du wals seront disponibles. trois langues n'ont pas de corpus d'entraînement ou de développement (bxr, kmr, sme). l'entraînement et le développement se font sur des corpus multilingues (ml) dérivés des 37 langues de ud restantes, que l'on nommera train-ml et dev-ml. la taille des corpus de ud peut fortement varier d'une langue à l'autre, allant de 529 mots pour le kazakh (kk) à 1 842 867 pour le tchèque (cs). ainsi, concaténer simplement tous les corpus pour constituer train-ml et dev-ml sur-représenterait certaines langues et introduirait un biais en leur faveur. c'est pourquoi nous avons décidé d'équilibrer le nombre de tokens de train-ml et dev-ml entre les langues. la construction des corpus de développement et d'entraînement se fait en deux étapes. tout d'abord 11. les valeurs des hyperparamètres ont été définies dans des conditions similaires à σ w n , cf. section 6). 12. notre analyseur ne peut pas prédire d'arbre non-projectif. la présence d'une dépendence non-projective génère systématiquement une erreur d'analyse lors de la phase de test. le taux moyen de projectivité du corpus de test est égal à 1%, avec un écart-type de 1% pour les 40 langues. 14 corpus (pour 20 langues) ont un taux de non-projectivité inférieur à 1%, et le taux maximum est de 8% pour le corpus du néerlandais (corpus lassysmal). nous avons fait des tests utilisant une transformation en arbre pseudo-projectif @xcite , mais l'impact sur les résultats étant négligeable, nous avons choisi de garder l'algorithme projectif original. la totalité des données des corpus disponibles (entraînement et développement) est divisée en deux à hauteur de 10% pour un sous corpus de développement et le reste pour l'entraînement. ensuite, pour chacun des sous-corpus précédents, on sélectionne de façon aléatoire des phrases pour chaque langue jusqu'à ce que les corpus finaux atteignent une certaine limite en terme de tokens (respectivement 2 000 pour le dev et 20 000 pour le train). enfin les données ainsi sélectionnées sont mélangées (pour chacun des corpus) afin d'éviter de conserver l'ordre des langues. avec cette procédure, la même phrase peut apparaître plusieurs fois. néanmoins, cette approche garantit une représentation équilibrée de chaque langue dans train-ml et dev-ml métrique la qualité des arbres prédits est évaluée par une mesure standard pour l'analyse syntaxique en dépendance : le score d'attachement de l'étiquette an étiqueté(las). 13, 14 on donne le las par langue, ainsi que le macro-las, qui est la macro-moyenne du las de toutes les langues qui ont un corpus d'entraînement. cette mesure est indépendante de la taille du corpus de test de chaque langue, et n'est pas biaisée en faveur des langues sur-représentées dans l'ensemble de test. n'est disponible, comme dans les méthodes de transfert direct. l w 80 : l w 80 ajoute à l l'indication de la langue de chaque mot à travers son vecteur du wals, de la même manière que σ w 80 faisait avec σ. ## résultats et analyse nos expériences ont été réalisées dans les configurations décrites ci-dessus. le las est donné pour chaque langue, ainsi que la macro-moyenne du las (macro), dans la l : les résultats de l'expérience l montrent une importante variation des performances selon les langues. le las varie de 46,78 pour le turc à 81,44 pour l'italien. plus d'expériences seraient nécessaires pour expliquer les raisons d'une telle variabilité, mais n'entrent pas dans le cadre de ce travail. nous pouvons tout de même émettre certaines hypothèses. tout d'abord, certaines particularités spécifiques aux langues, comme l'équilibre entre les marqueurs morphologiques et syntaxiques (p.ex. les langues morphologiquement riches sont probablement favorisées dans notre configuration, puisque l'analyse morphologique est donnée en entrée de l'analyseur). d'autres sont spécifiques au genre textuel. bien que la delexicalisation permette de neutraliser certains biais de genre, le genre peut aussi influencer la syntaxe, notamment la longueur des phrases (or, les phrases longues sont généralement plus dures à analyser), ou encore la proportion de constructions difficiles, comme les prépositions ou les coordinations ambiguës. enfin, l'hétérogénéité de la qualité des annotations selon les langues peut également expliquer la variabilité du las. l vs σ : une chute attendue des performances est observée lorsque l'on passe de l à σ. le macro las chute de 5,68 points. l'hypothèse principale pour expliquer cette chute est le bruit qui est introduit par le mélange des langues. concaténer toutes les phrases de plusieurs langues sans préciser l'identité de la langue introduit du bruit dans l'analyseur. par exemple, la configuration phrastique associée à une dépendance sujet dans une langue sv ou vs sera très différente, et l'analyseur n'est pas capable de faire la distinction entre ces langues et voit donc des contradictions. la chute du las est cependant très variable selon les langues, allant même jusqu'à une augmentation plutôt qu'une chute dans le cas de l'espagnol (+0,51 points). nous n'avons pas actuellement d'explication pour ce résultat, tout au plus une intuition qui serait que σ apprendrait implicitement une langue moyenne (bruitée) qui serait plus proche de l'espagnol que du chinois par exemple (dont le las chute de 14,37 points), les langues composant σ étant plus proches de l'espagnol que du chinois en moyenne. σ vs σ w 80 , σ w d , id : 15 nous obtenons ici le premier résultat important de ce travail : lors de l'ajout d'une représentation de la langue à l'analyseur, la macro las augmente de 4 à 4,75 points comparé à σ. le las augmente pour toutes les langues, pour les trois expériences. ajouter l'information id à σ permet une augmentation des résultats macro de 4,60 points. cette augmentation était attendue puisque dans ce test, les configurations phrastique sont associées à l'id de la langue, ce qui aide à diminuer le bruit dans les données. deux interprétations sont possibles pour σw n : celle optimiste serait que les vecteurs de représentations de la langue aident à diminuer le bruit l vs l : l correspond à des conditions extrêmes mais également plus réalistes. la situation simulée est celle où aucune donnée d'entraînement n'est disponible pour la langue l. la chute des performances comparée à l était prévisible, mais n'en reste pas moins dramatique : la macro las chute de 17,47 points. cette chute varie énormément selon les langues (cela se ressent sur l'écart type qui atteint 13,57 points). certaines langues ne sont presque pas affectées, comme l'espagnol qui ne perd que 0,07 point. en revanche, le japonais perd 70,62 points de las, la plus grosse chute toutes expériences et langues confondues. les langues les plus isolées sont celles qui souffrent le plus du passage à l. les familles de langues sont moins affectées, avec une chute de "seulement" 6,65 points en moyenne pour les langues romanes par exemple. l vs l w 80 : cette comparaison constitue notre troisième et dernier résultat majeur. cette expérience consiste à observer si l'ajout d'un vecteur issu du wals permet de limiter la chute des score las de l'expérience l. comme on peut le voir dans les tables 3 et 4 , l'ajout de w 80 permet d'augmenter la macro las de 1,95 points, ce qui pourrait laisser penser que w 80 permet bien d'aider le modèle à gérer les langues inconnues. cependant, on remarque que l'écart type est assez élevé (4,60 points). en effet, lorsque l'on regarde le détail langue par langue, 11 de nos 37 langues ont de moins bons résultats avec le modèle l w 80 qu'avec l. le bulgare perd même 3,32 points de las. les langues ayant des résultats extrêmement bas dans l ont réussi à tirer profit du vecteur w 80 , comme le japonais qui, après son importante chute au passage à l, remonte de 20,89 points avec l w 80 . le vecteur w 80 reste une description extrêmement partielle de la langue, et il est probable qu'il ne soit pas suffisant pour compenser l'absence de corpus d'entraînement. la question précédemment soulevée se pose à nouveau : le vecteur sert il simplement d'identifiant de la langue ? si l'analyseur utilise, ne serait-ce qu'en partie, w 80 pour détecter la langue de la phrase analysée, l'absence de cette langue dans le corpus d'entraînement rend la tâche impossible. ## conclusions et travaux futurs dans ce travail, nous avons analysé des représentations possibles d'une langue dans le cadre d'une analyse en dépendances multilingue. les meilleurs résultats sont obtenus avec les représentations apprises sur les données (w d ,w df ), bien qu'ils dépassaient de peu la représentation par un simple identifiant (id). mais ces représentations avaient l'inconvénient de ne pas être utilisables dans le cadre d'une langue pour laquelle il n'existe pas de données d'apprentissage, contrairement aux représentations utilisant le wals. l'utilisation de ce vecteur ne permettant cependant pas une amélioration nette des résultats pour toutes les langues lors d'un d'apprentissage de type zero-shot. pour les travaux futurs, nous prévoyons de faire une analyse des poids du réseau afin de tester l'hypothèse selon laquelle w est utilisé comme un simple identifiant de la langue. nous aimerions également tester d'autres méthodes de remplacement des valeurs non-renseignées du wals, ainsi que la création d'un w de , qui utiliserait l'écart type plutôt que la fréquence. une autre étape sera l'introduction de plongements de mots multilingues pour donner des informations lexicales à l'analyseur.