Analyse sémantique AMR pour le français par transfert translingue (2023)

Abstract: Abstract Meaning Representation (AMR) est un formalisme permettant de représenter la sémantique d’une phrase sous la forme d’un graphe, dont les nœuds sont des concepts sémantiques et les arcs des relations typées. Dans ce travail, nous construisons un analyseur AMR pour le français en étendant une méthode translingue zéro-ressource proposée par Procopio et al. (2021). Nous comparons l’utilisation d’un transfert bilingue à un transfert multi-cibles pour l’analyse sémantique AMR translingue. Nous construisons également des données d’évaluation pour l’AMR français. Nous présentons enfin les premiers résultats d’analyse AMR automatique pour le français. Selon le jeu de test utilisé, notre parseur AMR entraîné de manière zéro-ressource, c’est-à-dire sans données d’entraînement, obtient des scores Smatch qui se situent entre 54,2 et 66,0.

## introduction abstract meaning representation @xcite est un formalisme permettant de représenter la sémantique d'une phrase sous la forme d'un graphe, dont les noeuds sont des concepts et les arcs des relations typées (figure 1 ). amr a été initialement conçu pour analyser des phrases en anglais. pourtant, @xcite ont montré qu'amr peut être utilisé également pour l'analyse sémantique multilingue, notamment pour l'espagnol, l'italien, l'allemand et le chinois. de plus, @xcite ont construit des données d'évaluation amr pour ces quatre langues par traduction du jeu d'évaluation anglais, et les ont diffusées. ces données d'évaluation ont mené au développement d'analyseurs amr translingues @xcite @xcite exploitant les données d'entraînement anglaises (seules données d'entraînement existantes). les méthodes translingues consistent à utiliser la projection d'annotations sur des phrases traduites automatiquement en langue cible @xcite , l'apprentissage par transfert multitâche @xcite ou encore la distillation @xcite . notre objectif est de construire un parseur amr pour le français, langue pour laquelle il n'existe pas de données amr ni de travaux antérieurs, à l'exception de ceux de vanderwende et al. (2015) foot_0 . nous reprenons l'approche de procopio et al. (2021), basée sur un modèle séquence-à-séquence (seq2seq) multilingue pré-entraîné et affiné sur deux tâches : la prédiction de graphes sémantiques pour l'anglais, et la traduction automatique multilingue. nous construisons par ailleurs notre propre jeu de test par projection d'annotations et traduction automatique suivie d'une vérification manuelle. en résumé nos contributions sont les suivantes : -nous reproduisons le travail de procopio et al. (2021) et publions notre implémentation foot_1 , qui est de facto la première implémentation disponible, procopio et al. (2021) n'ayant pas publié leur code à ce jour. -nous construisons et publions le premier jeu d'évaluation amr en français, obtenu par traduction automatique partiellement post-édité et projection d'annotations. -nous décrivons un système d'analyse amr pour le français, par extension de procopio et al. (2021) vers cette langue, et présentons les résultats de nos expériences d'apprentissage par transfert translingue. nous obtenons des résultats intéressants (smatch 54 et 66) sans donnée d'entraînement en français. à notre connaissance, notre travail est le premier à évaluer un modèle amr sur le français. speaking the graph languages (sgl) nous utilisons l'approche sgl (procopio et al., 2021) fondée sur un modèle de séquence à séquence dont l'entrée est une phrase et la sortie est la forme linéarisée d'un graphe amr (tableau 1). procopio et al. (2021) adoptent un modèle de langue multilingue pré-entraîné : mbart (liu et al., 2020). ils reformulent l'analyse amr multilingue comme une tâche de traduction multilingue. pendant l'entraînement, le modèle de traduction de mbart apprend à traduire des textes anglais en des graphes sémantiques amr et ucca (abend & rappoport, 2013, universal conceptual cognitive annotation). 3 en plus de ces deux formalismes de graphes sémantiques, le modèle apprend la traduction multilingue avec quatre corpus parallèles : en↔es, en↔de, en↔ it, en↔zh (tableau 1). notons que, contrairement aux données de traduction multilingue, pour l'analyse sémantique, la direction de la traduction est unidirectionnelle, depuis texte source anglais vers les graphes sémantiques. puisque sgl fonctionne avec deux formalismes d'analyse sémantique, amr et ucca, leur approche n'est pas seulement multilingue mais aussi multi-formalismes. entrée : <@xmath0. sortie : <@xmath1. entrée : <@xmath2. sortie : <@xmath3. entrée : <@xmath4. sortie : <@xmath5:arg0 (b/boy) :arg1 (g/go-02 :arg0 b)) entrée : <@xmath6. sortie : <@xmath7. adaptation de l'approche sgl au français le choix de cette méthode a deux motivations. tout d'abord, il s'agit d'une approche zéro-ressource qui ne nécessite pas de données annotées en amr pour la langue cible et permet donc de pallier leur absence pour le français. à l'entraînement, le modèle apprend l'analyse en amr, uniquement à partir de textes anglais. au moment de l'inférence, il parvient à générer des graphes amr à partir de textes dans des langues pour lesquelles le modèle n'a pas vu de données amr correspondantes. ceci est rendu possible par la capacité multilingue de mbart ainsi que par la tâche de traduction multidirectionnelle, pour laquelle le modèle est affiné. deuxièmement, sgl est facile à étendre à une nouvelle langue. pour permettre au modèle de générer des amr pour des textes en français, il suffit d'ajouter un corpus parallèle fr ↔ en aux données d'entraînement. nous utilisons notre propre implémentation de sgl pour l'adapter au français. multilingue vs. bilingue des travaux (zhang et al., 2020; conneau et al., 2020) montrent l'avantage d'utiliser des données multilingues pour entraîner un modèle de traduction. tang et al. (2021) montrent que le modèle de traduction multilingue est plus performant que le modèle de traduction bilingue quand il s'agit d'une traduction many-to-one où le modèle apprend à encoder en plusieurs langues et à décoder en une seule langue, notamment l'anglais. d'autre part, le transfert négatif (wang et al., 2019) est également un problème connu dans les modèles multilingues (wang et al., 2020; conneau et al., 2020) : les tâches multilingues entravent les performances individuelles pour chaque tâche. la méthode sgl est potentiellement sujette à ce problème, étant formalisée comme une tâche de traduction multilingue. nous souhaitons comparer l'usage d'un seul modèle multilingue à celui de multiples modèles bilingues (un pour chaque langue cible). pour répondre à cette question, nous entraînons un parseur amr français dans deux contextes : bilingue_fr où le modèle est entraîné avec des données cibles uniquement (corpus amr/ucca en anglais et corpus parallèle en↔ fr) et multilingue où le modèle est entraîné avec des données cibles mais aussi avec des données multilingues (corpus amr/ucca en anglais et corpus parallèles en↔ es, de, it, zh, fr). concernant le modèle bilingue, nous entraînons également un modèle espagnol (bilingue_es) et un modèle allemand (bilingue_de) de la même manière avec un corpus parallèle pour chaque langue cible. cela nous permettra de comparer plusieurs modèles bilingues de manière plus complète (section 4). une comparaison similaire entre modèles bilingues et multilingues est décrite par blloshmi et al. (2020). en revanche, notre perspective est différente : blloshmi et al. (2020) utilisent des données cibles synthétiques, alors que nous sommes en contexte zéro-ressource. 3 données pour l'évaluation de l'analyse amr en français pour évaluer notre système, nous construisons des données d'évaluation pour le français par deux méthodes : la projection d'annotations et la traduction automatique. le petit prince le corpus du petit prince d'antoine de saint-exupéry est annoté pour l'analyse amr en anglais et est disponible sur le site d'amr 4 . le livre étant initialement écrit en français, nous pouvons obtenir des paires [phrase française, graphe amr] en alignant chaque phrase anglaise du corpus amr sur son équivalent français. notons que les textes français et anglais doivent être alignés au niveau de la phrase ou audelà du niveau de la phrase puisqu'un graphe amr correspond à une ou plusieurs phrases dans le corpus le petit prince. à cette fin, nous utilisons un outil d'alignement de textes pré-entraîné, lf aligner d'andras farkas 5 et nous post-éditons les erreurs d'alignement manuellement. à la suite de la projection des annotations, nous avons obtenu 1 562 graphes amr pour le français. nous appelons ce jeu de données fr_lpp_gold. amr-2.0 nous obtenons également un deuxième jeu de données d'évaluation en traduisant le texte source anglais du jeu de test amr-2.0 (ldc2017t10) 6 vers le français. comme nous utilisons la traduction automatique deepl 7 sans la post-éditer manuellement, nous appelons ce jeu de données fr_silver. nous évaluons empiriquement la fiabilité des résultats sur ces données dans le paragraphe suivant. examen de fiabilité des données de test : fr_silver nous avons examiné les 200 premiers 8 exemples de fr_silver et post-édité la traduction manuellement. ainsi, 56 phrases ont été corrigées sur 200 lors de la post-édition (correspondance exacte : 0.72). nous avons considéré ces 200 exemples post-édités comme la traduction de référence et évalué les traductions correspondantes de fr_silver par rapport à ces données avec le score bleu (papineni et al., 2001). le score bleu de cet échantillon de traduction est égal à 0,89. ensuite, nous avons examiné l'effet de l'utilisation de fr_silver sur l'évaluation d'analyses amr. pour cela, nous avons pris deux modèles différents, multilingue et bilingue_fr et avons évalué chaque modèle avec deux jeux de données : 200 exemples de fr_silver ainsi que ses correspondants post-édités. l'objectif de cette expérience est de comparer les deux scores smatch et de considérer la différence comme un indicateur de la fiabilité de fr_silver en tant que jeu de test. nous avons reproduit l'expérience en espagnol et en allemand en traduisant les données d'évaluation à l'aide de deepl (es_silver, de_silver). puis, nous avons évalué les modèles entraînés deux fois, sur les données d'évaluation originelles et les données automatiquement traduites (tableau 2). la différence entre les deux scores smatch en allemand est égale à 4,5 % en moyenne pour les deux modèles et pour l'espagnol à 2,4 %. pour le français, la différence est @xmath8, ce qui est dans la marge d'erreur. en raison de cet écart insignifiant pour le français, nous n'incluons pas ces résultats dans la discussion approfondie dans 4 et considérons fr_silver comme des données de test qui donnent une approximation relativement fiable pour évaluer nos modèles en français. bilingue_fr multilingue de 61,1 63,3 de_silver 63,3 64,6 es 66,4 66,8 es_silver 67,7 64,9 fr_silver_postedit 58,2 55,6 fr_silver 58,2 55,0 tableau 2 -score smatch avec les données de référence et les données silver. 4 expériences pour l'expérimentation, nous suivons principalement les spécifications du modèle mbart ft de procopio et al. (2021). nous renvoyons les lectrices et lecteurs à l'article original pour obtenir des informations générales et détaillées sur la reproduction des expériences. sauf indication contraire, nous utilisons la même configuration que le modèle mbart ft . données et pré-traitement procopio et al. (2021) reproduisent l'environnement de la campagne d'évaluation conll2019 (koller et al., 2019) et utilisent les données d'analyse sémantique ucca qui sont distribuées aux participant•es de l'atelier. ces données n'étant pas directement accessibles, nous avons téléchargé les données d'entraînement ucca correspondantes directement sur le site officiel 9 . ce corpus compte 8 775 paires phrase-graphe alors que pour mbart ft , le corpus correspondant compte 6 572 paires. au cours de la linéarisation des graphes ucca, les auteurs utilisent l'étiquette t à la fois pour le noeud time et le noeud terminal. cependant, pour distinguer ces deux concepts différents, nous utilisons t pour time et z pour terminal. nous employons l'api ucca 10 pour la linéarisation et la délinéarisation des graphes ucca. à la différence de mbart ft , nous incluons le corpus parallèle français-anglais dans les données d'entraînement, plus précisément, paracrawl (esplà-gomis et al., 2019). nous appliquons le même filtrage de corpus parallèle que celui de mbart ft , par exemple, le filtrage selon la longueur de la phrase ainsi que le ratio relatif du nombre de caractères entre la phrase d'entrée et la phrase cible. détails de l'entraînement et de l'évaluation dans la version originale de mbart ft , procopio et al. (2021) utilisent 8 000 tokens comme taille effective de batch pendant l'entraînement. pour nos expériences, nous utilisons des batches de 128 exemples. pour l'échantillonnage des données, mbart ft suréchantillonne les graphes sémantiques par rapport aux données de traduction multilingues. nous appliquons la même probabilité que celle utilisée dans mbart ft , soit 0,8 pour les graphes sémantiques et 0,2 uniformément répartie entre les corpus de traduction multilingues. pour être plus précis, dans un cadre bilingue, nous attribuons 0,8 pour les graphes sémantiques et 0,2 pour le corpus parallèle en↔fr. dans le cadre multilingue, 0,8 pour l'analyse sémantique et 0,2 est uniformément répartie entre cinq corpus parallèles : en↔ es, en↔ de, en↔ it, en↔ zh, en↔fr. résultats nous présentons nos résultats dans le tableau 3 et incluons des résultats pour l'anglais, pour les 4 langues evaluées par damonte & cohen (2018), ainsi que pour le français. nous incluons dans le 9. https://universalconceptualcognitiveannotation.github.io/ 10. https://ucca.readthedocs.io/en/latest/api.html tableau 3 les résultats d'autres modèles d'analyse sémantique multilingue : usea (orlando et al., 2022), xl-amr (blloshmi et al., 2020) et xlpt-amr @xcite . nous utilisons smatch @xcite en tant que mesure d'évaluation pour l'analyse amr. un graphe amr peut être exprimé comme un ensemble de triplets, dont chacun contient deux noeuds et un arc qui relie les deux. l'algorithme smatch calcule le chevauchement entre deux graphes en comptant les triplets en communs (f-score). le tableau 3 montre l'avantage d'utiliser des données bilingues pour une langue cible par rapport à l'utilisation de données multilingues dans les cas majoritaires. pour les deux jeux de test en français, fr_lpp_gold et fr_silver, bilingue_fr surpasse multilingue de respectivement 1,8 et 1,9 score smatch. pour l'allemand, bilingue_de obtient un score smatch supérieur de 1,5 par rapport à multilingue. pour l'espagnol, cependant, multilingue surpasse bilingue_es. une hypothèse pour expliquer ce résultat est la particularité du corpus parallèle utilisé pour entraîner ce modèle. multiun @xcite , le corpus parallèle utilisé pour l'espagnol, a un style d'écriture plus formel que paracrawl qui est utilisé pour le français et l'allemand. la majorité des données amr proviennent de forums ou de discussions en ligne dont le style d'écriture est relativement familier et moins formel. par conséquent, multilingue a probablement bénéficié des corpus français et allemand qui sont plus similaires aux données amr, tandis que bilingue_es a probablement eu davantage de données moins représentatives. ## conclusion dans cet article, nous présentons un parseur amr français zéro-ressource entraîné par transfert translingue, ainsi qu'un premier jeu de données d'évaluation pour l'analyse amr en français. nos résultats montrent que l'utilisation de données bilingues est plus bénéfique que l'utilisation de données multilingues pour construire un parseur amr français avec l'approche zéro-ressource. dans la mesure où les données cibles sont soigneusement choisies, cette observation pourrait être généralisée aux analyses amr dans d'autres langues.