Sur l’impact des contraintes structurelles pour l’analyse en dépendances profondes fondée sur les graphes (On the impact of structural constraints for graph-based deep dependency parsing) (2020)

Abstract: Les algorithmes existants pour l’analyse en dépendances profondes fondée sur les graphes capables de garantir la connexité des structures produites ne couvrent pas les corpus du français. Nous proposons un nouvel algorithme qui couvre l’ensemble des structures possibles. Nous nous évaluons sur les corpus français FTB et Sequoia et observons un compromis entre la production de structures valides et la qualité des analyses.

## introduction la structure en dépendances surfaciques d'une phrase est usuellement représentée sous forme d'un graphe dirigé où chaque mot est représenté par un noeud et chaque dépendance bi-lexicale par un arc (figure 1 ). un noeud supplémentaire est introduit pour connecter le mot racine de la phrase. le graphe ainsi construit est une arborescence couvrante : chaque noeud sauf la racine possède exactement un arc entrant et il est existe un chemin à partir de la racine jusque chaque noeud. il en découle qu'une arborescence ne peut pas contenir de cycle. l'analyse en dépendances fondée sur les graphes d'une phrase comporte deux étapes @xcite : le sous-graphe calculé peut alors être directement transposé à la structure syntaxique correspondante. le problème à résoudre lors de la seconde étape a une complexité quadratique par rapport au nombre de mots dans la phrase d'entrée et peut être résolu en utilisant la variante @xcite volume 2 : traitement automatique des langues naturelles, pages 197-204. hal : hal-02784768. cette oeuvre est mise à disposition sous licence attribution 4.0 international. nous nous intéressons ici à l'analyse en dépendances profondes fondée sur les graphes (figure 1 ). à la différence des dépendances surfaciques, une structure en dépendances profondes s'abstrait des variations syntaxiques pour représenter plus explicitement les relations prédicats-arguments, entre autres. cette représentation ne contient que les mots sémantiquement pleins. nous renvoyons le lecteur au schéma d'annotation du corpus sequoia @xcite pour de plus amples informations. notons qu'une analyse en dépendances profondes n'est pas une extension des dépendances surfaciques : par exemple sur la figure 1, la dépendance entre « être » et « déclaré » n'est pas présente. pour l'analyse fondée sur les graphes, le calcul du sous-graphe de poids maximal doit donc prendre en compte les spécificités de cette représentation : 1. le sous-graphe n'est pas contraint d'être couvrant car les mots sémantiquement vides n'apparaissent pas dans la structure syntaxique ; 2. un noeud peut avoir 0 ou plusieurs arcs entrants ; 3. le sous-graphe peut contenir des cycles. en d'autres termes, la seule propriété qui doit être contrainte sur le sous-graphe pour qu'il soit valide est sa faible connexité, c'est à dire qu'il doit exister un chemin à partir de la racine jusque tous les autres mots noeud du graphe sans prendre en considération la direction des arcs. malheureusement, ce problème est np-difficile @xcite . bien qu'il existe des algorithmes tractables permettant de calculer des sous-graphes faiblement connexes plus contraints @xcite , ceux-ci ne permettent pas de couvrir l'ensemble des structures présentes dans les jeux de données (voir dans cet article, nous proposons un algorithme qui garantit la connexité des analyses produites tout en couvrant l'ensemble des corpus et nous examinons empiriquement si cette contrainte est importante pour l'analyse en dépendances profondes fondée sur les graphes. en effet, dans le cadre de l'analyse en dépendances surfaciques, @xcite ont montré qu'il était possible de supprimer les contraintes d'arborescence lors de la prédiction, c'est-à-dire de choisir localement un arc entrant pour chaque noeud sans garantir explicitement la contrainte globale d'arborescence. de plus, empiriquement la plupart des graphes produits par leur analyseur non contraint sont des arborescences. dans le cas de l'analyse en dépendances profondes, la suppression de la contrainte de connexité transforme le calcul du sous-graphe de poids maximal en la simple sélection de tous les arcs de poids positifs. cette approche non contrainte est celle choisie par les analyseurs à l'état de l'art pour les dépendances profondes du français. en effet, si l'analyseur @xcite ne se limite pas à une simple sélection des arcs de poids positifs, c'est seulement dû à l'utilisation d'un modèle d'ordre supérieur foot_0 . cependant, la connexité du graphe produit n'est pas garantie. nos contributions peuvent être résumées comme suit : l'implémentation pour reproduire les expériences de cet article est disponible en ligne foot_1 . ## analyse en dépendances profondes fondée sur les graphes nous proposons de réduire le problème de l'analyse syntaxique profonde au problème du sous-graphe connexe de poids maximal (sgcpm), un problème de graphe np-difficile ayant des applications en chimie et en biologie moléculaire @xcite @xcite . à la différence de l'approche proposée par ribeyre et al. (2016), nous contraignons la bonne formation de la structure syntaxique. à la différence des approches proposées par kuhlmann & jonsson (2015) et cao et al. (2017), nous pouvons couvrir l'ensemble des jeux de données (voir ## pondération neuronale nous utilisons l'architecture neuronale @xcite avec les mêmes hyper-paramètres. nous expérimentons avec deux variantes qui diffèrent par la façon dont elles construisent les plongements lexicaux. l'architecture fullysup est entièrement initialisée aléatoirement et est entrainée de bout en bout. elle est fondée sur des plongements lexicaux et des plongements de caractères. l'architecture pretrained utilise un self-attentive encoder @xcite pré-entrainé pour extraire les plongements sensibles au contexte @xcite . étant donné que ce modèle pré-entrainé utilise son propre tokenizer de mots, nous utilisons la sortie qui correspond au premier sous-token de chaque mot. de plus, plutôt que d'utiliser la représentation en sortie de la dernière couche d'attention, nous apprenons une combinaison convexe des couches 4 à 7, de la même façon que proposée pour l'architecture elmo @xcite . ensuite, nous concaténons cette sortie à un plongement lexical appris de bout en bout, suivi de la même architecture que @xcite . le calcul de la fonction de perte et de sa dérivée est une étape coûteuse en prédiction structurée. nous décomposons la fonction de perte par partie, c'est-à-dire par arc, d'une façon similaire à ce qui a été proposé par @xcite mais adapté aux dépendances profondes : pour chaque arc dans le graphe complet nous utilisons une perte de type entropie croisée binaire. ## expériences nous nous évaluons sur les corpus french treebank (ftb, @xcite et sequoia @xcite convertis en dépendances profondes @xcite . la division du corpus pour l'entrainement / la validation / le test comporte 14759 / 1235 / 2541 et 2202 / 497 / 400 phrases pour le ftb et sequoia, respectivement. pour l'entrainement, nous concaténons les deux corpus. le corpus ftb contient des structures non connexes (137 phrases sur 2541 dans le test) qui semblent dues à des erreurs de conversion automatique. nous reportons donc les résultats à la fois sur le corpus de test complet et sur la sous-partie des phrases dont la structure syntaxique profonde de référence est connexe. de plus, nous utilisons deux analyseurs différents : positivearcs est un analyseur non structuré qui sélectionne tous les arcs de poids positifs, sgcpm est notre analyseur qui ne produit que des analyses valides, c'est-à-dire que des graphes faiblement connexes. notons que nos résultats sont dans les mêmes ordres de grandeur que ceux de ribeyre et al. (2016) qui obtiennent une f-mesure de 80.79 sans extraction de charactéristiques supplémentaires et 85.18 en utilisant des charactéristiques extérieurs (analyse en constituants, ...) 6 . la première question qui nous intéresse est de savoir si les réseaux de neurones peuvent apprendre implicitement à ne produire que des structures connexes ou s'il est important de forcer cette contrainte lors de la prédiction. nous reportons le nombre de structures connexes produites par positivearcs dans la la seconde interrogation porte sur la qualité des prédictions : est ce que garantir des structures connexes lors de la prédiction permet de corriger des erreurs ? les scores de nos deux réseaux de neurones sont reportés sur le tableau 2 (partie de droite). comme nous pouvons l'observer, forcer les structures à être connexe diminue le score en f-mesure, mais augmente le nombre de phrases dont la structure syntaxique est exactement prédite. ## conclusion dans cet article, nous proposons un nouvel algorithme pour l'analyse en dépendances profondes fondée sur les graphes qui permet de couvrir l'ensemble des jeux de données du français. nous avons évalué notre approche sur le français. nous observons que garantir ces structures impacte négativement les résultats des prédictions. cependant, sans cet algorithme une partie des structures produites sont non connexes, ce qui peut poser problème pour des tâches cibles. de plus, le nombre de structures parfaitement prédites augmente lorsque l'on force la connexité.