Analyse en dépendances du français avec des plongements contextualisés ( F rench dependency parsing with contextualized embeddings) (2021)

Abstract: Cet article présente un analyseur syntaxique en dépendances pour le français qui se compare favorablement à l’état de l’art sur la plupart des corpus de référence. L’analyseur s’appuie sur de riches représentations lexicales issues notamment de BERT et de FASTTEXT. On remarque que les représentations lexicales produites par FLAUBERT ont un caractère auto-suffisant pour réaliser la tâche d’analyse syntaxique de manière optimale.

## introduction cet article décrit un modèle d'analyse syntaxique en dépendances couplé à un étiqueteur morphosyntaxique pour le français 1 . nous étudions plus spécifiquement l'impact de représentations lexicales apprises de manière non supervisée sur de gros volumes de texte telles que fasttext et bert en complément de plongements lexicaux standards. nous commençons par expliciter le modèle d'analyse en section 2 avant de présenter les expériences sur les représentations lexicales en section 3. ## modèle d'analyse le modèle d'analyse combine à la fois un étiqueteur morphosyntaxique, un analyseur basé sur l'algorithme @xcite et l'utilisation de riches représentations lexicales @xcite . dans ce qui suit, on suppose qu'une phrase w 1 ...w n est représentée par une séquence de plongements lexicaux @xmath0...x n . en préalable à l'analyse nous traitons les plongements lexicaux à l'aide d'un lstm pour construire une séquence de représentations contextualiséss @xmath1...c n : @xmath2: êi = softmax(mlp pos (c i )) pour l'analyse syntaxique, nous commençons par spécialiser les représentations de c de quatre manières différentes : la prédiction des arcs et de leurs étiquettes repose sur plusieurs fonctions biaffines de la forme : biaff(x,y) = x t w y+u (x⊕y)+b on utilise une première fonction biaffine pour attribuer un score s arc @xmath3: ces fonctions diffèrent les unes des autres, les matrices de paramètres w ℓ et u ℓ étant a priori distinctes pour chaque ℓ. fonction objectif la fonction objectif du modèle est composée d'objectifs multiples. le premier porte sur l'étiquetage morphosyntaxique. on suppose qu'une phrase est un couple (w,e) composé d'une séquence de mots @xmath4... w n et d'une séquence d'étiquettes de référence @xmath5... e n . cette première fonction calcule l'entropie croisée entre la distribution prédite par le modèle êi pour chaque tag et la distribution ponctuelle e @xmath6: le second objectif porte sur la prédiction des arcs, indépendamment de leurs étiquettes. dans ce cas on suppose que la phrase est un couple (w,d), où d est un ensemble d'arcs de dépendance de référence. pour chaque arc (@xmath7. on obtient du modèle une matrice ĝ = ĝi,j telle que pour tout i (ĝ i,j ) @xmath8...s arc @xmath9: le dernier objectif concerne l'étiquetage des dépendances. celui-ci suppose un étiquetage de l'ensemble des arcs de référence par une fonction l. on code l'étiquetage de référence d'un arc le problème d'optimisation consiste alors à minimiser l(t ). en pratique, nous utilisons la variante de descente de gradient stochastique appelée adam @xcite et retenons le modèle qui minimise la perte sur le jeu de validation au cours d'un nombre e d'epochs fixé à l'avance. prédiction pour prédire un arbre de dépendance à partir d'une phrase w 1 ...w n donnée en entrée, on commence par évaluer s arc @xmath10. la matrice de scores ĝ est vue comme la matrice de poids d'un graphe pondéré complet pour lequel on calcule une arborescence a couvrante de poids maximal à l'aide de l'algorithme de chu-liu/edmonds @xcite . on assigne alors à chaque arc (@xmath11: ## expériences nous avons testé l'analyseur sur différents jeux de données, principalement issues du projet universal dependencies @xcite . les expériences de développement sont réalisées sur le sous-corpus de développement du corpus ud_french-gsd (guillaume et al., 2019), deuxième plus grand corpus de français disponible dans ud. celles-ci permettent à mettre en perspective, par ablation, l'impact des différents modèles de représentation lexicales. elles nous ont également permis d'optimiser les hyperparamètres de nos modèles dans ces différentes configurations et de la procédure d'apprentissage. ces optimisations ont été faites empiriquement, le nombre et le coût de ces expériences rendant une recherche systématique peu envisageable. les résultats données pour ces expériences le sont sur le jeu de données de développement et non sur celui de test, afin d'éviter des effets de surapprentissage d'architecture. finalement nous testons sur les autres principaux corpus ud pour le français (ud_french-sequoia @xcite et ud_french-spoken @xcite ) à l'exception du french treebank, pour lequel nous reprenons la version utilisée pour la campagne d'évaluation spmrl 2013 @xcite , ceci afin de pouvoir nous comparer plus facilement aux travaux existants. tous les corpus ud sont utilisés dans leur version 2.7. nous avons utilisé principalement le modèle flaubert @xcite comme implémentation du modèle bert. pour la tâche d'analyse syntaxique nous avons remarqué lors d'expériences préliminaires qu'il se comporte généralement un peu mieux que le modèle camembert @xcite même si les différences sont dans la marge d'erreur. les modèles bert utilisés sont les versions base-cased de flaubert et de mbert tels que distribués dans la version 4.2.2 de la bibliothèque transformers @xcite .