Qu’apporte BERT à l’analyse syntaxique en constituants discontinus ? Une suite de tests pour évaluer les prédictions de structures syntaxiques discontinues en anglais (What does BERT contribute to discontinuous constituency parsing ? A test suite to evaluate discontinuous constituency structure predictions in E nglish) (2020)

Abstract: Cet article propose d’analyser les apports d’un modèle de langue pré-entraîné de type BERT (bidirectional encoder representations from transformers) à l’analyse syntaxique en constituants discontinus en anglais (PTB, Penn Treebank). Pour cela, nous réalisons une comparaison des erreurs d’un analyseur syntaxique dans deux configurations (i) avec un accès à BERT affiné lors de l’apprentissage (ii) sans accès à BERT (modèle n’utilisant que les données d’entraînement). Cette comparaison s’appuie sur la construction d’une suite de tests que nous rendons publique. Nous annotons les phrases de la section de validation du Penn Treebank avec des informations sur les phénomènes syntaxiques à l’origine des discontinuités. Ces annotations nous permettent de réaliser une évaluation fine des capacités syntaxiques de l’analyseur pour chaque phénomène cible. Nous montrons que malgré l’apport de BERT à la qualité des analyses (jusqu’à 95 en F1 ), certains phénomènes complexes ne sont toujours pas analysés de manière satisfaisante.

## introduction dans le cas des langues pour lesquelles on dispose de beaucoup de ressources linguistiques, les analyseurs syntaxiques en constituants qui combinent des systèmes de scorage basés sur les réseaux de neurones et des modèles de langue pré-entraînés tels que bert @xcite ) obtiennent d'excellents résultats @xcite @xcite , atteignant fréquemment plus de 95 f 1 sur le penn treebank. cependant, l'évaluation exclusivement quantitative des outils de traitement automatique des langues (tal) peut être trompeuse. en effet, un unique score f 1 est difficile à interpréter, et pénalise de la même façon des erreurs sans importance ou des erreurs qui ont un impact sur l'interprétation de la phrase. ainsi, pour comprendre les capacités des analyseurs actuels, il est nécessaire d'utiliser des méthodes d'évaluation alternatives qui ciblent des phénomènes spécifiques. dans cet article, nous construisons une suite de tests pour automatiser l'analyse des erreurs commises sur les phrases présentant des discontinuités syntaxiques du penn treebank. dans un arbre en constituants discontinus (figure 1), il est possible que les tokens dominés par un noeud représentent plusieurs empans (spans) non contigus de la phrase. par exemple, le groupe nominal (np) discontinu de la figure 1 matérialise l'extraposition en fin de phrase d'un syntagme prépositionel qui est un modifieur du np. ce noeud domine « an instructional video » et « on how [. . .] efficiently », mais pas le syntagme prépositionnel (pp) « to processors ». de telles structures relèvent de grammaires formelles légèrement sensibles au contexte, telles que les lcfrs (vijay-shanker et al., 1987, linear context-free rewriting system), c'est-à-dire des grammaires d'une classe plus expressive que les grammaires hors-contexte (cfg). ce type de structure est particulièrement adéquat pour représenter les phénomènes syntaxiques relatifs aux variations d'ordres des mots, et constitue donc des donneés intéressantes pour évaluer les analyseurs syntaxiques. une suite de tests similaire à celle que nous proposons existe pour l'allemand @xcite . les auteur•es de discosuite ont sélectionné les 1500 premières phrases présentant des discontuités syntaxiques issues du corpus arboré de l'allemand tiger @xcite , et ont annoté pour chacune quel phénomène syntaxique est à l'origine de la discontinuité. ce jeu de tests permet une évaluation fine des analyseurs syntaxiques, sur des phénomènes cibles réputés difficiles à analyser (extrapositions, scrambling, . . .). à notre connaissance, un tel jeu de tests n'existe pas pour d'autres langues. certains travaux présentent une analyse d'erreurs sur le penn treebank @xcite , mais d'une part effectuent une analyse manuelle, arbre par arbre, et d'autres part ne rendent pas publiques leurs annotations. à l'inverse, nous rendons publique notre suite de tests ainsi que des scripts d'évaluation qui permettent d'obtenir de manière automatique une évaluation par phénomène d'un analyseur syntaxique. en effet, nous utilisons la suite de tests pour analyser et comparer les erreurs commises par un analyseur à l'état de l'art dans deux configurations expérimentales distinctes : (i) entraînement utilisant uniquement les données d'entraînement du penn treebank (ii) entraînement utilisant (et affinant) les vecteurs de bert comme source complémentaire d'information. nous montrons que même si bert permet d'atteindre des scores approchant 95% de f 1 , il ne permet toujours pas d'analyser certains phénomènes cibles de manière satisfaisante. ## processus d'annotations nous extrayons tous les arbres présentant au moins un constituant discontinu dans le corpus de validation 1 de la version discontinue du penn treebank @xcite . nous ignorons les phrases pour lesquelles la discontinuité provient uniquement du rattachement de la ponctuation. cela correspond en tout à 266 phrases, c'est-à-dire environ 16% des phrases du corpus. ensuite, pour chaque phrase, nous annotons manuellement quels phénomomènes syntaxiques sont à l'origine des discontinuités, en suivant la classification de @xcite reprise par coavoux et al. (2019) : (i) extractions à longue distance, (ii) citations avec proposition principale en incise, (iii) extraposition à gauche d'une citation (iv) extraposition-it (v) autres extrapositions (vi) inversion sujet-verbe. nous exemplifions ces phénomènes ci-dessous, en matérialisant en gras le constituant discontinu principal : i [. . .] the worst thing that anyone can do [. . .] (phrase 53 du corpus de développement) ; pour certaines phrases, les discontinuités sont dues à plusieurs occurrences de phénomènes distincts dans la même phrase, par exemple la phrase de la figure 1 comporte une extraposition et une extraction. il s'agit de 21 phrases avec 2 occurrences et d'une seule phrase avec 3 occurrences. nous rendons disponibles ces annotations 3 en ligne. and kodak is distributing an instructional video to processors on how to develop its monochrome film more efficiently . figure 2 -arbre prédit par le modèle -bert pour la phrase de la figure 1, présentant des erreurs de rattachement prépositionnel. le modèle +bert ne fait aucune erreur sur cette phrase. conclure de manière automatique lequel des phénomènes a été reconnu ou non (hormis quand le f 1 est à 0 ou 100). par ailleurs, comme il y a très peu d'occurrences de phrases ayant une combinaison spécifique de 2 phénomènes cibles, nous rapportons des statistiques seulement pour la combinaison la plus fréquente (c'est-à-dire les phrases qui contiennent à la fois une extraction à longue distance et une citation extraposée), et nous ignorons les autres (moins de 6 occurrences chacune). résultats par phénomène nous rapportons l'ensemble des résultats dans la en revanche, les citations avec incise sont plutôt mal prédites (0% reconnues par les deux modèles). leur structure est plutôt bien identifiée (> 80% de reconnaissance non étiquetée), mais les analyseurs font systèmatiquement au moins une erreur sur les étiquettes des constituants discontinus. ces erreurs d'étiquetage sont sans doute liées à un manque de traits pour classifier les constituants discontinus @xcite , ce que nous prévoyons de tester. enfin, les extrapositions et les inversions sujet-verbe sont plutôt mal identifiées (≈ 50% de reconnaissance pour le modèle -bert). les extrapositions sont particulièrement difficiles à prédire dans la mesure où elles nécessitent souvent des connaissances syntaxiques et sémantiques fines pour être identifiées. par exemple, pour désambiguïser un des deux rattachements de syntagmes prépositionnels dans l'arbre de la figure 1, il faut savoir que le sujet de la video (on how to [. . .]) est un modifieur possible pour video mais pas pour processors. le modèle +bert ne fait aucune erreur sur cette phrase, alors que le modèle -bert attachent les deux prépositions localement (figure 2) 7 . de manière générale, l'entraînement avec bert améliore tous les résultats en terme de reconnaissance et de score f 1 . en particulier, son effet sur la reconnaissance des extrapositions (de 23.1 à 59%) et sur les extrapositions-it (41.7 à 75%) est remarquable. ## conclusions cet article présente une suite de tests permettant d'évaluer automatiquement les prédictions d'un analyseur en constituants discontinus sur un ensemble de phénomènes cibles réputés difficiles à analyser. nous rendons publique cette suite de tests. enfin, nous présentons une analyse des erreurs d'un analyseur à l'état de l'art dans deux configurations expérimentales, selon qu'il est entraîné par affinage des paramètres de bert ou sans bert. l'analyse met en lumière un résultat prometteur : bert permet d'obtenir le meilleur résultat publié à ce jour en analyse syntaxique discontinue sur le penn treebank, et améliore significativement la prédiction des discontuités syntaxiques présentes dans l'anglais journalistique de l'époque du ptb. cependant, elle montre également qu'il reste une marge d'amélioration pour ces phénomènes. à l'avenir, nous prévoyons d'expérimenter avec d'autres méthodes d'apprentissage semi-supervisées pour traiter cette limitation des analyseurs actuels.