Une approche par graphe pour l’analyse syntaxique en dépendances de bout en bout de la parole (2024)

Abstract: Effectuer l’analyse syntaxique du signal audio –plutôt que de passer par des transcriptions de l’audio– est une tache récemment proposée par Pupier et al. (2022), dans le but d’incorporer de l’information prosodique dans le modèle d’analyse syntaxique et de passer outre les limitations d’une approche cascade qui consisterait à utiliser un système de reconnaissance de la parole (RAP) puis un analyseur syntaxique. Dans cet article, nous effectuons un ensemble d’expériences visant à comparer les performances de deux familles d’analyseurs syntaxiques (i) l’approche par graphe (ii) la réduction à une tâche d’étiquetage de séquence ; directement sur la parole. Nous évaluons notre approche sur un corpus arboré du Français parlé. Nous montrons que (i) l’approche par graphe obtient de meilleurs résultats globalement (ii) effectuer l’analyse syntaxique directement depuis la parole obtient de meilleurs résultats qu’une approche par cascade de systèmes, malgré 30 de paramètre en moins

## introduction l'analyse syntaxique est une tâche centrale en traitement automatique des langues (tal). au sein de la communauté du tal, celle-ci a été plutôt effectuée sur des données textuelles, ou plus rarement sur des transcriptions de la parole. pourtant, la parole est la principale forme de communication entre humain•es, et constitue le type de données linguistiques le plus naturel, ce qui motive le développement de systèmes de tal pour la parole, à la fois pour des objectifs applicatifs (par exemple : le sous-titrage automatique) que pour des objectifs de recherche (par exemple : construire des corpus de grande taille annotés en syntaxe). la majorité des travaux existant sur l'analyse syntaxique de transcriptions de la parole se concentrent sur l'anglais et sur la détection et la suppression de disfluences @xcite @xcite @xcite . autrement dit, il s'agit de 'normaliser' les transcriptions de manière à pouvoir les utiliser en aval avec des systèmes de tal entraînés sur du texte 'standard'. utiliser uniquement des transcriptions en entrée est un choix naturel d'un point de vue du tal : il est possible d'utiliser des analyseurs syntaxiques état de l'art sans modifications. cependant, les transcriptions prédites peuvent être très bruitées, particulièrement dans le cas des conversations spontanées. de plus, les transcriptions sont des abstractions contenant beaucoup moins d'informations que le signal audio. la prosodie, ainsi que les pauses dans un énoncé, sont des indices importants pour l'analyse syntaxique @xcite qui sont complètement absentes des transcriptions. ainsi, nous effectuons cette tâche en utilisant seulement le signal audio en entrée. en particulier nous proposons un nouvel algorithme d'analyse syntaxique en dépendances pour la parole utilisant l'approche par graphe (graph-based). avec la popularisation des méthodes auto-supervisées et les réseaux neuronaux profonds, les domaines de la parole et du texte utilisent désormais une méthodologie similaire @xcite : affiner les paramètres d'un modèle auto-supervisé générique sur une tâche applicative particulière. cette convergence méthodologique a suscité l'intérêt d'autres applications des modèles de l'audio pour aller au-delà de la 'simple' reconnaissance de la parole. ainsi, aborder les tâches classiques du tal directement depuis l'audio est un enjeu important pour concevoir des outils de tal robustes au bruit présent dans la parole. de plus, de nombreuses langues n'ont pas de forme écrite, ce qui proscrit d'utiliser des outils classiques du tal et motive le développement d'outils de documentation travaillant directement sur le signal audio. en résumé, nos contributions sont les suivantes : ## analyseur syntaxique et modèle pré-entraîné nous définissons l'analyse syntaxique de la parole comme la tâche consistant à prédire un arbre de dépendance depuis un signal audio correspondant à un énoncé foot_0 . les noeuds de l'arbre syntaxique étant constitués des tokens, nous réalisons la reconnaissance automatique de la parole de manière conjointe à l'analyse syntaxique. notre analyseur est composé de deux modules (figure 1a ) : (i) un modèle acoustique qui prédit les transcriptions et la segmentation du signal en mots et (ii) un module d'analyse syntaxique qui utilise cette segmentation pour construire des représentations vectorielles de mots et prédit les arbres. ces deux modules sont entraînés de manière simultanée. construire des vecteurs de mots directement à partir du signal de parole pour extraire des représentations depuis le signal de parole, nous utilisons un modèle wav2vec2 (baevski et al., 2020) pré-entraîné sur 7000 heures de parole en français : lebenchmark7k 2 (parcollet et al., 2024). ce modèle wav2vec2 construit une suite de représentations vectorielles, chaque vecteur correspondant à un intervalle de 25ms dans le signal de parole. on appelle cette suite de vecteurs la trame du signal. l'analyse syntaxique nécessitant des représentations vectorielles mot. nous utilisons la méthodologie de pupier et al. (2022) pour construire des représentations de mots à partir de ces représentations du signal. nous utilisons l'algorithme de reconnaissance de la parole ctc (connectionist temporal classification, graves et al., 2006), qui a la particularité d'étiqueter chaque vecteur de la trame avec soit une lettre soit un caractère de séparation ou un caractère spécial 'vide' qui permet d'obtenir plusieurs fois la même lettre à la suite. il est ainsi possible, en identifiant le caractère spécial de séparation (espace) de segmenter la trame du signal audio en mots. ensuite, la méthode consiste à combiner les vecteurs de trames correspondant à un seul mot à l'aide d'un lstm, afin d'obtenir une représentation vectorielle de taille fixe pour chaque mot. intuitivement, cette procédure peut être considérée comme l'analogue des bi-lstm de caractères classiquement utilisés pour le texte, mais où l'on utiliserait la forme acoustique d'un mot au lieu de sa forme orthographique. analyse syntaxique par graphe nous utilisons les représentations de mot audio -dont la construction est décrite ci-dessus-comme entrée de notre implémentation d'un analyseur syntaxique par figure 2 -illustration d'une phrase extraite d'orféo étiquetée en dep2label ainsi que l'arbre syntaxique en dépendance correspondant. graphes classique (dozat & manning, 2016). cet analyseur consiste à (i) calculer un score pour chaque arc possible à l'aide d'un classifieur biaffine puis (ii) trouver l'arbre de meilleur score (c'est-à-dire l'arbre maximisant les probabilités globales) en utilisant un algorithme d'arbre couvrant maximal. analyse syntaxique par étiquetage de séquence nous utilisons le même analyseur syntaxique par étiquetage de séquence que pupier et al. (2022). cet analyseur est basé sur l'approche dep2label (gómez-rodríguez et al., 2020; strzyz et al., 2020). cette méthode réduit le problème de l'analyse syntaxique à un simple problème d'étiquetage de séquence. elle nécessite un algorithme réversible pour coder un arbre en dépendances dans une séquence d'étiquettes. nous utilisons l'algorithme d'encodage par position relative en prenant en compte les parties du discours (appelé relative posbased par strzyz et al., 2019). le gouverneur de chaque mot est codé dans une étiquette de la @xmath0. l'entier correspond à la distance relative du gouverneur en prenant uniquement compte les mots ayant la même partie de discours. par exemple, -3@nom signifie que le gouverneur du mot courant est le troisième nom avant le mot courant. un exemple de cet étiquetage est présenté dans la figure 2. on note que cette méthode ne garantit pas que l'arbre prédit est un arbre en dépendances bien formé. ## jeu de données nous utilisons le corpus arboré cefc-orféo, un corpus du français annoté en dépendances et composé de plusieurs sous-corpus : cfpp (clesthia, 2018), clapi (icar, 2017) tcof (atilf, 2020), ofrom @xcite , fleuron @xcite , french oral narrative ( @xcite , c-oral-rom @xcite , corpus de référence du français parlé @xcite , valibel @xcite , tufs @xcite , corpus de réunions de travail @xcite , et mis à disposition avec les enregistrements audios. ce corpus contient des types