# Une approche par graphe pour l'analyse syntaxique en dépendances de bout en bout de la parole

Adrien Pupier, Maximin Coavoux, Benjamin Lecouteux, Jérôme Goulian

<figure><img src="image_1.png" /></figure>

## To cite this version:

Adrien Pupier, Maximin Coavoux, Benjamin Lecouteux, Jérôme Goulian. Une approche par graphe pour l'analyse syntaxique en dépendances de bout en bout de la parole. 35èmes Journées d'Études sur la Parole (JEP 2024) 31ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN 2024) 26ème Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RECITAL 2024), Jul 2024, Toulouse, France. pp.234-244. hal-04623020

HAL Id: hal-04623020

https://inria.hal.science/hal-04623020v1

Submitted on 1 Jul 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_2.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Une approche par graphe pour l'analyse syntaxique en dépendances de bout en bout de la parole

Adrien Pupier, Maximin Coavoux, Benjamin Lecouteux, Jérôme Goulian

Univ. Grenoble Alpes, CNRS, Grenoble INP, LIG, 38000 Grenoble, France

first.last@univ-grenoble-alpes.fr

## RÉSUMÉ

Effectuer l'analyse syntaxique du signal audio –plutôt que de passer par des transcriptions de l'audio– est une tache récemment proposée par Pupier et al. (2022), dans le but d'incorporer de l'information prosodique dans le modèle d'analyse syntaxique et de passer outre les limitations d'une approche cascade qui consisterait à utiliser un système de reconnaissance de la parole (RAP) puis un analyseur syntaxique. Dans cet article, nous effectuons un ensemble d'expériences visant à comparer les performances de deux familles d'analyseurs syntaxiques : (i) l'approche par graphe et (ii) la réduction à une tâche d'étiquetage de séquence ; directement sur la parole. Nous évaluons notre approche sur un corpus arboré du français parlé. Nous montrons que (i) l'approche par graphe obtient de meilleurs résultats globalement et (ii) qu'effectuer l'analyse syntaxique directement depuis la parole obtient de meilleurs résultats qu'une approche par cascade de systèmes, malgré 30% de paramètres en moins.

## ABSTRACT

A graph-based parser for end-to-end dependency parsing of speech

Direct dependency parsing of the speech signal –as opposed to parsing speech transcriptions– has recently been proposed as a task (Pupier et al., 2022), as a way of incorporating prosodic information into the parsing system and bypassing the limitations of a pipeline approach that would consist of using first an Automatic Speech Recognition (ASR) system and then a syntactic parser. In this article, we report on a set of experiments aiming at assessing the performance of two parsing paradigms (graph-based parsing and sequence labeling based parsing) on speech parsing. We perform this evaluation on a large treebank of spoken French, featuring realistic spontaneous conversations. Our findings show that (i) the graph based approach obtain better results across the board, (ii) parsing directly from speech outperforms a pipeline approach, despite having 30% fewer parameters.

**MOTS-CLÉS** : Analyse syntaxique, parole, modèle pré-entraîné, bout-en-bout.

**KEYWORDS:** : Syntactic parsing, Speech, Pre-trained model, end-to-end.

## 1 Introduction

L'analyse syntaxique est une tâche centrale en traitement automatique des langues (TAL). Au sein de la communauté du TAL, celle-ci a été plutôt effectuée sur des données textuelles, ou plus rarement sur des transcriptions de la parole. Pourtant, la parole est la principale forme de communication entre humains, et constitue le type de données linguistiques le plus naturel, ce qui motive le développement de systèmes de TAL pour la parole, à la fois pour des objectifs applicatifs (par exemple : le sous-titrage
automatique) que pour des objectifs de recherche (par exemple : construire des corpus de grande taille annotés en syntaxe). La majorité des travaux existant sur l'analyse syntaxique de transcriptions de la parole se concentrent sur l'anglais et sur la détection et la suppression de disfluences (Charniak & Johnson, 2001; Johnson & Charniak, 2004; Rasooli & Tetreault, 2013; Honnibal & Johnson, 2014; Jamshid Lou et al., 2019). Autrement dit, il s'agit de 'normaliser' les transcriptions de manière à pouvoir les utiliser en aval avec des systèmes de TAL entraînés sur du texte 'standard'. Utiliser uniquement des transcriptions en entrée est un choix naturel d'un point de vue du TAL : il est possible d'utiliser des analyseurs syntaxiques état de l'art sans modifications. Cependant, les transcriptions prédites peuvent être très bruitées, particulièrement dans le cas des conversations spontanées. De plus, les transcriptions sont des abstractions contenant beaucoup moins d'informations que le signal audio. La prosodie, ainsi que les pauses dans un énoncé, sont des indices importants pour l'analyse syntaxique (Price et al., 1991) qui sont complètement absentes des transcriptions. Ainsi, nous effectuons cette tâche en utilisant seulement le signal audio en entrée. En particulier nous proposons un nouvel algorithme d'analyse syntaxique en dépendances pour la parole utilisant l'approche par graphe (graph-based).

Avec la popularisation des méthodes auto-supervisées et les réseaux neuronaux profonds, les domaines de la parole et du texte utilisent désormais une méthodologie similaire (Chrupała, 2023) : affiner les paramètres d'un modèle auto-supervisé générique sur une tâche applicative particulière. Cette convergence méthodologique a suscité l'intérêt d'autres applications des modèles de l'audio pour aller au-delà de la 'simple' reconnaissance de la parole. Ainsi, aborder les tâches classiques du TAL directement depuis l'audio est un enjeu important pour concevoir des outils de TAL robustes au bruit présent dans la parole. De plus, de nombreuses langues n'ont pas de forme écrite, ce qui proscrit d'utiliser des outils classiques du TAL et motive le développement d'outils de documentation travaillant directement sur le signal audio.

En résumé, nos contributions sont les suivantes :

- Nous présentons un algorithme bout-en-bout d'analyse syntaxique basé sur les graphes;

- Nous évaluons notre analyseur sur Orféo (Benzitoun et al., 2016), un corpus arboré du français parlé contenant essentiellement de la parole spontanée; nous comparons le parser à une approche cascade ainsi qu'à un analyseur basé sur une réduction du problème à l'étiquetage de séquence (Strzyz et al., 2019);

- Nous publions le code à l'adresse suivante : https://github.com/Pupiera/Growing_tree_on/ Growin g_tree_on_soun d.

## 2 Analyseur syntaxique et modèle pré-entraîné

Nous définissons l'analyse syntaxique de la parole comme la tâche consistant à prédire un arbre de dépendance depuis un signal audio correspondant à un énoncé<fnref n="1" />. Les nœuds de l'arbre syntaxique étant constitués des tokens, nous réalisons la reconnaissance automatique de la parole de manière conjointe à l'analyse syntaxique.

Notre analyseur est composé de deux modules (figure 1a) : (i) un modèle acoustique qui prédit les transcriptions et la segmentation du signal en mots et (ii) un module d'analyse syntaxique qui utilise cette segmentation pour construire des représentations vectorielles de mots et prédit les arbres. Ces

<footnote n="1">1. Dans le reste de l'article, nous utiliserons le terme *phrase* pour garder la terminologie issue de la littérature en analyse syntaxique automatique, même si ce terme est sujet à débat lorsqu'il s'agit de langue parlée.</footnote>
<figure><img src="image_3.png" /></figure>

(a) Les deux modèles basés sur des représentations de l’audio. La flèche bleue désigne la configuration **AUDIO**, et la flèche rouge **ORACLE** (cf section 4).

<figure><img src="image_4.png" /></figure>

(b) Les deux modèles de référence basés sur un modèle de langue pré-entraîné. La flèche bleue désigne la configuration **CASCADE**, et la flèche rouge **TEXTE**, (transcriptions manuelles de référence).

<caption>FIGURE 1 – Vue générale de l’architecture avec les 4 configurations décrites dans la section 4.</caption>

deux modules sont entraînés de manière simultanée.

**Construire des vecteurs de mots directement à partir du signal de parole** Pour extraire des représentations depuis le signal de parole, nous utilisons un modèle wav2vec2 (Baevski et al., 2020) pré-entraîné sur 7000 heures de parole en français : LeBenchmark7K<fnref n="2" /> (Parcollet et al., 2024). Ce modèle wav2vec2 construit une suite de représentations vectorielles, chaque vecteur correspondant à un intervalle de 25ms dans le signal de parole. On appelle cette suite de vecteurs la trame du signal.

L’analyse syntaxique nécessitant des représentations vectorielles mot. Nous utilisons la méthodologie de Pupier et al. (2022) pour construire des représentations de mots à partir de ces représentations du signal. Nous utilisons l’algorithme de reconnaissance de la parole CTC (connectionist temporal classification, Graves et al., 2006), qui a la particularité d’étiquer chaque vecteur de la trame avec soit une lettre soit un caractère de séparation ou un caractère spécial ‘vide’ qui permet d’obtenir plusieurs fois la même lettre à la suite. Il est ainsi possible, en identifiant le caractère spécial de séparation (espace) de segmenter la trame du signal audio en mots. Ensuite, la méthode consiste à combiner les vecteurs de trames correspondant à un seul mot à l’aide d’un LSTM, afin d’obtenir une représentation vectorielle de taille fixe pour chaque mot. Intuitivement, cette procédure peut être considérée comme l’analogue des bi-LSTM de caractères classiquement utilisés pour le texte, mais où l’on utiliserait la forme acoustique d’un mot au lieu de sa forme orthographique.

**Analyse syntaxique par graphe** Nous utilisons les représentations de mot audio –dont la construction est décrite ci-dessus– comme entrée de notre implémentation d’un analyseur syntaxique par

<footnote n="2">2. https://huggingface.co/LeBenchmark/wav2vec2-FR-7K-large</footnote>
<figure><img src="image_5.png" /><figcaption>FIGURE 2 – Illustration d'une phrase extraite d'Orféo étiquetée en dep2label ainsi que l'arbre syntaxique en dépendance correspondant.</figcaption></figure>

graphes classique (Dozat & Manning, 2016). Cet analyseur consiste à (i) calculer un score pour chaque arc possible à l'aide d'un classifieur biaffine puis (ii) trouver l'arbre de meilleur score (c'est-à-dire l'arbre maximisant les probabilités globales) en utilisant un algorithme d'arbre couvrant maximal.

**Analyse syntaxique par étiquetage de séquence**

Nous utilisons le même analyseur syntaxique par étiquetage de séquence que Pupier *et al.* (2022). Cet analyseur est basé sur l'approche dep2label (Gómez-Rodríguez *et al.*, 2020; Strzyz *et al.*, 2020). Cette méthode réduit le problème de l'analyse syntaxique à un simple problème d'étiquetage de séquence. Elle nécessite un algorithme réversible pour coder un arbre en dépendances dans une séquence d'étiquettes. Nous utilisons l'algorithme d'encodage par position relative en prenant en compte les parties du discours (appelé *Relative POS-based* par Strzyz *et al.*, 2019). Le gouverneur de chaque mot est codé dans une étiquette de la forme $±Entier@POS$. L'entier correspond à la distance relative du gouverneur en prenant uniquement compte les mots ayant la même partie de discours. Par exemple, –3@NOM signifie que le gouverneur du mot courant est le troisième nom avant le mot courant. Un exemple de cet étiquetage est présenté dans la figure 2. On note que cette méthode ne garantit pas que l'arbre prédit est un arbre en dépendances bien formé.

## 3 Jeu de données

Nous utilisons le corpus arboré CEFC-Orféo, un corpus du français annoté en dépendances et composé de plusieurs sous-corpus : CFPP (CLESTHIA, 2018), Clapi (ICAR, 2017) TCOF (ATILF, 2020), OFROM (Mathieu *et al.*, 2012 2020), Fleuron (André, 2016), French Oral Narrative (FON Carruthers, 2013), C-ORAL-ROM (Cresti *et al.*, 2004), Corpus de référence du français parlé (DELIC *et al.*, 2004), Valibel (Francard *et al.*, 2009), TUFS (Kawaguchi *et al.*, 2006), Corpus de réunions de travail (Husianycia, 2011), et mis à disposition avec les enregistrements audios. Ce corpus contient des types
<table><caption>TABLE 1 – Évaluation sur le corpus de test d'Orféo avec les configurations décrites dans la section 4.</caption><thead><tr><th>Modèle</th><th>WER↓</th><th>CER↓</th><th>POS↑</th><th>UAS↑</th><th>LAS↑</th><th>Nombre de paramètres</th><th>Modèles préentraînés</th></tr></thead><tbody><tr><td>AUDIO SEQ2LABEL</td><td>35.9</td><td>22.3</td><td>73.0</td><td>65.7</td><td>60.4</td><td>315M + 34.9M</td><td>Wav2vec2</td></tr><tr><td>AUDIO GRAPHE</td><td><strong>35.6</strong></td><td><strong>22.1</strong></td><td><strong>73.1</strong></td><td><strong>66.0</strong></td><td><strong>60.9</strong></td><td>315M + 34.9M</td><td>Wav2vec2</td></tr><tr><td>ORACLE SEQ2LABEL</td><td>36.3</td><td>22.2</td><td>75.6</td><td>68.7</td><td>62.7</td><td>315M + 34.9M</td><td>Wav2vec2</td></tr><tr><td>ORACLE GRAPHE</td><td><strong>35.6</strong></td><td><strong>22.2</strong></td><td><strong>77.4</strong></td><td><strong>73.3</strong></td><td><strong>67.5</strong></td><td>315M + 34.9M</td><td>Wav2vec2</td></tr><tr><td>CASCADE SEQ2LABEL</td><td>35.6</td><td>22.0</td><td>70.8</td><td>63.8</td><td>58.4</td><td>314M + 110M + 39.2M</td><td>Wav2vec2 + CamemBERT</td></tr><tr><td>CASCADE GRAPHE</td><td>35.6</td><td>22.0</td><td>69.3</td><td>60.5</td><td>53.1</td><td>314M + 110M + 41.4M</td><td>Wav2vec2 + CamemBERT</td></tr><tr><td>CASCADE HOPS</td><td>35.6</td><td>22.0</td><td><strong>72.4</strong></td><td><strong>65.8</strong></td><td><strong>61.0</strong></td><td>314M + 110M + 100M</td><td>Wav2vec2 + CamemBERT</td></tr><tr><td>TEXTE SEQ2LABEL</td><td>–</td><td>–</td><td>96.9</td><td>88.8</td><td>85.7</td><td>110M + 39.2M</td><td>CamemBERT</td></tr><tr><td>TEXTE GRAPHE</td><td>–</td><td>–</td><td>95.1</td><td>87.4</td><td>84.0</td><td>110M + 41.4M</td><td>CamemBERT</td></tr><tr><td>TEXTE HOPS</td><td>–</td><td>–</td><td><strong>98.2</strong></td><td><strong>90.3</strong></td><td><strong>87.7</strong></td><td>110M + 100M</td><td>CamemBERT</td></tr></tbody></table>

<table><caption>TABLE 2 – Évaluation sur le corpus Valibel (un sous-corpus du jeu de test).</caption><thead><tr><th>Modèle</th><th>WER↓</th><th>CER↓</th><th>POS↑</th><th>UAS↑</th><th>LAS↑</th><th>Nombre de paramètres</th><th>Modèles préentraînés</th></tr></thead><tbody><tr><td>AUDIO SEQ2LABEL</td><td>31.0</td><td>18.4</td><td><strong>77.1</strong></td><td>70.2</td><td>65.2</td><td>315M + 34.9M</td><td>Wav2vec2</td></tr><tr><td>AUDIO GRAPHE</td><td><strong>30.6</strong></td><td><strong>18.2</strong></td><td>77.0</td><td><strong>70.9</strong></td><td><strong>66.2</strong></td><td>315M + 34.9M</td><td>Wav2vec2</td></tr><tr><td>ORACLE SEQ2LABEL</td><td><strong>30.9</strong></td><td><strong>18.6</strong></td><td>78.3</td><td>71.9</td><td>66.2</td><td>315M + 34.9M</td><td>Wav2vec2</td></tr><tr><td>ORACLE GRAPHE</td><td>31.4</td><td>19.2</td><td><strong>79.8</strong></td><td><strong>76.0</strong></td><td><strong>70.4</strong></td><td>315M + 34.9M</td><td>Wav2vec2</td></tr><tr><td>CASCADE SEQ2LABEL</td><td>30.5</td><td>18.2</td><td>74.7</td><td>67.7</td><td>62.4</td><td>314M + 110M + 39.2M</td><td>Wav2vec2 + CamemBERT</td></tr><tr><td>CASCADE GRAPHE</td><td>30.5</td><td>18.2</td><td>73.5</td><td>64.2</td><td>57.3</td><td>314M + 110M + 41.4M</td><td>Wav2vec2 + CamemBERT</td></tr><tr><td>CASCADE HOPS</td><td>30.5</td><td>18.2</td><td><strong>76.3</strong></td><td><strong>69.4</strong></td><td><strong>64.6</strong></td><td>314M + 110M + 100M</td><td>Wav2vec2 + CamemBERT</td></tr><tr><td>TEXTE SEQ2LABEL</td><td>–</td><td>–</td><td>94.5</td><td>86.7</td><td>83.1</td><td>110M + 39.2M</td><td>CamemBERT</td></tr><tr><td>TEXTE GRAPHE</td><td>–</td><td>–</td><td>96.8</td><td>88.3</td><td>84.5</td><td>110M + 41.4M</td><td>CamemBERT</td></tr><tr><td>TEXTE HOPS</td><td>–</td><td>–</td><td><strong>98.2</strong></td><td><strong>90.3</strong></td><td><strong>87.1</strong></td><td>110M + 100M</td><td>CamemBERT</td></tr></tbody></table>

d'interactions variés, ayant toutes des spécificités de la parole spontanée, à l'exception de French Oral Narrative qui contient de la parole lue. Les situations de paroles sont également variées (ex : interactions commerciales, discussions informelles entre amis). Il s'agit du corpus de parole français le plus volumineux annoté en dépendances (196h, 2.5M tokens). Le schéma d'annotation (Benzitoun et al., 2016) contient 20 parties du discours et 14 étiquettes de relations syntaxiques.

Les annotations syntaxiques d'Orféo ont été effectuées manuellement (données *gold* ou de référence) pour environ 5% du corpus, et automatiquement pour le reste (données *silver*). Les jeux d'entraînement/validation/test que nous utilisons dans cet article font en sorte que le jeu de validation ainsi que celui de test ne contiennent que des données annotées manuellement. Cependant, les sous-corpus avec les annotations de référence correspondent aussi à des enregistrements audios de qualité faible, ce qui rend la tâche difficile.

# 4 Expérimentations

**Configurations expérimentales** Nos expériences ont pour but de répondre aux questions suivantes :

- Est-ce qu'une approche bout-en-bout est préférable à une approche par cascade de systèmes ?

- Quel algorithme d'analyse (par graphe ou par étiquetage de séquence) est le plus approprié pour l'analyse syntaxique de la parole ?
<table><caption>TABLE 3 – Comparaison des métriques d'analyse syntaxique avec l'architecture basée sur les graphes et différents nombres de paramètres.</caption><thead><tr><th></th><th>WER↓</th><th>CER↓</th><th>POS↑</th><th>UAS↑</th><th>LAS↑</th><th>Nombre de paramètres</th></tr></thead><tbody><tr><th>Graph-tiny</th><td>35.7</td><td>22.3</td><td>73.0</td><td>65.9</td><td>60.8</td><td>314M + 11.7M</td></tr><tr><th>Graph-base</th><td>35.6</td><td>22.1</td><td>73.1</td><td>66.1</td><td>60.9</td><td>314M + 34.9M</td></tr><tr><th>Graph-large</th><td>35.6</td><td>22.0</td><td>73.2</td><td>66.0</td><td>60.7</td><td>314M + 67.6M</td></tr></tbody></table>

- Est-ce qu'une approche est plus ou moins robuste au bruit inhérent du signal de parole ? Est-ce que les frontières de mot prédites sont un facteur important pour les différents systèmes ? Est-ce que les deux approches sont aussi robustes aux erreurs du module de RAP ?

Pour répondre à ces questions, nous comparons les configurations expérimentales suivantes, également illustrées par la figure 1 :

- **AUDIO**: Utilise uniquement **l'audio** comme entrée, le modèle crée des représentations vectorielles de mot depuis les représentations acoustiques comme décrit dans la section 2.

- **ORACLE**: Utilise **l'audio** ainsi que les **horodatages des mots** disponibles dans le corpus<fnref n="3" />, ce qui rend la construction de vecteurs de mot plus facile et réduit l'impact de la qualité de la reconnaissance de la parole sur l'analyse syntaxique.

- **CASCADE**: Utilise seulement les **transcriptions prédites** par le modèle acoustique. Ensuite, un modèle de langue pré-entraîné calcule des vecteurs de mots contextualisés qui sont ensuite utilisés par le module d'analyse syntaxique. Dans cette configuration, nous modifions les arbres d'entraînement pour prendre en compte les suppressions ou insertions de mot. Cependant, comme pour l'approche basée sur l'audio, les insertions ou suppressions impactent le score global, car le score final est évalué sur les transcriptions manuelles et non sur une version modifiée. L'inconvénient de cette approche est que les informations prosodiques ne sont pas accessibles.

- **TEXTE**: Utilise les **transcriptions manuelles de référence**: cette configuration artificielle permet d'obtenir une borne supérieure pour les performances du modèle dans un cas idéal (RAP parfaite).

Les configurations **AUDIO** et **ORACLE** sont des modèles conjoints multitâches pour la RAP et l'analyse syntaxique. Comme les deux modules (RAP et analyse syntaxique) sont entraînés simultanément dans ces configurations, les résultats en RAP ne sont pas identiques d'une expérience à l'autre.

Les configurations **CASCADE** et **TEXTE** utilisent un modèle BERT du français : camembert-base<fnref n="4" /> (Martin et al., 2020) pour extraire des représentations vectorielles contextualisées. En plus de nos implémentations, nous utilisons également hops (Grobol & Crabbé, 2021), un analyseur syntaxique état-de-l'art. L'analyseur hops utilise également un bi-LSTM de caractères en plus de BERT pour produire des représentations vectorielles des mots, contrairement à nos implémentations qui sont conçues pour varier minimalement d'une configuration à l'autre.

Chaque méthode d'analyse pour chaque modalité est entraînée avec le même nombre d'époques, les même hyperparamètres (voir tables 4 et 5) et approximativement le même nombre de paramètres. Nos implémentations utilisent la bibliothèque speechbrain (Ravanelli et al., 2021). La liste complète

<footnote n="3">3. Le corpus contient des horodatages construits automatiquement via un alignement forcé, c'est-à-dire que l'on dispose pour chaque mot des instants correspondant à son début et à sa fin.</footnote>

<footnote n="4">4. https://huggingface.co/almanach/camembert-base</footnote>
<table><thead><tr><th>Analyseur</th><th>SEQ2LABEL</th><th>GRAPHE</th></tr></thead><tbody><tr><td>Époques</td><td>30</td><td>30</td></tr><tr><td>Taille de batch</td><td>8</td><td>8</td></tr><tr><td colspan="3">Paramètres d'optimisation</td></tr><tr><td>Pas d'apprentissage</td><td>0.0001</td><td>0.0001</td></tr><tr><td>Algorithme d'optimisation</td><td>AdaDelta</td><td>AdaDelta</td></tr><tr><td>Model pré entraîné</td><td colspan="2">LeBenchmark7K</td></tr><tr><td colspan="3">Encodeur</td></tr><tr><td>Nombre de couches</td><td>3</td><td>3</td></tr><tr><td>Dropout</td><td>0.15</td><td>0.15</td></tr><tr><td>Dimension de l'encodeur</td><td>1024</td><td>1024</td></tr><tr><td>Fonction d'activation</td><td>LeakyReLU</td><td>LeakyRelu</td></tr><tr><td colspan="3">Fusion LSTM</td></tr><tr><td>Nombre de couches</td><td>2</td><td>2</td></tr><tr><td>Dimension</td><td>500</td><td>500</td></tr><tr><td>Bidirectionnel</td><td>non</td><td>non</td></tr><tr><td>Biais</td><td>oui</td><td>oui</td></tr><tr><td colspan="3">LSTM parser</td></tr><tr><td>Nombre de couches</td><td>2</td><td>3</td></tr><tr><td>Dimensions</td><td>800</td><td>768</td></tr><tr><td>Bidirectionnel</td><td>oui</td><td>oui</td></tr><tr><td colspan="3">Étiqueteur (SEQ2LABEL)</td></tr><tr><td>Dimension</td><td>1600</td><td></td></tr><tr><td>Nombre de couches</td><td>1</td><td></td></tr><tr><td>Nombre d'étiquettes dep2label</td><td>846</td><td></td></tr><tr><td>Nombre d'étiquettes POS</td><td>23</td><td></td></tr><tr><td>Nombre d'étiquettes syntaxiques</td><td>19</td><td></td></tr><tr><td colspan="3">MLP pour les arcs (GRAPHE)</td></tr><tr><td>Dimension</td><td>768</td><td></td></tr><tr><td>Nombre de couches</td><td>1</td><td></td></tr><tr><td>Taille de la couche de sortie</td><td>768</td><td></td></tr><tr><td colspan="3">MLP pour les étiquettes syntaxiques (GRAPHE)</td></tr><tr><td>Dimension</td><td>768</td><td></td></tr><tr><td>Nombre de couches</td><td>1</td><td></td></tr><tr><td>Taille de la couche de sortie</td><td>768</td><td></td></tr><tr><td colspan="3">MLP pour les POS (GRAPHE)</td></tr><tr><td>Dimension</td><td>768</td><td></td></tr><tr><td>Taille de la couche de sortie</td><td>24</td><td></td></tr></tbody></table>

<table><caption>TABLE 4 – Hyperparamètres pour les configurations AUDIO et ORACLE SEQ2LABEL et GRAPHE.</caption><thead><tr><th>Analyseur</th><th>SEQ2LABEL</th><th>GRAPHE</th><th>HOPS</th></tr></thead><tbody><tr><td>Époques</td><td>40</td><td>40</td><td>40</td></tr><tr><td>Taille de batch</td><td>32</td><td>32</td><td>32</td></tr><tr><td colspan="4">Paramètres d'optimisation</td></tr><tr><td>Pas d'apprentissage</td><td>0.001</td><td>0.001</td><td>0.00003</td></tr><tr><td>Algorithme d'optimisation</td><td>Adam</td><td>Adam</td><td>Adam</td></tr><tr><td>Modelle pré entraîné</td><td colspan="3">camembert_base</td></tr><tr><td>Plongements lexicaux</td><td>demière couche</td><td>demière couche</td><td>Moy. de 12 couches</td></tr><tr><td>Taille des plongements</td><td>768</td><td>768</td><td>768</td></tr><tr><td colspan="4">Bi-LSTM de caractères HOPS</td></tr><tr><td>Taille des plongements</td><td colspan="3">128</td></tr><tr><td colspan="4">Plongements lexicaux HOPS</td></tr><tr><td>Taille des plongements</td><td colspan="3">256</td></tr><tr><td colspan="4">LSTM parser</td></tr><tr><td>Dimension</td><td>768</td><td>768</td><td>512</td></tr><tr><td>Nombre de couches</td><td>3</td><td>2</td><td>3</td></tr><tr><td>Bidirectionnel</td><td>oui</td><td>oui</td><td>oui</td></tr><tr><td colspan="4">Étiqueteur (SEQ2LABEL)</td></tr><tr><td>Dimension</td><td>1536</td><td></td><td></td></tr><tr><td>Nombre de couches</td><td>1</td><td></td><td></td></tr><tr><td>Nombre d'étiquettes dep2label</td><td>846</td><td></td><td></td></tr><tr><td>Nombre d'étiquettes POS</td><td>23</td><td></td><td></td></tr><tr><td>Nombre d'étiquettes syntaxiques</td><td>19</td><td></td><td></td></tr><tr><td colspan="4">MLP pour les arcs (GRAPHE and HOPS)</td></tr><tr><td>Dimension</td><td>768</td><td></td><td>1024</td></tr><tr><td>Nombre de couches</td><td>1</td><td></td><td>2</td></tr><tr><td>Taille de la couche de sortie</td><td>768</td><td></td><td>768</td></tr><tr><td colspan="4">MLP pour les étiquettes syntaxiques (GRAPHE)</td></tr><tr><td>Dimension</td><td>768</td><td></td><td>1024</td></tr><tr><td>Nombre de couches</td><td>1</td><td></td><td>2</td></tr><tr><td>Taille de la couche de sortie</td><td>768</td><td></td><td>768</td></tr><tr><td colspan="4">POS MLP (GRAPHE)</td></tr><tr><td>Dimension</td><td>768</td><td></td><td>1024</td></tr><tr><td>Taille de la couche de sortie</td><td>24</td><td></td><td>24</td></tr></tbody></table>

<caption>TABLE 5 – Hyperparamètres pour les configurations CASCADE et TEXTE SEQ2LABEL, GRAPHE et CASCADE.</caption>

des hyperparamètres que nous utilisons est présentée dans les tableaux 4 et 5.

**Métriques d'évaluation** Nous utilisons les métriques d'évaluation classiques : taux d'erreur mot (WER) et taux d'erreur caractère (CER) pour la RAP, exactitude des parties de discours (POS), Score d'attachement non étiqueté (UAS), et Score d'attachement étiqueté (LAS) pour l'analyse en dépendances.

Les résultats sont présentés dans le tableau 1 pour tout le corpus, et dans le tableau 2 pour un sous-corpus du jeu de test (Valibel) pour lequel la RAP est moins difficile.

**Résultats : effet de la reconnaissance de la parole sur la qualité de l'analyse syntaxique** Dans le tableau 1, nous observons que les approches par graphe ou seq2label donnent des résultats similaires quand aucune information additionnelle n'est fournie, ce qui montre que le facteur limitant du modèle est la reconnaissance de la parole plutôt que l'analyse syntaxique.

Il est important de noter qu'étant donnée la nature du corpus (conversation spontanée), le WER est plus haut que ce que l'on pourrait typiquement attendre en reconnaissance de la parole sur des corpus classiques de cette tâche (qui contiennent plutôt de la parole lue). Par exemple, le module RAP de notre modèle atteint environ 8 WER quand il est entraîné et évalué sur CommonVoice5.1 (Ardila et al.,
2020). D'autres indices de cela sont montrés dans le tableau 3 : changer le nombre de paramètres du modèle basé sur les graphes ne modifie pas significativement les performances. De plus, dans le tableau 2, nous observons une claire amélioration des résultats quand on évalue sur un corpus avec des meilleures performances au niveau de la RAP. La qualité du module de RAP affecte directement le nombre de mots reconnus (certains peuvent être supprimés ou ajoutés), ce qui affecte la qualité de l'analyse.

**Résultats : différence entre étiquetage de séquence et approche par graphe**
Il est relativement surprenant que sur la modalité textuelle (CASCADE), l'approche par étiquetage obtient de meilleures performances que l'approche par graphe étant donné que ce n'est pas le cas sur d'autres modalités (AUDIO). Ainsi, l'approche GRAPHE semble être plus sensible au bruit provenant de l'approche par CASCADE que l'approche SEQ2LABEL. Cependant, elle ne parvient pas à surpasser un modèle graphe plus large et plus complexe utilisant un bi-LSTM de caractères comme hops. Ce bi-LSTM de caractères réduit probablement l'impact des mots hors vocabulaire produits à cause des erreurs orthographiques de la RAP.

Sur les configurations AUDIO et ORACLE, le modèle basé sur les graphes obtient de meilleures performances, mais l'écart entre la configuration AUDIO et ORACLE est plus important que pour le modèle SEQ2LABEL. En effet, cet écart sur le LAS est de 7 points pour le modèle GRAPHE alors qu'il est de seulement 2 points pour SEQ2LABEL. Cela suggère que le modèle GRAPHE est plus efficace pour extraire des informations syntaxique directement depuis le signal, mais qu'il est plus sensible au bruit présent dans le signal de parole. On peut également faire l'hypothèse que le décodage global du système GRAPHE est plus adapté pour extraire les arbres syntaxiques. Le plus grand écart entre les deux approches a lieu quand plus d'informations à propos de la segmentation du signal audio sont données au modèle (ORACLE), réduisant l'influence de la RAP sur la qualité de l'analyse. On peut supposer que l'approche GRAPHE est plus adaptée pour l'analyse syntaxique directement depuis le signal de parole, particulièrement quand le WER baisse.

**Transcrire puis analyser ou analyser directement ?**
L'approche CASCADE avec hops atteint des performances similaires à la version AUDIO avec notre analyseur par graphe. Cependant, le modèle cascade utilisant hops est un modèle plus complexe et n'est pas complètement comparable à notre analyseur. De plus, il possède environ 50% de paramètres en plus que notre modèle, nécessite 2 modèles pré-entraînés ; il est donc plus coûteux à entraîner.

Finalement, le tableau 2 montre que l'approche AUDIO surpasse l'approche CASCADE quand la qualité de la RAP augmente. Ce résultat suggère que l'analyse syntaxique profite de l'audio dès lors que la RAP atteint une qualité raisonnable.

**Limitations**
Nous évaluons seulement nos analyseurs sur le français, grâce à la disponibilité d'un grand corpus arboré, ainsi nos conclusions doivent être interprétées dans ce cadre restreint. Nous comptons étendre ce travail à d'autres langues dans le futur.

Nous n'avons pas effectué une recherche poussée d'hyperparamètres, à cause du coût computationnel, mais nous avons dédié approximativement le même budget computationnel pour chaque modèle dans une configuration donnée.
# 5 Conclusion

Nous avons présenté un analyseur syntaxique par graphe prenant uniquement le signal audio en tant qu’entrée et avons évalué ses performances dans des expériences variées et avec plusieurs expériences contrôles. Nous montrons qu’un simple analyseur syntaxique basé sur les graphes avec wav2vec2 obtient des résultats similaires ou surpasse des modèles plus complexe nécessitant deux modèles pré-entraînés. Avec l’expérience de contrôle (ORACLE), nous montrons qu’obtenir des représentations vectorielles de mot de bonne qualité est le défi principal pour l’analyse syntaxique de la parole. Nous supposons également que l’approche par GRAPHE est plus adaptée pour l’analyse syntaxique directement depuis le signal de parole qu’une approche par étiquetage de séquence. Nous concentrerons nos efforts futurs sur l’amélioration de la qualité de la segmentation du signal audio pour pallier ces problèmes.

# Remerciements

Nous remercions les relecturices anonymes pour leur remarques et suggestions. Ce travail a bénéficié d'un financement du Fond National Suisse (No. 197864) et de l'Agence Nationale de la Recherche, via les projet PROPICTO (ANR-20-CE93-0005) et SynPaX (ANR-23-CE23-0017). Ce travail a également bénéficié d'un accès aux moyens de calcul de l'IDRIS via l'allocation de ressources AD011013463R1 attribuée par GENCI.

# Références

ANDRÉ V. (2016). Fleuron : Français langue Étrangère universitaire-ressources et outils numériques.

ARDILA R., BRANSON M., DAVIS K., KOHLER M., MEYER J., HENRETTY M., MORAIS R., SAUNDERS L., TYERS F. & WEBER G. (2020). Common voice : A massively-multilingual speech corpus. In *Proceedings of the Twelfth Language Resources and Evaluation Conference*, p. 4218–4222, Marseille, France : European Language Resources Association.

ATILF (2020). Tcof : Traitement de corpus oraux en français. ORTOLANG (Open Resources and TOols for LANGuage) –www.ortolang.fr.

BAEVSKI A., ZHOU Y., MOHAMED A. & AULI M. (2020). wav2vec 2.0 : A framework for self-supervised learning of speech representations. *Advances in Neural Information Processing Systems*, 33, 12449–12460.

BENZITOUN C., DEBAISIEUX J.-M. & DEULOFEU H.-J. (2016). Le projet orféo : un corpus d'étude pour le français contemporain. *Corpus*, (15).

CARRUTHERS J. (2013). French oral narrative corpus. Commissioning Body / Publisher : Oxford Text Archive.

CHARNIAK E. & JOHNSON M. (2001). Edit detection and parsing for transcribed speech. In *Second Meeting of the North American Chapter of the Association for Computational Linguistics*.

CHRUPAŁA G. (2023). Putting natural in natural language processing. In A. ROGERS, J. BOYD-GRABER & N. OKAZAKI, Éds., *Findings of the Association for Computational Linguistics : ACL 2023*, p. 7820–7827, Toronto, Canada : Association for Computational Linguistics. DOI : 10.18653/v1/2023.findings-ac1.495.
CLESTHIA (2018). Cfpp2000. ORTOLANG (Open Resources and TOols for LANGuage) –www.ortolang.fr.

CRESTI E., DO NASCIMENTO F. B., SANDOVAL A. M., VERONIS J., MARTIN P. & CHOUKRI K. (2004). The c-oral-rom corpus. a multilingual resource of spontaneous speech for romance languages. p. 26–28.

DELIC E., TESTON-BONNARD S. & VÉRONIS J. (2004). Présentation du corpus de référence du français parlé. *Recherches sur le français parlé, 18*, 11–42. Equipe DELIC, HAL : halshs-01388193.

DOZAT T. & MANNING C. D. (2016). Deep biaffine attention for neural dependency parsing. In *International Conference on Learning Representations*.

FRANCARD M., HAMBYE P., SIMON A.-C. & DISTER A. (2009). Du corpus à la banque de données. : Du son, des textes et des métadonnées. l'évolution de banque de données textuelles orales valibel (1989-2009). *Cahiers de l'Institut de linguistique de Louvain-CILL*, **33**(2), 113.

GÓMEZ-RODRÍGUEZ C., STRZYZ M. & VILARES D. (2020). A unifying theory of transition-based and sequence labeling parsing. In D. SCOTT, N. BEL & C. ZONG, Éds., *Proceedings of the 28th International Conference on Computational Linguistics*, p. 3776–3793, Barcelona, Spain (Online) : International Committee on Computational Linguistics. DOI : 10.18653/v1/2020.coling-main.336.

GRAVES A., FERNÁNDEZ S., GOMEZ F. & SCHMIDHUBER J. (2006). Connectionist temporal classification : Labelling unsegmented sequence data with recurrent neural networks. In *Proceedings of the 23rd International Conference on Machine Learning*, ICML ’06, p. 369–376, New York, NY, USA : Association for Computing Machinery. DOI : 10.1145/1143844.1143891.

GROBOL L. & CRABBÉ B. (2021). Analyse en dépendances du français avec des plongements contextualisés (French dependency parsing with contextualized embeddings). In P. DENIS, N. GRABAR, A. FRAISSE, R. CARDON, B. JACQUEMIN, E. KERGOSIEN & A. BALVET, Éds., *Actes de la 28e Conférence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conférence principale*, p. 106–114, Lille, France : ATALA.

HONNIBAL M. & JOHNSON M. (2014). Joint incremental disfluency detection and dependency parsing. *Transactions of the Association for Computational Linguistics*, **2**, 131–142. DOI : 10.1162/tacl_a_00171.

HUSIANYCIA M. (2011). *Caractérisation de types de discours dans des situations de travail*. Theses, Université Nancy 2. HAL : tel-01749085.

ICAR (2017). Clapi. ORTOLANG (Open Resources and TOols for LANGuage) –www.ortolang.fr.

JAMSHID LOU P., WANG Y. & JOHNSON M. (2019). Neural constituency parsing of speech transcripts. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 2756–2765, Minneapolis, Minnesota : Association for Computational Linguistics. DOI : 10.18653/v1/N19-1282.

JOHNSON M. & CHARNIAK E. (2004). A TAG-based noisy-channel model of speech repairs. In *Proceedings of the 42nd Annual Meeting of the Association for Computational Linguistics (ACL-04)*, p. 33–39, Barcelona, Spain. DOI : 10.3115/1218955.1218960.

KAWAGUCHI Y., ZAIMA S. & TAKAGAKI T., Éds. (2006). *Spoken Language Corpus and Linguistic Informatics*. John Benjamins.

MARTIN L., MULLER B., ORTIZ SUÁREZ P. J., DUPONT Y., ROMARY L., DE LA CLERGERIE É., SEDDAH D. & SAGOT B. (2020). CamemBERT : a tasty French language model. In D. JURAFSKY, J. CHAI, N. SCHLUTER & J. TETREAULT, Éds., *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 7203–7219, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2020.acl-main.645.
MATHIEU A., MARIE-JOSÉ B., GILLES C., FEDERICA D. & ANNE J. L. ((2012-2020)). Corpus ofrem - corpus oral de français de suisse romande. Université de Neuchâtel.

PARCOLLET T., NGUYEN H., EVAIN S., ZANON BOITO M., PUPIER A., MDHAFFAR S., LE H., ALISAMIR S., TOMASHENKO N., DINARELLI M., ZHANG S., ALLAUZEN A., COAVOUX M., ESTÈVE Y., ROUVIER M., GOULIAN J., LECOUTEUX B., PORTET F., ROSSATO S., RINGEVAL F., SCHWAB D. & BESACIER L. (2024). LeBenchmark 2.0 : A standardized, replicable and enhanced framework for self-supervised representations of french speech. *Computer Speech Language*, **86**, 101622. DOI: https://doi.org/10.1016/j.csl.2024.101622.

PRICE P. J., OSTENDORF M., SHATTUCK-HUFNAGEL S. & FONG C. (1991). The use of prosody in syntactic disambiguation. *the Journal of the Acoustical Society of America*, **90**(6), 2956-2970.

PUPIER A., COAVOUX M., LECOUTEUX B. & GOULIAN J. (2022). End-to-End Dependency Parsing of Spoken French. In *Proc. Interspeech 2022*, p. 1816–1820. DOI: 10.21437/Interspeech.2022-381.

RASOOLI M. S. & TETREAULT J. (2013). Joint parsing and disfluency detection in linear time. In *Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing*, p. 124–129, Seattle, Washington, USA : Association for Computational Linguistics.

RAVANELLI M., PARCOLLET T., PLANTINGA P., ROUHE A., CORNELL S., LUGOSCH L., SUBAKAN C., DAWALATABAD N., HEBA A., ZHONG J., CHOU J.-C., YEH S.-L., FU S.-W., LIAO C.-F., RASTORGUEVA E., GRONDIN F., ARIS W., NA H., GAO Y., MORI R. D. & BENGIO Y. (2021). SpeechBrain : A general-purpose speech toolkit. arXiv:2106.04624.

STRZYZ M., VILARES D. & GÓMEZ-RODRÍGUEZ C. (2019). Viable dependency parsing as sequence labeling. In J. BURSTEIN, C. DORAN & T. SOLORIO, Éds., *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 717–723, Minneapolis, Minnesota : Association for Computational Linguistics. DOI: 10.18653/v1/N19-1077.

STRZYZ M., VILARES D. & GÓMEZ-RODRÍGUEZ C. (2020). Bracketing encodings for 2-planar dependency parsing. In D. SCOTT, N. BEL & C. ZONG, Éds., *Proceedings of the 28th International Conference on Computational Linguistics*, p. 2472–2484, Barcelona, Spain (Online) : International Committee on Computational Linguistics. DOI: 10.18653/v1/2020.coling-main.223.