# Actes des 5èmes journées du Groupement de Recherche CNRS “ Linguistique Informatique, Formelle et de Terrain ”

Karën Fort, Claire Gardent, Yannick Parmentier

## ► To cite this version:

Karën Fort, Claire Gardent, Yannick Parmentier. Actes des 5èmes journées du Groupement de Recherche CNRS “ Linguistique Informatique, Formelle et de Terrain ”. pp.135, 2023. hal-04313917

HAL Id: hal-04313917

https://hal.science/hal-04313917v1

Submitted on 29 Nov 2023

HAL is a multi-disciplinary open access archive for the deposit and dissemination of scientific research documents, whether they are published or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d'enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons CC BY 4.0 - Attribution - International License
<figure><img src="image_2.png" /></figure>
## Préface

La linguistique informatique met à la disposition des linguistes un large éventail de techniques et de ressources qui ouvrent des perspectives nouvelles pour l'analyse linguistique, que ce soit pour collecter et annoter des données ou pour extraire ou vérifier des généralisations linguistiques. L'objectif du Groupement de Recherche LIFT (Linguistique Informatique, Formelle et de Terrain) est d'explorer ce potentiel en tirant parti d'un réseau scientifique favorisant les interactions entre linguistes, linguistes de terrain et linguistes informaticien.ne.s et de favoriser l'émergence de méthodes nouvelles qui bénéficient à la fois aux linguistes (automatisation des processus d'analyse et de validation), aux linguistes de terrain (facilitation des processus de collecte et d'analyse des données) et aux linguistes informaticien.ne.s (développement de nouvelles techniques nécessitées par l'analyse linguistique, essor des méthodes non ou faiblement supervisées pour l'analyse des langues peu dotées, peu écrites ou non documentées).

Les journées LIFT sont un rendez-vous annuel qui offre un forum d'échanges aux trois communautés de linguistes. Cet événement, qui accueille habituellement une petite cinquantaine de participants, couvre des sujets très divers tels que les approches formelles, la documentation linguistique ou encore le traitement automatique des dialectes et des langues peu dotées.

Cette année, 18 communications seront présentées sous formes de posters et deux panels interactifs d'1h30 seront organisés autour des questions "Approches fondées sur l'expertise vs approches fondées sur les données : quelle place pour la linguistique?", animé par Yannick Parmentier de l'Université de Lorraine, et "Variation et diversité linguistique : quelles questions se posent encore face à la variabilité dans les données langagières?", animé par Delphine Bernhard de l'Université de Strasbourg. L'alternance de sessions posters avec ces panels de discussion devraient permettre de susciter des échanges fructueux.

Les trois conférencièr.e.s invité.e.s présenteront des travaux illustrant chacun un aspect différent des thèmes LIFT. François Yvon (ISIR, Sorbonne Université & CNRS) adressera le thème du multilinguisme avec une présentation intitulée "Construire et évaluer des modèles de langue massivement multilingues". Sylvain Kahane (Modyco, Université Paris Nanterre & CNRS / Institut Universitaire de France) parlera de documentation linguistique avec un exposé intitulé "Règles de grammaires et corpus annotés - Autour du projet Autogramm". Enfin, la présentation de Agata Savary (LISN, Université Paris Saclay & CNRS) intitulée "Nous croyions que les yeux de la coréférence étaient fermés sur les expressions polylexicales et ils le sont la plupart de temps" portera sur le phénomène linguistique des expressions polylexicales.

Ces journées 2023 sonnent le glas de LIFT 1. Un second épisode est d'ors et déja validé par le CNRS avec pour nouvelle porteuse, Karën Fort (LORIA, Sorbonne Université).

Bonne conférence et bonne lecture!

Karën, Claire et Yannick Nancy, le 17 novembre 2023
# Comités

## Comité d'organisation

- Marie Baron

- Karën Fort

- Nathalie Fritz

- Claire Gardent

- Sylvie Hilbert

- Anne Marie Messaoudi

- Yannick Parmentier

## Comité de programme

- Maxime Amblard Université de Lorraine

- Delphine Bernhard LiLPa, Université de Strasbourg

- Hee-Soo Choi LORIA - ATILF

- Berthold Crysmann CNRS - LLF (UMR 7110) - U Paris

- Fanny Ducel Sorbonne Université

- Solène Evain Laboratoire d'Informatique de Grenoble

- Karën Fort Sorbonne Université

- Claire Gardent CNRS/LORIA Nancy

- Kim Gerdes LISN, CNRS and University Paris-Saclay

- Sylvain Kahane Modyco, Université Paris Ouest Nanterre & CNRS

- Anaïs Lefeuvre-Halftermeyer LIFO - Université d'Orléans

- Sylvain Loiseau UMR ICAR

- Alexis Michaud CNRS - LACITO (Langues et Civilisations à Tradition Orale, Centre National de la Recherche Scientifique)

- Aurélie Névéol Université Paris-Saclay, CNRS, LISN

- Yannick Parmentier LORIA - Université de Lorraine

- Thierry Poibeau LaTTiCe-CNRS

- Emmanuel Schang LLL, Univ. Orléans & CNRS

- Guillaume Wisniewski LLF - Université de Paris Cité
# Présentations invitées

## Sylvain Kahane (Modyco, Université Paris Nanterre & CNRS / Institut Universitaire de France)

**Titre** : Règles de grammaires et corpus annotés - Autour du projet Autogramm

**Résumé** : Dans cette présentation, nous discuterons de ce qu'est une règle de grammaire et de la façon dont on peut extraire de telles règles d'un corpus annoté. Ce questionnement est au centre du projet ANR Autogramm (Modyco, Lacito, Lisn, Loria-Sémagram), sur l'induction de grammaires descriptives à partir de corpus annotés. Nous insisterons sur l'intérêt d'avoir des règles de grammaire quantifiées et ordonnées pour la caractérisation d'un corpus et à travers lui d'une langue ou d'un état de langue. Nous présenterons les différents travaux éffectuées dans le cadre du projet concernant le développement de treebanks, d'outils d'annotation et d'extraction automatique de règles de grammaire.

## Agata Savary (LISN, Université Paris Saclay & CNRS)

**Titre** : Nous croyions que les yeux de la coréférence étaient fermés sur les expressions polylexicales et ils le sont la plupart de temps

**Résumé** : Les expressions polylexicales sont des combinaisons de plusieurs mots qui possèdent des propriétés sémantiques particulières, comme des degrés variés de compositionnalité sémantique, la décomposabilité, la transparence et la figuration. Plusieurs débats linguistiques suggèrent que les idiosyncrasies sémantiques de ces types conditionnent les configurations morpho-syntaxiques dans lesquelles une expressions polylexicale donnée peut apparaître. Nous étendons cette argumentation à la coréférence nominale. Nous posons l'hypothèse que les composants internes d'une expression polylexicale sont peu susceptibles d'appartenir à des chaînes coréférentielles. Bien que des travaux antérieurs aient remarqué la rareté des phénomènes liés à la coréférence en présence d'expressions polylexicales, à notre connaissance, cette observation n'avait pas été quantifiée. Nous comblons cette lacune par une étude des intersections entre les expressions polylexicales verbales et la coréférence nominale dans des corpus français. Les résultats corroborent largement notre hypothèse mais montrent également des tendances variables selon les types d'expressions polylexicales et le genre du corpus. L'analyse des certains exemples révèle des propriétés intéressantes de la coréférence, notamment dans en parole spontanée.

## François Yvon (ISIR, Sorbonne Université & CNRS)

**Titre** : Construire et évaluer des modèles de langue massivement multilingues

**Résumé** : Dans cette présentation, je discuterai des difficultés que pose l'apprentissage et l'évaluation de modèles de langue massivement multilingues, capables de prendre en charges des dizaines, voire des centaines de langues. Après avoir motivé l'apprentissage de tels modèles, je m'arrêterai, en m'appuyant sur l'expérience du développement du modèle Glot-500 et des ressources associées, sur la question de la prise en charge de langues "moins bien dotées", c'est-à-dire pour lequelles les données d'apprentissage sont souvent lacunaires, très spécialisées, ainsi que possiblement très bruitées.
Table des matières

I Session dédiée aux langues peu dotées 1

Outiller la documentation des langues créoles
Eric Le Ferrand, Claudel Pierre-Louis, Ruoran Dong, Benjamin Lecouteux, Daphne Gonçalves Teixeira, William Havard, Emmanuel Schang

Plus que des données : La question de la variation dialectale et les ressources en TAL
pour le corse et le poitevin-saintongeais
Cristina Garcia Holgado

Prise en compte de la variation dans l'annotation automatique morphosyntaxique de
l'occitan
Clamença Poujade

Segmentation et analyse des productions non modales, une étude de cas : la langue
korebaju
Jenifer Vega Rodriguez, Nathalie Vallée

Transfert zero-shot pour l'étiquetage morphosyntaxique : analyse de l'impact de la
transformation des données à étiqueter pour les dialectes alsaciens
Delphine Bernhard

II Session dédiée aux approches formelles 39

A Layered Approach to Semantic Representation
Siyana Pavlova, Maxime Amblard, Bruno Guillaume

Analysing topic shifts in task-oriented dialogues
Amandine Decker, Maxime Amblard, Ellen Breitholtz

Décrire et organiser les données de terrain avec RDF
Sylvain Loiseau

Décrire une scène ou informer d'un évènement en langue des signes française : des
représentations formelles différentes ?
Camille Challant, Emmanuella Martinod, Michael Filhol

Est-ce que l'extraction des interrogatives du français peut-elle être automatisée ?
Valentin D. Richard

Toward an automatic identification of discontinuities in the pathological discourse of
patient with schizophrenia
Vincent-Thomas Barrouillet, Michel Musiol, Maxime Amblard

III Session dédiée aux ressources et application 84

A semi-supervised dialogue discourse parsing pipeline
Chuyuan Li, Maxime Amblard, Chloé Braud
<table>
  <tbody>
    <tr>
      <td>Can LLMs be used to understand clinical notes better?<br>Aman Sinha, Cristina Garcia Holgado, Marianne Clausel, Mathieu Constant, Xavier Coubez</td>
      <td>94</td>
    </tr>
    <tr>
      <td>Création semi-automatique d'un lexique bilingue langue des signes française / français<br>pour l'annotation de vidéos de LSF<br>Julie Lascar, Annelies Braffort, Michèle Gouiffès</td>
      <td>99</td>
    </tr>
    <tr>
      <td>Descripteurs Linguistiques et Caractérisation Objective des Catégories Textuelles<br>Marina Seghier, Alice Millour, Jean-Yves Antoine</td>
      <td>106</td>
    </tr>
    <tr>
      <td>The MeThAL Alsatian theater corpus and related resources : Work done and perspec-<br>tives<br>Pablo Ruiz Fabo</td>
      <td>113</td>
    </tr>
    <tr>
      <td>Transcription Automatique de l'Arabe Parlé à Tunis : Un Pont vers l'Analyse Linguis-<br>tique<br>Daphne Goncalves Teixeira, Charles Vancaeyzeele, Mohamed Malek Bahri</td>
      <td>119</td>
    </tr>
  </tbody>
</table>
Première partie

Session dédiée aux langues peu dotées
# Outiller la documentation des langues créoles

Éric Le Ferrand<fnref n="1" />,², Claudel Pierre-Louis<fnref n="1" />, Ruoran Dong³, Benjamin Lecouteux³,
Daphne Gonçalves-Teixeira<fnref n="1" />, William N. Havard<fnref n="1" />, Emmanuel Schang<fnref n="1" />

(1) LLL, 10 rue de Tours, BP 46527 - 45072 ORLEANS CEDEX 2 (FRANCE)

(2) Boston College, Boston (USA)

(3) LIG, Université Grenoble Alpes (FRANCE)

william.havard@univ-orleans.fr, leferran@bc.edu,
daphne.goncalves-teixeira@univ-orleans.fr,
benjamin.lecouteux@univ-grenoble-alpes.fr,
emmanuel.schang@univ-orleans.fr

## RÉSUMÉ

Ce papier propose donc un retour d'expérience basé sur l'emploi d'outils informatiques sur
différents terrains linguistiques concernant les langues créoles.

## ABSTRACT

### Tooling up Creole Languages Documentation

This paper provides feedback based on the use of IT tools in different linguistic fields concerning Creole languages.

**MOTS-CLÉS** : Documentation des langues, créoles, traitement automatique de la parole.

**KEYWORDS:** Language Documentation, Creole Languages, Automatic Speech Processing.

## 1 Introduction

Dans ce papier, nous passons en revue les pistes suivies par le projet CREAM (documentation des langues CREoles Assistée par la Machine, ANR CS38) pour la documentation outillée des langues créoles. Afin de répondre aux besoins distincts de ses utilisateurs, principalement des linguistes, plusieurs solutions sont présentées.

La documentation des langues consiste à mettre à disposition des données langagières sous une forme consultable par ses utilisateurs<fnref n="1" />.

Documentation of a language is an activity (and, derivatively, its result) that gathers, processes and exhibits a sample of data of the language that is representative of its linguistic structure and gives a fair impression of how and for what purposes the language is used. (Lehmann, 2001)

<figure><img src="image_3.png" /></figure>

<footnote n="1">1. Voir également : (Austin, 2016; Michaud et al., 2016) entre autres.</footnote>
Il est essentiel de noter que les langues créoles ne partagent pas les mêmes niveaux d'écriture et de standardisation. Certaines langues jouissent d'un statut officiel, à l'instar du santoméen à São Tomé et Príncipe, l'une des langues nationales de l'archipel. D'autres, comme le créole de l'île Maurice, sont parlées par la majorité de la population sans bénéficier d'un statut officiel reconnu.

Alors qu'il est généralement admis que le Traitement Automatique des Langues (TAL) vise principalement à faciliter la graphisation (Chaudenson, 2005) des langues minoritaires, notre approche diverge en ne conférant pas à la graphisation un rôle prédominant au sein de ce projet. En effet, les résultats de nos travaux sur le terrain nous orientent vers l'utilisation des outils du TAL à des fins autres que la transcription.

Ainsi, cet article apporte un retour d'expérience sur l'application d'outils informatiques dans divers contextes linguistiques en milieu créolophone.

# 2 Transcription automatisée

Le besoin de transcription automatique et les modalités de sa réalisation sont intrinsèquement liés à l'existence d'une norme orthographique stable et acceptée. Pour les langues créoles qui disposent d'une orthographe normalisée, comme le créole de la Guadeloupe (kréyòl gwadloupéyen), la transcription automatique est d'une aide précieuse pour le linguiste. Nous avons reçu plusieurs demandes de transcription automatique émanant de linguistes locaux ou de projets de recherche récoltant des données de terrain.

## 2.1 Transcrire automatiquement depuis le terrain

Au cours d'un travail de terrain en Guadeloupe effectué par l'un des auteurs en soutien à un projet de recherche (NSF-IRES 1952568 : Experimental linguistics in the Caribbean), un ensemble d'enregistrements de terrain nous a été fourni avec pour seule directive de fournir des transcriptions générées automatiquement. Ces enregistrements présentaient une grande diversité en termes de nature et de qualité. Certains comprenaient une série de jugements grammaticaux en français, tandis que d'autres contenaient des discussions en anglais sur des phénomènes linguistiques. La plupart d'entre eux, cependant, renfermaient de la parole spontanée en créole dans divers contextes tels que des visites guidées, des séminaires et des conversations.

Notre sélection a porté sur un enregistrement d'une heure renfermant une quantité suffisante de contenu en créole mêlé à des segments entièrement en français, des segments où la syntaxe créole et française se mélangent (*code-switching*) et une poignée de segments en anglais. Dans un premier temps, nous avons appliqué un algorithme de détection d'activité vocale
(VAD)<fnref n="2" /> pour identifier les segments de parole. À cette fin, nous disposions d'un modèle de reconnaissance de la parole préalablement entraîné sur une heure de parole transcrite (Macaire et al., 2022).

Ce modèle repose sur l'architecture WAV2VEC2 (Baevski et al., 2020), une architecture de transformers utilisant un apprentissage auto-supervisé pour extraire les paramètres acoustiques. Dans notre cas spécifique, le modèle LeBenchmark a été employé (Evain et al., 2021). La représentation générée par cette architecture est ensuite alimentée à une tête de transformers entraînée sur un corpus de parole transcrite, utilisant une fonction CTC (Connectionist Temporal Classification, Graves et al. 2006). Cette fonction CTC apprend à générer la probabilité d'un caractère pour chaque paramètre acoustique.

Le processus se poursuit avec un décodage final modulé à l'aide d'un modèle de langue, lui-même entraîné sur les mêmes transcriptions qui ont servi à l'entraînement initial du modèle. Cette approche assure une cohérence et une précision accrues dans la transcription automatique des enregistrements en créole, en tirant parti de la représentation riche des caractéristiques acoustiques acquises par l'architecture WAV2VEC2, tout en affinant le résultat final à l'aide d'un modèle de langue formé sur le corpus spécifique utilisé pour l'entraînement initial.

Ainsi, nous avons appliqué le modèle développé sur les segments détectés par la VAD. Un Gold standard, établi en se basant sur nos propres transcriptions, nous a été fourni, permettant ainsi une évaluation concrète des performances du modèle. Les résultats obtenus révèlent une performance relativement faible avec un taux d'erreur par mot (WER) à 73% et un taux d'erreur par caractère (CER) à 45%. Cependant, il est important de noter que malgré ces limitations, l'utilisation de ce modèle offre aux linguistes de terrain un gain de temps considérable, variable toutefois en fonction de la qualité de l'audio.

Parmi les retours que nous avons recueillis de la part des linguistes de terrain, la détection des segments de parole a été particulièrement saluée pour le temps qu'elle permet d'économiser. De plus, bien que notre évaluation semble indiquer une performance modérée du système de transcription, il faut souligner que la qualité des transcriptions varie considérablement au sein d'un même enregistrement. Une transcription générée peut ainsi présenter une faible qualité pour des segments très bruités, tandis que d'autres nécessiteront uniquement des corrections mineures. Cette hétérogénéité souligne la complexité de la tâche de transcription automatique, tout en mettant en lumière les avantages substantiels que notre approche peut offrir dans le contexte spécifique des langues créoles.

<footnote n="2">2. https://github.com/amsehili/auditok</footnote>
<table><caption>TABLE 1 – Examples de transcriptions</caption><thead><tr><td>Analyse d'erreur</td><td>Référence</td><td>Transcription automatique</td></tr></thead><tbody><tr><td>La nasale finale est reconnue comme deux orales</td><td>zot matinike gwadloupeyen</td><td>zoln patinike gwadloup ee</td></tr><tr><td>la référence est en français</td><td>deux saisons</td><td>deu sezon</td></tr><tr><td>erreur de segmentation</td><td>zo kay an grante</td><td>jo kay angrandte</td></tr><tr><td>erreurs de segmentation et de transcription</td><td>byen pale de bonda nou kay soukre bonda</td><td>mye fame de gonda nou ka ai soucebo</td></tr></tbody></table>

## 2.2 Aligner les transcriptions sur la parole

Par ailleurs, en appliquant les mêmes techniques, nous avons procédé à l'alignement d'un corpus audio en créole haïtien. Ce corpus, composé de 10 enregistrements audio associés à des transcriptions au format MSWord, présentait la particularité de ne pas comporter de balises temporelles facilitant l'alignement. Pour résoudre cette problématique, nous avons opté pour une transcription automatique de type 'gros grain', générée à partir de 10 minutes de parole préalablement alignée, et traitée ultérieurement à l'aide de WAV2VEC2.

Cette approche a permis d'obtenir une représentation plus robuste du contenu audio, malgré l'absence initiale de balises temporelles. L'utilisation de la transcription automatique 'gros grain' a servi de prétraitement, suivie d'une étape cruciale impliquant le modèle WAV2VEC2 pour affiner et préciser l'alignement temporel. Cette démarche souligne l'adaptabilité de notre méthode dans des contextes divers, renforçant ainsi sa pertinence pour des langues créoles variées et des corpus audio présentant des défis spécifiques.

## 3 TètKole et l'interprétation

TètKole, signifiant 'ensemble' en créole haïtien, représente un outil conçu dans le cadre du projet CREAM par des étudiants en informatique de l'université de Chambéry. Il s'agit d'un redéveloppement de l'outil LIG-AIKUMA, qui était précédemment disponible sur la plateforme Android (Blachon et al., 2016). TètKole a pour fonction de permettre l'interprétation (traduction à l'oral) d'enregistrements réalisés par des linguistes de terrain. Il vise à l'obtention de corpus de parole parallèles dans un objectif de documentation des langues.

L'utilisation de LIG-AIKUMA dans notre projet s'est heurtée à trois obstacles majeurs, justifiant ainsi le développement de TètKole :

* Stabilité sur tablette et téléphone : L'instabilité de son fonctionnement sur tablette ou téléphone a été un point de friction significatif, suscitant des retours négatifs de l'ensemble des utilisateurs.

* Préférence des linguistes pour les PC : Les linguistes du projet manifestent une préférence marquée pour travailler sur PC plutôt que sur téléphone ou tablette, constituants initiaux de LIG-AIKUMA. Cette préférence a motivé le besoin d'une version mieux adaptée aux environnements de travail privilégiés par les linguistes.
Limite de durée des fichiers son : Une autre limitation était imposée par la contrainte des téléphones portables et des tablettes, qui ne permettaient pas de travailler sur des fichiers son d'une durée dépassant les 15 minutes. Cette restriction ne répondait pas aux exigences des linguistes du projet, qui avaient exprimé le besoin de manipuler des enregistrements de durées plus étendues.

En réponse à ces limitations, TètKole a été développé pour surmonter ces obstacles spécifiques et répondre de manière plus adéquate aux besoins et préférences des linguistes du projet CREAM.

TètKole est donc un redéveloppement en Java de certaines fonctionnalités de LIG-AIKUMA. L'outil est librement disponible sur https://github.com/LLL-Orleans/TetKole sous licence GPL. Il a été réalisé par des étudiants de Master Informatique de l'université de Savoie Mont Blanc (Chambéry) dans le cadre d'un projet.

TètKole offre une interface conviviale pour les linguistes, leur permettant de charger un enregistrement au format .wav ou .mp3. À l'aide de la souris, le linguiste peut sélectionner avec précision la portion de parole à interpréter, comme illustré par les barres verticales sur la Figure 1. En suivant cette sélection, en cliquant sur l'icône dédiée à l'enregistrement, le linguiste génère un fichier son contenant son interprétation.

Cette approche centrée sur l'interaction visuelle et l'ergonomie vise à simplifier le processus d'interprétation, offrant aux linguistes un moyen intuitif et efficace pour traiter les enregistrements et produire des interprétations orales. La combinaison de la sélection visuelle et de la création rapide de fichiers son facilite le flux de travail des linguistes, favorisant ainsi une utilisation efficace de l'outil TètKole dans le cadre du projet CREAM.

<figure><img src="image_4.png" /><figcaption>FIGURE 1 – L'écran d'accueil de TètKole après chargement du fichier son à interpréter</figcaption></figure>

Le linguiste peut vérifier la qualité de son travail et reprendre ses interprétations (supprimer les interprétations non satisfaisantes) ou les valider (Figure 2).

Cet outil a permis la réalisation d'un corpus oral parallèle français /haïtien d'environ 3 heures. A partir de la version française, il est aisé d'obtenir une transcription du corpus en français avec Whisper un modèle de transcription automatique développé par OpenAI. On dispose
<figure><img src="image_5.png" /><figcaption>FIGURE 2 – L'écran de validation des interprétation de TètKole</figcaption></figure>

alors de la parole en haïtien, de la parole en français et de la transcription en français.

# 4 Perspectives Futures

## 4.1 Valorisation des enregistrements de terrain

Des années de travail de terrain par une multitude de linguistes ont permis de collecter un grand nombre d'enregistrements, dont seule une petite fraction a été transcrite. Ces enregistrements n'ont généralement pas été valorisés par le passé, faute d'une solution technique appropriée. L'avénement des modèles d'apprentissage auto-supervisé (self-supervised learning, SSL) qui ne nécessitent pas de transcriptions permettent désormais d'envisager une valorisation de ces données.

Nous souhaitons donc étudier l'utilisabilité des données de terrain déjà existantes dans cadre d'un pré-entraînement auto-supervisé de modèles WAV2VEC2. L'utilisation de ces données représente un défi, et ce à deux titres. D'une part, ces données ont généralement été enregistrées sur cassettes, puis digitalisées, et sont donc de qualité acoustique variable. D'autre part, ces enregistrements font suite à des enquêtes de terrain répondant à des problèmatiques scientifiques diverses (par exemple des enquêtes grammaticales, atlas sonore, etc.) et ne rentrent pas dans le canon standard des données actuellement utilisées pour entraîner de tel modèles (généralement des livres audios) contenant en grande majorité de parole lue.

Ainsi nous souhaitons explorer l'influence de plusieurs variables sur la qualité des modèles entraînés. Plus précisément, nous explorerons l'influence de la nature des données de terrain, de la qualité acoustique, du ratio parole lue/parole spontanée, et de la quantité de données minimale nécessaire. Ces questions restent à ce jour encore ouvertes, surtout dans le cadre des langues peu dotées.
## 4.2 Des modèles neuronaux et des questionnements linguistiques

Les modèles neuronaux que nous entraînerons seront mis au service d'un questionnement linguistique. Ainsi, ces modèles nous permettront d'explorer l'influence des langues lexificatrices<fnref n="3" /> sur les créoles. Pour explorer cette question, nous souhaitons donc entraîner des modèles auto-supervisés "pan-créoles" (incluant par exemple des données d'haïtien, de martiniquais, de réunionais, etc.) à partir de rien (from scratch), à partir de leur langue lexificatrice, à partir d'une autre langue, ou bien à partir de plusieurs langues (en utilisant des modèles multilingues, de type XLSR (Conneau et al., 2021)). Cela nous permettra ainsi de voir si les créoles partagent plus de traits entre-eux qu'avec leur langue lexificatrice, auquel cas le modèle pan-créole se révélerait meilleur une fois raffiné (fine-tuned) sur chaque créole pris indépendamment, ou non. Les résultats de Macaire et al. (2022) semblent indiquer qu'il est souhaitable d'entraîner des modèles de reconnaissance de parole à partir de la langue lexificatrice plutôt que de modèles multilingues. Cependant, cela reste à vérifier sur des créoles ayant une autre langue lexificatrice.

## Références

AUSTIN P. K. (2016). Language documentation 20 years on. *Endangered languages and languages in danger : Issues of documentation, policy, and language rights*, p. 147–170.

BAEVSKI A., ZHOU Y., MOHAMED A. & AULI M. (2020). wav2vec 2.0 : A framework for self-supervised learning of speech representations. *Advances in neural information processing systems*, **33**, 12449–12460.

BLACHON D., GAUTHIER E., BESACIER L., KOUARATA G.-N., ADDA-DECKER M. & RIALLAND A. (2016). Parallel speech collection for under-resourced language studies using the lig-aikuma mobile device app. *Procedia Computer Science*, **81**, 61–66.

CHAUDENSON R. (2005). Description et graphisation : le cas des créoles français. *Revue française de linguistique appliquée*, **10**(1), 91–102.

CONNEAU A., BAEVSKI A., COLLOBERT R., MOHAMED A. & AULI M. (2021). Unsupervised Cross-Lingual Representation Learning for Speech Recognition. In *Proc. Interspeech 2021*, p. 2426–2430. DOI: 10.21437/Interspeech.2021-329.

EVAIN S., NGUYEN H., LE H., BOITO M. Z., MDHAFFAR S., ALISAMIR S., TONG Z., TOMASHENKO N., DINARELLI M., PARCOLLET T. et al. (2021). Benchmark : A reproducible framework for assessing self-supervised representation learning from speech. In *INTERSPEECH 2021 : Conference of the International Speech Communication Association*.

<footnote n="3">3. On désigne par langue lexificatrice, les langues "dont les créoles ont retenu la plus grande partie de leur lexique si ce n'est de leur grammaire" (Mufwene, 2021)</footnote>
GRAVES A., FERNÁNDEZ S., GOMEZ F. & SCHMIDHUBER J. (2006). Connectionist temporal classification : Labelling unsegmented sequence data with recurrent neural networks. In *Proceedings of the 23rd International Conference on Machine Learning*, ICML '06, p. 369–376, New York, NY, USA : Association for Computing Machinery. DOI : 10.1145/1143844.1143891.

LEHMANN C. (2001). *Language documentation : A program*. na.

MACAIRE C., SCHWAB D., LECOUTEUX B. & SCHANG E. (2022). Automatic speech recognition and query by example for creole languages documentation. In *Findings of the Association for Computational Linguistics : ACL 2022*, p. 2512–2520.

MICHAUD A., GUILLAUME S., JACQUES G., MAC D.-K., JACOBSON M., PHAM T.-H. & DEO M. (2016). Contribuer au progrès solidaire des recherches et de la documentation : la collection pangloss et la collection auco. In *Journées d'Etude de la Parole 2016*, volume 1, p. 155–163.

MUFWENE S. (2021). Créoles. *Langage et société, Hors série(HS1)*, 81–86. DOI : 10.3917/ls.hs01.0082.
# Plus que des données: La question de la variation dialectale et les ressources en TAL pour le corse et le poitevin-saintongeais

Cristina Garcia Holgado¹,²

(1) FoReLLIS, UMR 15076, Université de Poitiers, 86000 Poitiers, France

(2) LISA, UMR CNRS 6240, Université de Corse - Pasquale Paoli, Corte, France

cristina.garcia.holgado@univ-poitiers.fr

## RÉSUMÉ

Le poitevin-saintongeais et le corse ont récemment rejoint la communauté du TALN. Cependant, ces langues sont confrontées à des défis importants en raison de la rareté des corpus annotés, et en outre, elles ne constituent pas des entités uniformes mais présentent des variétés dialectales multiples, malgré les efforts controversés pour établir une référence standardisée. Au cours de la dernière année, elles ont été dotées de ressources linguistiques qui ont conduit aux premières tentatives d'exploration et d'évaluation d'un nombre d'applications TALN. Cependant, mettre en lumière une langue régionale dans le paysage technologique implique également de reconnaître sa réalité linguistique : la diversité dialectale à travers ses différents territoires. Dans ce résumé, nous présentons les premières expériences d'application de méthodes et de techniques supervisées pour gérer le manque d'annotations, en particulier pour le poitevin-saintongeais, et nous soulignons l'importance de couvrir leur variation dialectale, ce que nous cherchons à aborder dans nos travaux futurs.

## ABSTRACT

### More than just data : Dialectal variation and NLP resources for Corsican and Poitevin-Saintongeais

Poitevin-Saintongeais and Corsican have recently joined the NLP community. However, they face significant challenges due to the scarcity of annotated corpora, and moreover, they do not constitute a homogeneous entity but multiple dialectal varieties, despite the controversial efforts to establish a standardized reference. In the past year, they have been equipped linguistic resources, leading to the first attempts to explore and evaluate a few NLP methods. However, shedding light on a regional language in the technological landscape also entails acknowledging their linguistic reality : the dialectal diversity across it's different territories. In this summary, we outline initial experiences applying supervised methods and techniques to handle the lack of annotations, specially for Poitevin-Saintongeais, and we highlight the importance of covering their dialectal variation, which we seek to address in future work.

**MOTS-CLÉS** : corse, poitevin-saintongeais, langues régionales, langues peu dotées, lexiques, variation dialectale.

<figure><img src="image_6.png" /></figure>
# 1 Context

There is a growing interest in providing digitalised linguistic resources to regional languages in France as shown in (Kevers et al., 2019), (Millour et al., 2017) and (Bernhard et al., 2021). In the case of Corsican and Poitevin-Saintongeais, numerous textual resources are available : The first benefits from an online linguistic database, the BDLC (Banque de Données de la Langue Corse) (Stella Retali-Medori, 2022) which originally included texts from oral sources from different regions, and currently integrates the CCdC (Corpus Canopé de Corse, (Kevers, 2022)) composed of literary and historical texts. Poitevin-Saintongeais benefits from the TELPOS (Dourdet et al., 2019) database, which contains more than 125 bibliographic references for literary texts. The textual resources for Poitevin-Saintongeais are characterized by different spellings, where only a few use the standard spelling. Moreover, a few aligned fragments with other regional languages are available in the ParCoLaF (Miletic et al., 2017) database<fnref n="1" /> for both languages. Besides the avaliability of these digital resources in both languages, most of that data remains unannotated and not readily exploitable. In the last year, these two languages have ventured into the NLP domain seeking to develop annotated corpus and lexicons to experiment with supervised approaches.

# 2 Recent work

## 2.1 Difficulties in a low resource scenario

Recent approaches in low resource (LR) settings generally rely on a high resource related language, using methods like transfer learning by choosing a suitable transfer language. In this sense, while it may seem intuitive to utilize French for Poitevin-Saintongeais and Italian for Corsican, given their shared Gallo-Romance and Italo-Romance roots respectively, these languages encounter specific challenges to be considered :

1. A **limited availability of linguistic resources**, such as lexicons and dictionaries. Although a few exist, they are subject to copyright whose access is not always guaranteed, or they are based on a particular spelling.

2. **Limited parallel corpus.** Aligned sentences from two literary works are available at ParCoLab, but the amount of aligned data remains very scarce for both languages. However, Poitevin-Saintongeais profits from bilingual articles featured in the journal

<footnote n="1">1. http://parcolab.univ-tlse2.fr/corpus/search</footnote>
*Culture Nouvelle Aquitaine*<fnref n="2" /> since 2023, with uses standardized spelling and provides an opportunity to increase and exploit parallel corpora.

3. Generally, regional languages **lack of standardized spelling** which adds a significant complexity, specially for tasks that are necessary in the area of descriptive linguistics, such as lemmatization. Both Corsican and Poitevin-Saintongeais have a normalized spelling, and the first has been recognized as co-official language in Corsica since 2013. However, the texts available in these languages are very diverse, belonging to different geographical areas and therefore, characterised by different variants, speeches (*parlers*) and spellings (*graphie*) that must be taken into account.

4. Along with this, an important challenge arises from the **diverse diffusion areas** (*aires dialectales*) found in regional languages. When we refer to data scarcity, we also encompasses the scarcity of available texts that are annotated with consideration to their various dialectal features that actually constitute those languages. To date, the texts annotated for Poitevin-Saintongeais have been limited to those with standardized spelling so as to address the dialectal variety question in a later stage. For corsican, a set of texts from different sources were annotated regardless of the presence of dialectal variation.

5. Although the BDLC, and particularly the TELPOS database, contain an important number of texts, there is **insufficient metadata** for an effective dialect characterization and processing from an NLP perspective. While a few metadata information on Poitevin-Saintongeais, such as the use of standardized spelling or locality, has been sporadically annotated in some texts, the same attributes are currently unavailable for Corsican texts. Hence, there is still considerable work to annotate these texts in the databases to provide them with linguistic and geographical metadata.

## 2.2 Approaches

Early work on these languages has focused on overcoming the lack of annotated data. An annotation campaign took place during the last year leading to the first NLP experiences for both languages, which primarily targeted transfer learning methods considering the available resources :

- For Corsican, morpho-syntactic analysis started to be evaluated at LISA (University of Corsica) over an annotated corpus of ~7k tokens. This work, which is in progress, assested the effectiveness of pretraining embeddings in corsican and italian, while using different training sizes. Additional resources, such as parallel corpuses or lexicons, were not used at present, but it could be an envisageable option for the future considering the progressive availability of parallel sentences in ParCoLaF and the constitution of a morphologically inflected lexicon.

<footnote n="2">2. https://www.culture-nouvelle-aquitaine.fr/langues-et-cultures-regionales/traduire-le-site-en-langues-regionales/</footnote>
— Poitevin-saintongeais has followed a similar path including lemmatization. A smaller corpus of ~3k tokens was used, which made this task more arduous. To address this data gap, a lexicon of ~20k entries was compiled via an online bilingual dictionary (Pivetea, 2006), transformed, expanded (~40k entries) and adapted to the respective Universal Dependencies (UD) guidelines. This work had a dual goal: first, to accelerate annotator's decisions by integrating the lexical entries to a collaborative annotation notebook, and second, to generate augmented corpora by transferring new lexical information via distributional neighbours to assess the benefits of a lexicon-based strategy for morpho-syntactic analysis, using both probabilistic (HMM) and neural models (LSTM). This approach has proved to be beneficial without requiring an extensive lexicon. An improvement will be expected with the incorporation of inflected verbs, which were not naturally present in the source dictionary as opposed to nouns and adjectives for which we could provide the inflectional paradigm.

## 2.3 Limitations

Both lines of work sought to increase the number of annotated texts in order to be able to perform finer NLP tasks, but also to propose the first pos-tagging models for these languages. However, several questions arise at this point : When enlarging the annotated corpus, how well are the distinct linguistic phenomena of these languages represented, and how does the representation of their syntactic and morphological structures impact the quality of predictions ? And most important, how effective are these models when applied to their different dialectal variants ? These questions are intended to show that the quantity of annotated texts is not a sufficient objective in the framework of regional languages, but also the quality.

## 3 Conclusion and future work

While basic NLP tasks seem straightforward due to the availability of different methods that gradually try to adapt to low resource scenarios, a major challenge arises when addressing dialectal variation. Despite the positive results of this work, none of them have taken yet into account their dialectal dimension. Given the nature of the project they integrate, this stage therefore becomes a required line of research in the work to come. This would enable the representation of their linguistic reality by offering a more nuanced visibility into their different geographical areas. These differences are primarily evident in the lexical and phonetic levels, although they can extend to the morphology and to the idiomatic expressions. In this context, we consider essential to understand that the efforts dedicated to equip these languages go beyond providing enough data for NLP applications. They are motivated by the broader goal of preserving and revitalizing their linguistic heritage. As a result, this undertaking necessitates a comprehensive understanding of their intricate linguistic realities,
and for that, the NLP community requires a strong support from linguistic experts to cover
this essential feature. In this sense, the first objective will be to characterize and to identify
the variation, and to do so, we will require a significant effort in representing these varieties
in the corpus. In short, handling linguistic variation is a central focus of our current work,
which has been embedded within a thesis project that will seek to develop tools to ensure their
survival and growth, as both Corsican and Poitevin are considered endangered languages by
the UNESCO.

# 4 Acknowledgements

This work was funded by the National Research Agency, via the project DIVITAL (ANR-21-
CE27-0004).

Références

BERNHARD D., LIGOZAT A.-L., BRAS M., MARTIN F., VERGEZ-COURET M., ERHART P., SIBILLE J., TODIRASCU A., DE MAREÜIL P. B. & HUCK D. (2021). Collecting and annotating corpora for three under-resourced languages of france : Methodological issues. *Language Documentation & Conservation*, **15**, 316-357.

DOURDET J.-C., VERGEZ-COURET M. & LAY M.-H. (2019). Telpos - Texte électronique en poitevin-saintongeais, enjeux et difficultés. In *Colloque "Langues minoritaires" : quels acteurs pour quel avenir ?*, Strasbourg, France. HAL : [hal-02892750](https://hal.inra.fr/02892750).

KEVERS L. (2022). *CCdC - Le Corpus Canopé de Corse*. Rapport interne, UMR 6240 CNRS LISA - Université de Corse. HAL : [hal-03912288](https://hal.inra.fr/03912288).

KEVERS L., GUÉNIOT F., GHJACUMINA TOGNOTTI A. & RETALI MEDORI S. (2019). Outiller une langue peu dotée grâce au TALN : l'exemple du corse et BDLC. In E. MORIN, S. ROSSET & P. ZWEIGENBAUM, Éds., *26e Conférence sur le Traitement Automatique des Langues Naturelles*, p. 371-380, Toulouse, France : ATALA. HAL : [hal-02567779](https://hal.inra.fr/02567779).

MILETIC A., STOSIC D. & MARJANOVIĆ S. (2017). Parcolab : A parallel corpus for serbian, french and english. In *International Conference on Text, Speech and Dialogue*.

MILLOUR A., FORT K., BERNHARD D. & STEIBLÉ L. (2017). Vers une solution légère de production de données pour le TAL : création d'un tagger de l'alsacien par crowdsourcing bénévole. In *Traitement Automatique des Langues Naturelles (TALN)*, Orléans, France. HAL : [hal-01516226](https://hal.inra.fr/01516226).

PIVETEA V. (2006). *Dictionnaire francais poitevin-saintongeais*. Geste Éditions.

STELLA RETALI-MEDORI L. K. (2022). La morphologie dans la banque de données langue corse : bilan et perspectives. *OpenEdition*.
# Prise en compte de la variation dans l'annotation automatique morphosyntaxique de l'occitan

Clamença Poujade¹, ²

(1) CLLE, UMR 5263, Université de Toulouse Jean Jaurès, CNRS 5, allées Antonio Machado, 31078 cedex 9 Toulouse, France

(2) JOLICIEL Informatique, 2 Av. du Cardie, 09000 Foix, France
clamenca.poujade@univ-tlse2.fr

## RÉSUMÉ

L'occitan est une langue romane de France, d'une petite partie de l'Italie et de l'Espagne. Il comprend de nombreuses variations à l'écrit, notamment les variations dialectale et de graphie. C'est un enjeu important dans la dotation de la langue que de pouvoir prendre en compte la variation. Le traitement automatique de l'occitan est en développement cette dernière dizaine d'années. Des ressources et des outils sont constitués et commencent à prendre en compte la variation dialectale. Toutefois, la variation graphique est peu présente dans ces travaux. Notre travail de recherche se concentre sur l'annotation automatique en lemmes, en parties du discours et en flexion verbale d'un corpus de textes contenant ces deux types de variation. À partir de ce corpus nous entraîrons des outils d'annotation automatique robustes sur la variation globale de l'occitan.

## ABSTRACT

### Variation in Automatic Annotation of Occitan.

Occitan is a Romance language of France, a little part of Italy and Spain. It includes many written variations, dialectal and spelling variations. Being able to take variation into account is a major challenge to provide the language. Automatic processing of Occitan has been developing over the last ten years. Resources and tools have been developed and are beginning to take dialectal variation into account in these works. However, graphical variation is rarely taken into account. Our research focuses on the automatic annotation into lemmas, parts of speech and verbal inflection of a corpus of texts containing these two types of variation. From this corpus we train robust automatic annotation tools on global variation in Occitan.

**MOTS-CLÉS** : Annotation automatique - Variation - Langue moins dotée - occitan - parties du discours - corpus.

**KEYWORDS:** Automatic Annotation - Variation - Less-ressourced Language - Occitan - parts of speech - corpus.

<figure><img src="image_7.png" /></figure>
<figure><img src="image_8.png" /><figcaption>FIGURE 1 – Carte des dialectes de l'occitan (Bernhard et al., 2021)</figcaption></figure>

L'occitan est une langue parlée dans le sud de la France, dans une vallée des Pyrénées en Espagne et dans certaines vallées du Piémont en Italie. Il compte six grands dialectes (Bec, 1995) (Figure 1) et ces dialectes sont constitués de nombreux parlers. La distinction entre les dialectes se fait via des faisceaux d'isoglosses créant un continuum linguistique.

# 1 Ressources et outils pour la linguistique outillée de l'occitan, état des lieux

L'occitan a longtemps été considéré comme une langue peu dotée dans le traitement automatique des langues. Toutefois, depuis une dizaine d'années, la langue occitane s'est dotée de plusieurs corpus numériques et de corpus annotés, d'outils numériques et automatiques de traitement de la langue. Notre groupe de recherche sur l'outillage des langues peu dotées<fnref n="1" /> travaille à sa dotation, et un organisme associatif de régulation de la langue produit des applications pour le grand public<fnref n="2" />.

Parmi ces ressources, l'occitan dispose d'une base textuelle, BaTelÒc (Bras & Vergez-Couret, 2016) constituant un corpus de presque quatre millions de mots, mis en ligne et interrogeable via une interface. Notre groupe de recherche a également construit un corpus annoté en Parties du discours (POS) dans le cadre du projet ANR Restaure (Bernhard et al., 2018) en collaboration avec d'autres langues de France et un corpus annoté en POS et en dépendances syntaxiques (Tolosa Treebank) dans le cadre du projet européen Linguatec, avec d'autres langues des Pyrénées (Miletic et al., 2020a). En comparaison avec des langues bien dotées, ces corpus sont de petite taille, ils comptent seulement quelques dizaines de milliers de mots. Ces deux corpus annotés ont pris en compte une certaine variation linguistique avec la présence de quatre dialectes dans le corpus Restaure et de cinq dialectes dans le corpus Linguatec (Miletic et al., 2020b). En collaboration avec Lo Congrès, nous avons également construit un lexique de formes fléchies (Bras et al., 2020) qui a servi à l'entraînement de premiers outils d'annotation automatique pour l'occitan. Les outils

<footnote n="1">1. Groupe OCRE : https://clle.univ-tlse2.fr/accueil/equipes-de-recherche/sciences-du-langage/occitan-langues-romanes-langues-deurope-decrire-formaliser-outiller-comparer</footnote>

<footnote n="2">2. Lo Congrès Permanent de la lenga occitana : https://locongres.org/</footnote>
entraînés avec ces ressources fournissent de bons résultats pour l’annotation en parties
du discours et dépendances syntaxiques des différents dialectes; mais ces ressources ne
contiennent pas de variation graphique.

## 2 Enjeux du traitement de la variation

L'occitan est une langue n'ayant pas de standard vraiment défini. Beaucoup de textes sont écrits dans un parler qui est propre à l'auteur ou l'autrice.

La graphie non plus n'a pas de norme générale arrêtée. Cependant, plusieurs normes se font concurrence : la graphie "classique" (Exemple 1), qui est celle construite avec l'objectif d'avoir une graphie propre à la langue (et qui est celle présente dans les corpus annotés occitans déjà construits); la graphie dite "mistralienne" (Exemple 2) qui est, en partie, construite à partir de la norme orthographie française; et les graphies personnelles (Exemple 3) des auteur·rice·s qui sont, souvent, des graphies dites oralisantes.

'Tous les chiens sont heureux.'

1. Totes los gosses son uroses.

2. Toutés lous goussés soun urousés.

3. Toutéÿ louÿ goussés soun urouzés.

Ces variations rendent difficile l'exploitation de tous les textes occitans. Afin de pouvoir les exploiter et en tirer des informations linguistiques, il est nécessaire de construire des outils de traitement automatique qui soient robustes pour traiter ces variations. Nous pensons que les nouvelles générations d'outils automatiques, par exemple les architectures utilisant des réseaux de neurones, se montrent plus robustes sur la variation que les anciennes générations, comme les modèles d'apprentissage supervisé par règles.

## 3 Nouveau corpus de textes occitans pour travailler sur la variation

Ce travail s'inscrit dans cette nécessité d'entraîner des outils pour qu'ils prennent en compte
la variation afin qu'ils soient robustes sur l'ensemble des données. Nous avons choisi de
nous concentrer sur la construction d'un corpus de textes du département de l'Ariège.

### 3.1 La variation dialectale

Ce département se trouve à la frontière sud de la France avec l'Espagne. C'est une zone de transition linguistique où l'on trouve de nombreuses isoglosses entre deux dialectes occitans,
<figure><img src="image_9.png" /><figcaption>FIGURE 2 – Carte de quelques isoglosses passant par l’Ariège</figcaption></figure>

le gascon (à l’ouest) et le languedocien (à l’est) (Figure 2³). Dans ce département nous trouvons également des parlers "isolés", dans les montagnes, qui ne font pas partie de la zone de transition entre les deux dialectes, mais plutôt entre deux langues : l’occitan et le catalan. Cela fait de ce petit territoire occitan une zone présentant une grande variation dialectale.

Ce n'est pas la seule variation qui nous intéresse dans cette recherche, l'Ariège a aussi la chance de disposer d'une grande production d'écrits occitans. De nombreux seigneurs auteur·rice·s ont écrit des contes, légendes, romans ou même des articles de journal en occitan, dans leur parler ariégeois.

## 3.2 La variation graphique

Comme nous l'évoquions plus haut, l'occitan a plusieurs graphies. Dans ce département nous ne pouvons pas quantifier le nombre de graphies existantes, mais nous pouvons les regrouper dans les trois catégories décrites plus haut.

Les locuteurs·rice·s de l'occitan n'étant que très rarement alphabétisé·e·s en occitan, nous trouvons de nombreuses personnes ayant l'envie d'écrire dans leur langue mais ne connaissant pas les normes qui peuvent être utilisées. Elles font alors avec les connaissances qu'elles ont, en l'occurrence, en utilisant les graphèmes de la langue dominante, ici, le français. Ces graphies oralisantes sont très intéressantes à étudier afin de mieux connaître la phonologie ou la morphologie de leurs parlers à partir d'écrits.

## 3.3 Constitution du corpus

Afin de construire de tels outils, nous avons constitué un corpus de textes pertinents. Nous avons rassemblé des textes issus des différents groupes de parlers de l'Ariège et des trois

<footnote n="3">3. Réalisée à partir du fond de carte https://d-maps.com/carte.php?num_car=111145&lang=fr</footnote>
<table><caption>FIGURE 3 – Répartition des tokens dans le corpus Arièja</caption><thead><tr><th rowspan="2">Dialecte</th><th colspan="3">Graphie</th></tr><tr><th>Classique</th><th>Mistralienne</th><th>Toutes</th></tr></thead><tbody><tr><td>Languedocien</td><td>10 644</td><td>7 112</td><td>17 756</td></tr><tr><td>Gascon</td><td>5 710</td><td>6 749</td><td>12 459</td></tr><tr><td>Autre</td><td>2 936</td><td>5 163</td><td>8 099</td></tr><tr><td>Tout</td><td>19 290</td><td>19 024</td><td>38 314</td></tr></tbody></table>

<table><caption>FIGURE 4 – Annotation d'une phrase du corpus Arièja</caption><tr><td>Un</td><td>un</td><td>un</td><td>DET</td><td>Gender=Masc|Number=Sing</td></tr><tr><td>joun</td><td>joun</td><td>jorn</td><td>NOUN</td><td>Gender=Masc|Number=Sing</td></tr><tr><td>me</td><td>me</td><td>me</td><td>PRON</td><td>Number=Sing|Person=1</td></tr><tr><td>passéc</td><td>passa</td><td>passar</td><td>VERB</td><td>Number=Sing|Person=3|Mood=Ind|Tense=Past</td></tr><tr><td>uno</td><td>un</td><td>un</td><td>DET</td><td>Gender=Fem|Number=Sing</td></tr><tr><td>ideio</td><td>ideio</td><td>idèia</td><td>NOUN</td><td>Gender=Fem|Number=Sing</td></tr><tr><td>pel</td><td>—</td><td>—</td><td>—</td><td>—</td></tr><tr><td>per</td><td>per</td><td>per</td><td>ADP</td><td>—</td></tr><tr><td>le</td><td>le</td><td>lo</td><td>DET</td><td>Gender=Masc|Number=Sing</td></tr><tr><td>cap</td><td>cap</td><td>cap</td><td>NOUN</td><td>Gender=Masc|Number=Sing</td></tr><tr><td>.</td><td>.</td><td>.</td><td>PUNCT</td><td>—</td></tr></table>

types de graphies. Nous avons choisi de regrouper la graphie mistralienne et les graphies oralisantes étant donné qu'elles sont basées sur le rapport graphie-phonie du français.

Notre corpus (Corpus Arièja) est représentatif de toute ces variations théoriquement présente sur le territoire. Certains textes sont assez récents pour en avoir une copie numérique, mais ce n'est pas le cas de tous. Avant de pouvoir les traiter, nous avons dû les numériser dans la quasi entièreté et les océriser.

Le Corpus Arièja est constitué de 38 314 tokens avec 66 textes et 47 auteurs et autrices. Le tableau 3 présente la répartition des tokens dans le corpus en fonction des dialectes et des graphies des textes. Nous avons gardé des proportions similaires pour les deux graphies mais il n'a pas été possible de faire la même chose pour les dialectes.

## 4 Annotation du corpus et outils

Le corpus est annoté en lemmes, parties du discours (POS) et la flexion verbale l'est également. Pour les annotations POS et de la flexion verbale, nous suivons les préconisations de Universal Dependencies (Nivre et al., 2016).

L'annotation des lemmes se fait en deux parties. Un premier lemme qui suit la graphie de l'auteur·rice : nous déduisons du reste du texte le lemme que l'auteur·rice aurait produit. Nous annotons également ce que nous appelons le Supra-lemme, qui est un lemme qui ne suit pas toujours la graphie de l'auteur·rice. Ce Supra-lemme sert simplement à accéder plus facilement aux tokens qui nous intéressent sans que la variation n'interfère. L'illustration 4 montre les différentes annotations présentes dans le corpus.
<table><caption>FIGURE 5 – Résultats des modèles sur différents corpus</caption><thead><tr><th rowspan="2">Dialecte</th><th rowspan="2">% Exactitude</th><th rowspan="2">Dialecte</th><th rowspan="2">% Exactitude</th><th colspan="3">% Exactitude</th><th colspan="3">Graphie</th><th colspan="3">% Exactitude</th><th colspan="3">Graphie</th></tr><tr><th>Dialecte</th><th>Classique</th><th>Mistralienne</th><th>Toutes</th><th>Dialecte</th><th>Classique</th><th>Mistralienne</th><th>Toutes</th><th>Dialecte</th><th>Classique</th><th>Mistralienne</th><th>Toutes</th></tr></thead><tbody><tr><td>Languedocien</td><td>89,49</td><td>Languedocien</td><td>97,30</td><td>Languedocien</td><td>82,37</td><td>67,27</td><td>76,09</td><td>Languedocien</td><td>94,44</td><td>89,79</td><td>92,74</td><td>Languedocien</td><td>94,44</td><td>89,79</td><td>92,74</td></tr><tr><td>Limousin</td><td>82,48</td><td>Provençal</td><td>96,72</td><td>Gascon</td><td>76,25</td><td>67,82</td><td>72,50</td><td>Gascon</td><td>90,60</td><td>82,89</td><td>87,37</td><td>Gascon</td><td>90,60</td><td>82,89</td><td>87,37</td></tr><tr><td>Gascon</td><td>81,41</td><td>Limousin</td><td>94,47</td><td>Autre</td><td>/</td><td>68,6</td><td>68,6</td><td>Autre</td><td>/</td><td>90,71</td><td>90,71</td><td>Autre</td><td>/</td><td>90,71</td><td>90,71</td></tr><tr><td>Provençal</td><td>81,37</td><td>Gascon</td><td>93,65</td><td>Tout</td><td>79,65</td><td>67,98</td><td>73,23</td><td>Tout</td><td>93,26</td><td>91,32</td><td>93,35</td><td>Tout</td><td>93,26</td><td>91,32</td><td>93,35</td></tr><tr><td>Tout</td><td>83,32</td><td>Tout</td><td>96,75</td><td colspan="6" style="text-align: center;">Corpus Arièja</td><td colspan="3" style="text-align: center;">b) AllenÒc</td></tr><tr><td colspan="12" style="text-align: center;">a) Talismane b) AllenÒc</td></tr></tbody></table>

Le corpus est annoté, pour partie (21 301 tokens) manuellement (à partir d'une pré annotation automatique) et pour partie (17 013 tokens) automatiquement, avec les outils finalisés et ayant de bons résultats sur les variations du corpus.

Nous comparons les résultats de deux modèles d'apprentissage automatique pour déterminer celui qui est le plus robuste face à cette variation. L'un, Talismane (Urieli, 2013; Vergez-Couret & Urieli, 2015) est une architecture qui avait déjà servi pour l'annotation des corpus issus des projets Restaure et Linguatec. C'est un modèle d'apprentissage par règles et probabiliste. L'autre, AllenÒc, utilise des réseaux de neurones et est basé sur la bibliothèque de deep-learning AllenNLP (Gardner et al., 2018).

Ces premiers modèles d'apprentissage automatique, dont nous donnons les résultats ci-après, sont entraînés à partir des corpus Tolosa Treebank (Miletic et al., 2020a) et Restaure (Bernhard et al., 2018) n'intégrant pas de variation graphique, pour faire de l'annotation automatique en parties du discours. Ils seront une nouvelle fois entraînés avec la partie du CorpusArièja corrigée manuellement et qui inclut plusieurs graphies. Ces modèles ont été entraînés à partir de peu de données. Toutefois plusieurs études (Bernhard et al., 2021), ainsi que nos résultats, montrent que nous pouvons obtenir de bons scores d'annotation automatique avec peu de données d'entraînement. Nous montrons que, même avec peu de données d'entraînement, nous pouvons avoir des outils robustes et efficaces pour l'annotation de la plupart des données textuelles.

Les résultats (Figure 5) montrent que le modèle AllenÒc est bien plus performant que le modèle Talismane, que ce soit sur la variation dialectale ou graphique. Les deux modèles ont tendance à être plus performants sur le languedocien et moins sur le gascon. Cela s'explique par le nombre de tokens différents de chacun des dialectes dans les corpus d'entraînement. Le dialecte le plus présent est le languedocien et les autres dialectes sont moins présents. Le test sur le corpus Arièja, avec les différentes graphies, montre que le modèle AllenÒc est plus robuste face aux variations graphiques que Talismane.

Une fois les modèles entraînés sur des corpus contenant de la variation graphique, nous nous attendons à avoir de meilleurs résultats sur la variation graphique. Pour ce qui est d'AllenÒc, nous pensons que les résultats seront bien meilleurs, et rejoindront presque ceux que nous avons sur les textes sans variation graphique. Toutefois, en ce qui concerne Talismane, nous pensons que les résultats ne seront pas beaucoup améliorés. En effet, il est très sensible à la variation au sein de son corpus d'entraînement.
Références

BEC P. (1995). *La langue occitane*. Que sais-je? 1059. Paris : Presses universitaires de France, 6e édition corrigée.

BERNHARD D., LIGOZAT A.-L., BRAS M., MARTIN F., VERGEZ-COURET M., ERHART P., SIBILLE J., TODIRASCU A., BOULA DE MAREÜIL P. & HUCK D. (2021). Collecting and annotating corpora for three under-resourced languages of France : Methodological issues. *Language Documentation & Conservation, **15*, 316–357. HAL : [hal-03273196](https://hal.inra.fr/03273196).

BERNHARD D., LIGOZAT A.-L., MARTIN F., BRAS M., MAGISTRY P., VERGEZ-COURET M., STEIBLE L., ERHART P., HATHOUT N., HUCK D., REY C., REYNÉS P., ROSSET S., SIBILLE J. & LAVERGNE T. (2018). Corpora with Part-of-Speech Annotations for Three Regional Languages of France : Alsatian, Occitan and Picard. In *11th edition of the Language Resources and Evaluation Conference*, Miyazaki, Japan. HAL : [hal-01704806](https://hal.inra.fr/01704806).

BRAS M., HATHOUT N., SIBILLE J., VERGEZ-COURET M., SÉGUIER A. & DAZEAS B. (2020). Loflòc : Lexic Obert flechit occitan. In J.-F. C. ET DAVID FABIÉ, Éd., *Fidelitats e dissidéncias. Actes del XIIn Congrès de l'Associacion internacionala d'estudis occitans. Actes du XIIe Congrès de l'Association internationales d'études occitanes*. Albi 10-15/07/2017, p. 141–156. Section française de l'Association internationale d'Etudes Occitanes. HAL : [hal-03082686](https://hal.inra.fr/03082686).

BRAS M. & VERGEZ-COURET M. (2016). Batelòc : A text base for the occitan language.
DIAS G., Éd. (2015). *Actes de TALN 2015 (Traitement automatique des langues naturelles)*, Caen. ATALA, HULTECH.

GARDNER M., GRUS J., NEUMANN M., TAFJORD O., DASIGI P., LIU N., PETERS M., SCHMITZ M. & ZETTLEMOYER L. (2018). Allennlp : A deep semantic natural language processing platform.

MILETIC A., BRAS M., VERGEZ-COURET M., ESHER L., POUJADE C. & SIBILLE J. (2020a). Building a Universal Dependencies Treebank for Occitan. In *12th Language Resources and Evaluation Conference*, p. 2932–2939, Marseille, France. HAL : [hal-02892715](https://hal.inra.fr/02892715).

MILETIC A., BRAS M., VERGEZ-COURET M., ESHER L., POUJADE C. & SIBILLE J. (2020b). A four-dialect treebank for Occitan : Building process and parsing experiments. In *Proceedings of the 7th Workshop on NLP for Similar Languages, Varieties and Dilects*, p. 140–149, Barcelona, Spain (Online) : International Committee on Computational Linguistics (ICCL).

NIVRE J., DE MARNEFFE M.-C., GINTER F., GOLDBERG Y., HAJIČ J., MANNING C. D., MCDONALD R., PETROV S., PYYSALO S., SILVEIRA N., TSARFATY R. & ZEMAN D. (2016). Universal Dependencies v1 : A multilingual treebank collection. In *Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC’16)*, p. 1659–1666, Portorož, Slovenia : European Language Resources Association (ELRA).
URIELI A. (2013). *Robust French syntax analysis : reconciling statistical methods and linguistic knowledge in the Talismane toolkit*. Theses, Université Toulouse le Mirail - Toulouse II. HAL : tel-00979681.

VERGEZ-COURET M. & URIELI A. (2015). Analyse morphosyntaxique de l'occitan languedocien : l'amitié entre un petit languedocien et un gros catalan. In *TALARE 2015*, Caen, France. HAL : hal-01214566.
# Segmentation et analyse de productions non modales, une étude de cas : la langue korebaju

Jenifer Vega Rodriguez¹,² Nathalie Vallée¹,

(1) Univ. Grenoble Alpes, CNRS, Grenoble INP, GIPSA-lab, 38000 Grenoble, France

(2) Université de Brasilia, Brasilia, Brésil.

Jenifer-andrea.vega-rodriguez@gipsa-lab.fr, nathalie.vallée@gipsa-lab.fr

## RESUME

Le korebaju (koreguaje) est une langue tonale appartenant à la famille Tukano parlée dans l'Amazonie colombienne. Cette langue présente plusieurs types de productions non modales impliquant une constriction glottale : [ʔ, ɣ, Vʔ, ʔV, Vʔ, ʔV, ʔ] et formant des séquences telles que (C)VʔV, (C)ɣCV, (C)VʔCV ou (C)VʔCV, indépendamment de la hauteur tonale. De plus, ces productions présentent des variations de réalisation intra- et interlocuteur.

Ce document présente l'ensemble des productions glottales relevées dans deux variétés du korebaju (korebaju et tama), sur la base de données audio et électroglottographiques, et recueillies sur le terrain entre 2022 et 2023 auprès de locuteurs natifs. Nous souhaitons présenter l'inventaire et la distribution des différents types de productions glottales en proposant leurs caractérisations acoustiques compte tenu des variations intra- et interlocuteurs pour ainsi ouvrir une discussion avec des experts en traitement automatique de la parole en vue du développement d'un outil de segmentation et labélisation (semi) automatique des corpus korebaju.

## ABSTRACT

**Segmentation and analysis of non-modal productions, a case study: the Korebaju language.** Korebaju (Koreguaje) is a tonal language that belongs to the Tukano family spoken in the Colombian Amazon. This language presents several types of non-modal production involving glottal constriction [ʔ, ɣ, Vʔ, ʔV, Vʔ, ʔV, ʔ] and occurring in sequences like (C)VʔV, (C)ɣCV, (C)VʔCV or (C)VʔCV regardless of tone height. In addition, they show intra- and inter-speaker variability.

Our paper presents these glottal productions identified in two Korebaju varieties (Korebaju and Tama) on the basis of audio and electroglottographic data collected in the field between 2022 and 2023 from native speakers. Our aim is to present the inventory and distribution of the different types of glottal productions, and to propose their acoustic characterizations, taking into account intra- and inter-speaker variabilities, in order to open a discussion with experts in automatic speech processing with a view to developing a tool for (semi-) automatic segmentation and labeling of Korebaju corpora.

<figure><img src="image_10.png" /></figure>
MOTS-CLES : Glottalisation, phonétique et phonologie, langues tukano, koreguaje.

KEYWORDS: Glottalization, phonetics and phonology, Tukanoan Languages, Koreguaje.

# 1 Introduction

Le korebaju [kò’réβàhí], appelé également koreguaje, est une langue tonale de la famille Tukano (branche occidentale) parlée dans le sud-ouest de l'Amazonie colombienne. À ce jour, la communauté Korebaju est constituée d'environ 2 000 membres disséminés dans 27 villages (Communauté Korebaju, 2011). Historiquement parlant, elle s'est constituée avec le regroupement de quatre communautés : Korebaju, Tama, Macaguaje et Carijona, chacune ayant sa propre langue. À partir du XVIe siècle, les processus d'esclavagisme et d'évangélisation vont progressivement modifier cette configuration et amener les quatre clans à adopter la langue korebaju comme leur propre langue. Actuellement, la communauté Korebaju présente des variations dialectales souvent bien identifiées par les locuteurs eux-mêmes (nous citons en exemple le propos du cuisinier tama qui nous avertit lors de l'enquête qu'il ne parle que le tama). L'existence d'une variation dialectale est également mentionnée par quelques études descriptives précédentes (p. ex. Cook & Criswell, 1993) sans fournir toutefois beaucoup de précisions, ni consensus sur sa nature. Le korebaju est aujourd'hui menacé d'extinction et répertorié dans l'« Atlas des langues en danger dans le monde » de l'UNESCO (Moseley, 2010). Nous avons conduit une étude récente sur ces données d'enquête qui nous a permis de proposer 15 consonnes /p, t, k, pʰ, tʰ, kʰ, β, φ, s, h, w, til, m, n, nj, hŋ, r/ et 17 voyelles /i, e, a, o, u, i, ï, ë, ã, õ, û, ï, iʔ, eʔ, aʔ, oʔ, iʔ/ pour le korebaju (Vega Rodriguez et al., 2023) confirmant ainsi certains des résultats d'une étude préliminaire de Vega Rodriguez (2019).

Dans la problématique de la description phonétique et phonologique du korebaju, une question centrale concerne la description et le statut, controversés, des multiples productions glottales relevées dans la langue et qui semblent constituer un indice perceptuel pour l'identification de l'ascendance clanique d'un locuteur. Outre le cas du korebaju et d'une possible variation dialectale, un éclairage sur le statut des productions glottales en korebaju est aussi attendu par les auteurs de travaux actuels portant sur la description des processus de glottalisation dans les autres langues de la famille Tukano et également pour ce qui concerne l'établissement de leur ancêtre commun (Chacón, 2016 ; Stenzel, 2007). Pour ces raisons, nous avons inclus dans notre étude la première comparaison dialectale du korebaju en examinant les variétés korebaju et tama.

L'objectif de cette communication est (1) de présenter l'inventaire et la distribution des différents types de productions glottales relevées au cours des enquêtes linguistiques réalisées de 2022 à 2023 ; (2) de proposer leurs caractérisations acoustiques en tenant compte des variations intra- et inter-locuteurs ; (3) d'ouvrir la discussion avec des experts en traitement automatique de la parole en vue du développement d'un outil de segmentation et d'étiquetage automatique ou semi-automatique des corpus de terrain s'appuyant sur le signal acoustique et le signal électroglottographique (EGG).
La caractérisation des productions glottales en korebaju se heurte aussi à la difficulté de décrire, de manière générale, les productions glottales et leurs indices acoustiques, ainsi que leur statut dans les langues. Des discussions sont toujours très actuelles, tant sur le plan phonétique (Garellek, 2019; Garellek et al. 2023; Mittal et al., 2014; Esposito, 2012; Ladefoged & Maddieson, 1996), que phonologique (Dąbkowski, 2023; Kim & Pulleyblank, 2009; Macaulay & Salmons, 1995; Michaud, 2005; Nguyễn, 2021; Roberts, 2006; Stenzel, 2007). Ce débat s'inscrit aussi dans les propositions de critères pertinents pouvant permettre de classer correctement les différentes réalisations glottales. Récemment, Garellek et al. (2023) illustrent cette controverse en livrant les différentes transcriptions que ces sons ont eu à travers l'histoire, basées à la fois sur des aspects articulatoires et sur leur statut segmental ou suprasegmental pour proposer ensuite l'étiquetage de trois grand types de productions glottales pour les voyelles : « [...] (i) 'creaky/laryngealized' vowels were creaky throughout the vowel; (ii) 'rearticulated/glottalized' vowels were creakiest in the middle of the vowel; and (iii) 'checked' vowels were creakiest towards the end of the vowel. » (Garellek et al., 2023: 313). L'absence de consensus à propos des productions glottales concerne également la délimitation des frontières de ces segments en fonction de leurs caractéristiques acoustiques et de leurs variations (p. ex. Esposito & Khan, 2020; Keating et al., 2010).

Enfin, des études ont porté sur la détection et l'analyse automatiques des glottalisations à partir du signal EGG (Nguyễn, 2021 pour un dialecte de la langue Muong) sans pour autant parvenir à un résultat satisfaisant en raison de la grande variété de structures acoustiques de ces productions, parfois au sein du même segment, tandis que d'autres se sont concentrées sur la détection des cycles glottiques dans le signal de parole afin de catégoriser automatiquement le type de phonation (pour une revue, Daoudi, 2021: 92-138). Cependant la performance des outils reste bien en deçà du niveau de l'expertise humaine.

## 2 Corpus

Douze locuteurs de chaque variété (pour un total de 24 locuteurs) ont été enrôlés, avec leur consentement, dans cette étude : 6 hommes (H) et 6 femmes (F) de deux générations distinctes, 18-31 ans (groupe G1) et 42-70 ans (groupe G2). Une liste de 132 mots insérés chacun dans une phrase porteuse a été collectée auprès de chaque participant avec une synchronisation des signaux de la parole, de l'EGG, du flux d'air oral et du flux d'air nasal, en utilisant l'électroglottographe D800 de Laryngograph® avec une fréquence d'échantillonnage du signal de 24 kHz. Ces données ont été recueillies dans chaque communauté auprès des locuteurs de chaque variété (korebaju et tama) et à certaines heures de la journée, pour minimiser au mieux, dans nos enregistrements, l'environnement sonore de la forêt amazonienne.

La segmentation et l'étiquetage du corpus ont été réalisés manuellement pour l'ensemble des locuteurs participants. Toutes les productions glottales relevées [, V, V? , ?V, V?, ?V, ?] ont été labelisées à partir de l'écoute et de l'expertise visuelle du spectrogramme et du signal de parole, et en s'appuyant sur des descriptions articulatoires (Esling et al., 2019) et
acoustiques (Garellek, 2019 ; Gordon & Ladefoged, 2001; Ladefoged & Maddieson, 1996)
de la littérature.

# 3 Panorama des glottalisations en korebaju

Le korebaju présente plusieurs types de segments glottiques allant d'une approximante glottale craquée voisée [?] (Ladefoged & Maddieson, 1996), à des voyelles craquées (laryngalisées) [Y], des voyelles glottalisées (réarticulées) [V?], [V?] (selon la typologie de Garellek et al. 2023 citée plus haut Section 1), et des segments correspondant à une occlusion glottale [?]. Ces productions présentent toutefois des variations intra- et interlocuteur dans deux types de séquences (racine ou affixe ou racine+affixe) : (1) dans les séquences (C)V?V, la glottalisation peut affecter les deux voyelles adjacentes telles qu'elles sont réalisées glottalisées ([V?] ou [V?] pour la première et [?]V ou [?]V pour la seconde), et le segment intervocalique peut être produit avec différents types phonatoires allant, sur un continuum de la taille de la constriction glottique (Garellek, 2023, p. 308), de l'approximante glottale craquée voisée (+ ouverte) jusqu'à l'occlusive glottale (+ fermée) ; (2) dans les séquences (C)YCV ou (C)V?CV ou (C)V?CV (sans changement de sens), où la glottalisation est généralement une réarticulation glottale à partir de la seconde moitié de la première voyelle, mais elle peut être aussi parfois une glottalisation de toute la durée de cette voyelle (voyelle laryngalisée), et tous les timbres vocaliques sont pareillement concernés.

## 3.1 Approximante glottale craquée voisée [?] et occlusion glottale [?]

<figure><img src="image_11.png" /><figcaption>FIGURE 1 : Mot ‘abeille’ produit par un locuteur tama [ò?¿?á] (à gauche) et un locuteur korebaju [ò??á] (à droite).</figcaption></figure>
Dans les deux variétés korebaju, deux types de constrictions glottales sont trouvés en position intervocalique (C)V_V et leurs productions peuvent varier d'un locuteur à l'autre et parfois chez un même locuteur (FIGURE 1). Leur statut phonologique est encore en cours d'étude. Le segment intervocalique est parfois une occlusive glottale prototypique réalisée avec une fermeture complète et tenue de la glotte. Cependant, cette production semble présenter des variantes libres pouvant aller jusqu'au relâchement de la fermeture, avec oscillation des plis vocaux, et tendre vers une réalisation approximante [ʔ].

L'approximante glottale craquée voisée [ʔ], bien qu'il y ait peu d'études sur la description de ce son, est acoustiquement caractérisée par une diminution de l'énergie entre les deux voyelles, causée par une constriction partielle des plis vocaux, sans pour autant aboutir à une occlusion totale (Ladefoged & Maddieson, 1996, p. 77). Son degré de constriction est assez faible. On observe en général un abaissement de la F₀ toutefois moins important que dans les productions des voyelles craquées prototypiques (pour ces dernières au-dessous de 50 Hz chez les hommes et chez les femmes). De plus, on n'observe pas d'interruption ou d'irrégularité de la F₀ comme dans le cas des productions craquées prototypiques (laryngalisation). L'analyse en cours du signal EGG (quotient de fermeture) apportera peut-être des données physiologiques qui permettront de caractériser plus finement ce type de production.

## 3.2 Voyelles craquées [ɣ] et voyelles réarticulées [Vʔ], [Vʔ]

<figure><img src="image_12.png" /><figcaption>FIGURE 1 : Mot 'étroit' [mâ:kàrì] produit par un homme tama (à gauche), et mots 'ainsi' [iʔsé] (au milieu) et 'sortez' [βèʔsé] (à droite) produits par un homme korebaju.</figcaption></figure>

Les voyelles craquées prototypiques sont caractérisées par une vibration lente et irrégulière des plis vocaux, une irrégularité de la F₀ et un resserrement de la glotte, qui se traduit par
un petit pic d'ouverture, une phase de fermeture longue et un flux d'air glottique faible (Keating et al., 2015, p.1). Dans les deux variétés, les réalisations vocaliques [Vʔ], [Vʔ], [Υ] sont des allophones de /Vʔ/ (c.f. Section 1) pour lesquelles on observe une variation de craquement mais pas de timbre. Les différentes productions craquées de / Vʔ/ sont trouvées indifféremment dans des racines ou affixes ou constructions racine+affixe de type (C)VCV quel que soit le contexte consonantique (cf. FIGURE 2).

## 4 Conclusion

Décrire de manière fiable la phonologie du korebaju et retracer son ascendance parmi les autres langues tukano nécessite de pouvoir inventorier, caractériser et classer les productions glottales, et cela passe par la compréhension des conditions de leur réalisation. Les études acoustiques et électroglottographiques ont certainement un rôle à jouer en livrant des paramètres ou des jeux de paramètres déterminants pour pouvoir établir une typologie des productions non modales comme le montrent les travaux récents de Garellek et al. (2023) et Keating et al. (2023). La forte variabilité des types de constrictions glottiques, comme nous l'avons rencontrée en korebaju, nécessite de collecter et traiter un grand nombre de données multilocuteur avant de pouvoir poser les bases d'une description des unités sonores de la langue. Pour l'heure, la segmentation et l'étiquetage des données ne peut être réalisée de manière fiable que manuellement avec une expertise phonétique humaine. Le développement d'outils de traitement automatique des productions non modales fournirait une grande aide pour la description et la typologie des différents modes phonatoires.

## Remerciements

Cette recherche bénéficie du soutien financier de l'École Doctorale 50 LLSH – UGA (mobilité sortante), de *Endangered Language Documentation Program* (ELDP Small Grant Project SG0703) et de *International Phonetic Association* (IPA). Les auteures expriment aussi leur vive reconnaissance aux membres des communautés Korebaju et Tama pour leur accueil, leur collaboration et leur participation à cette recherche.

## Références

CHACÓN T. (2016). The Reconstruction of Laryngealization in Proto-Tukanoan. In H. AVELINO, M. COLER, & L. WETZELS, Éds., *The Phonetics and Phonology of Laryngeal Features in Native American Languages*, p. 258-283. Leyde: BRILL. https://doi.org/10.1163/9789004303218

COOK, D., & CRISWELL, L. (1993). *El idioma koreguaje (Tucano Occidental)*. Bogotá: Asociación Instituto Lingüístico de Verano. https://www.sil.org/resources/archives/18776

DĄBKOWSKI, M. (2023). Two grammars of A'ingae glottalization: A case for cophonologies by phase. *Natural Language & Linguistic Theory*, 1-55. https://doi.org/10.1007/s11049-023-09574-5
DAOUDI, K. (2021). *Novel paradigms in the processing of speech and its disorders*. Computer Science [cs]. Université de Bordeaux, 2021. (tel-03884101)

ESLING, J. H., MOISIK, S. R., BENNER, A., & CREVIER-BUCHMAN, L. (2019). *Voice Quality: The Laryngeal Articulator Model*. Cambridge University Press. DOI: 10.1017/9781108696555

ESPOSITO, C. M. (2012). An acoustic and electroglottographic study of White Hmong tone and phonation. *Journal of Phonetics, 40*(3), 466-476. https://doi.org/10.1016/j.wocn.2012.02.007

GARELLEK, M. (2019). The phonetics of voice 1. In W. F. Katz & P. F. Assmann, Éds.), *The Routledge Handbook of Phonetics*, 1re éd., p. 75-106. London: Routledge. DOI: 10.4324/9780429056253-5

GARELLEK, M., CHAI, Y., HUANG, Y., & VAN DOREN, M. (2023). Voicing of glottal consonants and non-modal vowels. *Journal of the International Phonetic Association*, 53(2), 305-332. https://doi.org/10.1017/S0025100321000116

GORDON, M., & LADEFOGED, P. (2001). Phonation types: a cross-linguistic overview. *Journal of Phonetics*, 29, 383-406.

KEATING, P., GARELLEK, M., & KREIMAN, J. (2015). Acoustic properties of different kinds of creaky voice. In *The Scottish Consortium for ICPhS 2015, Éds.*, *Proceedings of the 18th International Congress of Phonetic Sciences*. Glasgow, UK: the University of Glasgow. ISBN 978-0-85261-941-4. Paper number 0821.1-9 retrieved from http://www.internationalphoneticassociation.org/icphs/proceedings/ICPhS2015/Papers/ICP HS0821.pdf

KEATING, P., KUANG, J., GARELLEK, M., ESPOSITO, C. (2023). A cross-language acoustic space for vocalic phonation distinctions. *Language*, 99, 351-389. https://doi.org/10.1353/lan.2023.a900607

KIM, E.-S., & PULLEYBLANK, D. (2009). Glottalization and Lenition in Nuu-chah-nulth. *Linguistic Inquiry*, 40(4), 567-617. https://doi.org/10.1162/ling.2009.40.4.567

LADEFOGED, P., & MADDIESON, I. (1996). *The Sounds of the World's Languages*. Oxford : Blackwell.

MACAULAY, M., & SALMONS, J. C. (1995). The Phonology of Glottalization in Mixtec. *International Journal of American Linguistics*, 61(1), 38-61. https://doi.org/10.1086/466244

MICHAUD, A. (2005). Final Consonants and Glottalization: New Perspectives from Hanoi Vietnamese. *Phonetica*, 61(2-3), 119-146. https://doi.org/10.1159/000082560

MITTAL, V. K., Yegnanarayana, B., & Bhaskararao, P. (2014). Study of the effects of vocal tract constriction on glottal vibration. *The Journal of the Acoustical Society of America*, 136(4), 1932-1941. https://doi.org/10.1121/1.4894789

MOSELEY, C. Éds.. (2010). *Atlas of the world's languages in danger*, (3e éd.). UNESCO.

NGUYỄN, M.-C. (2021). *Glottalization, tonal contrasts and intonation: An experimental study of the Kim Thuong dialect of Muong*. Doctoral dissertation. Université Sorbonne Nouvelle.

ROBERT, J. (2006). As old becomes new: glottalization in Vermont. *American Speech*, 81(3), 227-249. https://doi.org/10.1215/00031283-2006-016

STENZEL, K. (2007). Glottalization and Other Suprasegmental Features in Wanano. *International Journal of American Linguistics*, 73(3), 331-366. https://doi.org/10.1086/521730

VEGA RODRIGUEZ, J., VALLÉE, N., CHACÓN, T., SAVARIAUX, C., & GERBER, S. (2023). *An Intra- and Inter-Dialectal Study of Korebaju Vowels*. In *2nd Annual Meeting of the ELRA/ISCA SIG on Under-resourced Languages* (SIGUL 2023), p. 18-20, August 2023, Dublin, Ireland. https://sigul-2023.ilc.cnr.it/wp-content/uploads/2023/08/17_Paper.pdf

VEGA RODRIGUEZ, J. (2019). The Vowel System of Korebaju. In *Proceedings of Interspeech 2019*, p. 3975-3979, doi: 10.21437/Interspeech.2019-3210
# Transfert zero-shot pour l'étiquetage morphosyntaxique : analyse de l'impact de la transformation des données à étiqueter pour les dialectes alsaciens

Delphine Bernhard¹

(1) Université de Strasbourg, LiLPa UR 1339, F-67000 Strasbourg
dbernhard@unistra.fr

## RÉSUMÉ

Nous présentons et évaluons une méthode de transformation des données pour améliorer les performances du transfert zero-shot pour l'étiquetage morphosyntaxique des dialectes alsaciens. Le corpus à annoter est transformé à l'aide de trois procédures simples, reposant notamment sur des lexiques bilingues alsacien-allemand. Les résultats obtenus avec des modèles entraînés pour l'étiquetage morphosyntaxique en diverses langues (de Vries et al., 2022), plus ou moins proches de l'alsacien, montrent des gains importants sans ré-entraînement.

## ABSTRACT

### Zero-shot Transfer for POS Tagging : an Analysis of the Impact of Target Data Transformations for the Alsatian Dialects

We present and evaluate a data transformation method to improve the performance of zero-shot transfer for POS tagging of Alsatian dialects. The corpus to be annotated is transformed using three simple procedures, based in particular on bilingual Alsatian-German lexicons. The results obtained with models trained for POS tagging in various languages (de Vries et al., 2022), more or less similar to Alsatian, show substantial gains without retraining.

**MOTS-CLÉS** : dialectes alsaciens ; transfert zero-shot ; étiquetage morphosyntaxique.

**KEYWORDS** : Alsatian dialects ; zero-shot transfer ; POS tagging.

## 1 Introduction

Les grands modèles de langue multilingues se prêtent aux approches par transfert ne nécessitant pas de ressources annotées pour la langue cible (zero-shot). Ces approches sont supposées être particulièrement utiles pour les langues disposant de peu de ressources ; nous nous intéresserons ici plus particulièrement à l'étiquetage morphosyntaxique pour les dialectes alsaciens.

Les travaux de de Vries et al. (2022) ont montré que différents éléments sont à prendre

<figure><img src="image_13.png" /></figure>
en compte pour l'étiquetage morphosyntaxique par transfert inter-langues et notamment
la présence de textes de la langue cible dans le corpus utilisé pour le pré-entraînement du
modèle de langue. Or, les modèles multilingues les plus utilisés que sont mBERT (Devlin
et al., 2019; Devlin, 2019) et XLM-R (Conneau et al., 2020) ont été pré-entraînés pour 104 et
100 langues, respectivement. Ainsi, la grande majorité des langues sont absentes des données
utilisées pour produire ces modèles. Ceci peut expliquer en partie pourquoi la performance
mesurée par de Vries et al. (2022) pour 65 langues sources et 105 langues cibles se limite à
une exactitude moyenne de 57,4%, ce qui est faible pour une tâche réputée "simple" comme
l'étiquetage morphosyntaxique.

Afin de contrebalancer l'absence de pré-entraînement pour la langue cible, plusieurs ap-
proches ont été proposées, de manière à tirer parti des ressemblances entre langues. Elles
consistent à transformer des données d'une langue connue du modèle pour les approcher
au mieux de la langue cible ou, au contraire, transformer les données de la langue cible
pour les approcher d'une langue du modèle. Dans cet article, nous évaluons ce dernier type
d'approche, en utilisant notamment des lexiques bilingues alsacien-allemand.

## 2 Transformation des données pour les méthodes par transfert

En transfert inter-langues sans ressources, la transformation des données peut se faire à
différents niveaux : corpus de pré-entraînement du modèle de langue, données d'affinage
pour la tâche cible, données cibles.

Ainsi, Hana et al. (2011) décrivent une méthode d'étiquetage morphosyntaxique pour le
vieux tchèque dont la stratégie consiste à transformer un corpus de tchèque moderne pour
qu'il ressemble au vieux tchèque et, inversement, à transformer un corpus de vieux tchèque
pour qu'il ressemble au tchèque moderne. Ces transformations font notamment appel à des
règles de modification phonémique et graphémique. Bernhard & Ligozat (2013) reprennent
certaines de ces idées pour l'étiquetage morphosyntaxique de l'alsacien, en remplaçant les
règles de changement par un lexique bilingue allemand-alsacien limité aux mots grammati-
caux, qui sont les plus fréquents. Ce lexique est utilisé pour transposer les textes cibles en
alsacien vers l'allemand, avant des les étiqueter avec des outils entraînés pour l'allemand.
Cette méthode simple augmente les performances de l'étiquetage.

Wang et al. (2022) proposent également l'utilisation de lexiques bilingues pour synthétiser
des données, en justifiant cette approche par la plus grande disponibilité de lexiques bilingues
par rapport aux corpus monolingues de grande taille pour une large majorité des langues de
la planète. Les lexiques sont utilisés pour traduire des mots d'une langue bien dotée vers
la langue cible, afin de générer des données permettant de poursuivre le pré-entraînement
du modèle de langue multilingue ou encore des données annotées pour l'affinage pour la
tâche cible. Les résultats montrent une augmentation significative de la performance pour
les tâches d'étiquetage morphosyntaxique, analyse syntaxique et reconnaissance d'entités
nommées.

La méthode consistant à générer des données monolingues synthétiques à l'aide d'un lexique bilingue est également utilisée par Lothritz et al. (2022). Leur objectif est d'entraîner un modèle BERT pour le luxembourgeois en augmentant les données par des textes partiellement traduits de l'allemand vers le luxembourgeois. Cette traduction se limite aux mots outils. Toujours pour le luxembourgeois, Song et al. (2023) produisent un "pseudo" corpus parallèle luxembourgeois-anglais à partir d'un corpus allemand-anglais en utilisant lexique bilingue Le pseudo-corpus luxembourgeois-anglais est ensuite utilisé pour entraîner un modèle de traduction. dont les résultats restent toutefois largement inférieurs au modèle multilingue NLLB-large (Costa-jussà et al., 2022).

D'autres approches font totalement l'impasse sur les lexiques bilingues et génèrent des données synthétiques par l'injection aléatoire de bruit dans les données disponibles pour la langue source mieux dotée. Aepli & Sennrich (2022) augmentent les données de pré-entraînement du modèle de langue en injectant du bruit au niveau des caractères (suppression, insertion, remplacement) afin de générer de la variation orthographique. Dans la mesure où les mots sont découpés en sous-mots par les tokéniseurs des modèles de langue, ces perturbations conduisent à des modifications dans la segmentation des mots. Cette méthode permet d'obtenir une augmentation de l'exactitude de 22 points de pourcentage pour l'étiquetage morpho-syntaxique des dialectes suisses allemands, par rapport à une méthode sans injection de bruit utilisant uniquement des données en allemand. Blaschke et al. (2023) reprennent cette méthode et en font une analyse détaillée pour l'étiquetage morphosyntaxique de 7 langues appartenant à 3 familles linguistiques, incluant l'alsacien. Leur étude montre que la différence entre les proportions de mots qui ont été découpés en sous-mots dans les données source et cible a une corrélation négative avec la performance : plus cette différence est faible, plus l'exactitude est élevée. Les expériences décrites dans notre article visent à comparer, pour l'alsacien, l'approche de Blaschke et al. (2023), qui suppose d'entraîner un nouveau modèle à partir des données transformées, à une approche zero-shot par transformation des données cibles.

# 3 Méthode

Nous utilisons un corpus de textes alsaciens étiqueté en parties du discours selon les catégories Universal Dependencies (De Marneffe et al., 2021) et comportant 12 582 tokens de surface et 12 907 mots syntaxiques (Bernhard et al., 2018, 2023). Ce corpus est transformé de manière à s'approcher de l'allemand à l'aide de trois procédures simples :

1. Accentuation (A) : suppression des diacritiques de voyelles spécifiques aux dialectes alsaciens et conversion vers la forme non accentuée. Seuls les umlauts ⟨ä, ö, ü⟩ sont conservés, car ils sont utilisés en allemand. Les apostrophes sont également normalisées vers la forme ⟨’⟩.
2. Classes fermées (C) : utilisation d'un lexique de conversion de l'alsacien vers l'al-
lemand de formes appartenant aux classes fermées. Nous réutilisons directement
le lexique constitué par Bernhard & Ligozat (2013), sans modification. Ce lexique
contient 133 entrées et a été constitué par étude d'un petit corpus de 5 textes. Un seul
de ces textes se trouve également dans le corpus annoté utilisé pour l'évaluation (soit
396 tokens)

3. Classes ouvertes (O) : utilisation d'un lexique de conversion de l'alsacien vers l'al-
lemand de formes appartenant aux classes ouvertes. Nous réutilisons le lexique
produit par Bernhard (2014, 2021). Si un mot en alsacien a plusieurs traduc-
tions possibles, seule la plus fréquente est conservée (fréquence dans le corpus
deu_news_2022_1M<fnref n="1" /> (Goldhahn et al., 2012)). Le lexique final comporte 6 699
paires de mots alsacien-allemand.

Ces procédures peuvent également être combinées entre elles, de manière à augmenter
le nombre de transformations sur le corpus d'entrée. La Table 1 récapitule le nombre et
le pourcentage de mots transformés par chaque procédure tandis que la Table 2 donne
des exemples. Nous indiquons également le nombre moyen de sous-mots par mot après
tokénisation avec XLM-R-base (Conneau et al., 2020), qui est le modèle de langue utilisé
pour l'entraînement des modèles d'étiquetage morphosyntaxique de de Vries et al. (2022)
que nous utilisons dans nos expériences. Ces modèles, qui ont été entraînés pour 65 langues
sources, sont ensuite appliqués pour étiqueter les différentes versions du corpus alsacien.

Toutes les expériences et analyses sont réalisées à l'aide des principaux outils et bibliothèques
Python suivants : *Hugging Face*<fnref n="2" /> pour les modèles<fnref n="3" />, les bibliothèques *Transformers* v. 4.30.2
et *Datasets* v. 2.13.0 (Tunstall et al., 2022), *PyTorch* v. 2.0.1⁴, *pandas* v. 2.0.3 (pandas
development team, 2023), *scikit-learn* v. 1.3.0 (Pedregosa et al., 2011), * matplotlib* v. 3.7.2
(Hunter, 2007) et *seaborn* v. 0.12.2 (Waskom, 2021).

4 Résultats

La Table 3 détaille les résultats, en terme d'exactitude, pour les 10 langues sources qui
obtiennent les meilleurs résultats en moyenne pour l'alsacien et pour les différentes transfor-
mations. A titre de comparaison, nous faisons également figurer les résultats obtenus pour
les dialectes suisses allemands (Aepli & Clematide, 2018) avec les mêmes langues sources
(sans transformation des données) : ces dialectes sont très proches des dialectes alsaciens, en
particulier l'aire haut alémanique au sud de l'Alsace, en zone limitrophe de la Suisse.

Ces résultats montrent un impact important des transformations simples sur les résultats

<footnote n="1">1. https://wortschatz.uni-leipzig.de/en/download/German#deu_news_2022</footnote>

<footnote n="2">2. https://huggingface.co</footnote>

<footnote n="3">3. https://huggingface.co/wietsedv/xlm-roberta-base-ft-udpos28-[codedelangu</footnote>

<footnote n="4">4. https://pytorch.org/</footnote>
<table><caption>TABLE 1 – Nombre et pourcentage de mots syntaxiques transformés selon chaque procédure. La dernière colonne indique le nombre moyen de sous-mots par mot après tokénisation avec XLM-R-base.</caption><thead><tr><th>Traitement</th><th># transformations</th><th>% mots</th><th># sous-mots / mot</th></tr></thead><tbody><tr><td>Aucun</td><td>0</td><td>0%</td><td>1,92</td></tr><tr><td>A</td><td>2 586</td><td>20%</td><td>1,70</td></tr><tr><td>C</td><td>2 475</td><td>19%</td><td>1,82</td></tr><tr><td>O</td><td>749</td><td>6%</td><td>1,88</td></tr><tr><td>AC</td><td>4 344</td><td>34%</td><td>1,66</td></tr><tr><td>AO</td><td>3 108</td><td>24%</td><td>1,68</td></tr><tr><td>CO</td><td>3 127</td><td>24%</td><td>1,78</td></tr><tr><td>ACO</td><td>4 804</td><td>37%</td><td>1,64</td></tr></tbody></table>

<table><caption>TABLE 2 – Exemples de sous-mots en fonction des pré-traitements.</caption><tr><td>Texte original</td><td>Mît</td><td>dr</td><td>Jugend</td><td>ìsch</td><td>nit</td><td>loos</td><td>!</td></tr><tr><td>sous-mots</td><td>M_ìt</td><td>dr</td><td>Jugend</td><td>ìsch</td><td>nit</td><td>loo_s</td><td>!</td></tr><tr><td>A</td><td>Mit</td><td>dr</td><td>Jugend</td><td>isch</td><td>nit</td><td>loo_s</td><td>!</td></tr><tr><td>C</td><td>Mit</td><td>der</td><td>Jugend</td><td>ist</td><td>nicht</td><td>loo_s</td><td>!</td></tr><tr><td>O</td><td>M_ìt</td><td>dr</td><td>Jugend</td><td>ìsch</td><td>nada</td><td>loo_s</td><td>!</td></tr><tr><td>AC</td><td>Mit</td><td>der</td><td>Jugend</td><td>ist</td><td>nicht</td><td>loo_s</td><td>!</td></tr><tr><td>AO</td><td>Mit</td><td>dr</td><td>Jugend</td><td>isch</td><td>nada</td><td>loo_s</td><td>!</td></tr><tr><td>CO</td><td>Mit</td><td>der</td><td>Jugend</td><td>ist</td><td>nada</td><td>loo_s</td><td>!</td></tr><tr><td>ACO</td><td>Mit</td><td>der</td><td>Jugend</td><td>ist</td><td>nada</td><td>loo_s</td><td>!</td></tr></table>

obtenus. La suppression des accents à elle seule permet de gagner 7,2 points d'exactitude en moyenne par rapport aux données brutes pour l'ensemble des 65 langues sources, soit plus que l'utilisation d'un lexique de mots de classes ouvertes (gain de 2,1 points en moyenne). C'est d'ailleurs cette dernière ressource qui a l'impact le plus faible sur les résultats. Le lexique de mots grammaticaux permet d'augmenter le score d'exactitude de 14,1 points en moyenne sur l'ensemble des langues sources, confirmant ainsi les observations de Bernhard & Ligozat (2013). Enfin, les meilleurs résultats sont obtenus par combinaison de l'ensemble des ressources (ACO) : exactitude moyenne de 61,0 (+18,7) pour les 65 langues sources, et de 72,1 (+21,7) pour les 10 langues présentées dans la Table 3.

Si l'on met en regard les données des Tables 1 et 3, on constate que, globalement, plus le pourcentage de mots transformés augmente, plus le nombre moyen de sous-mots par mot diminue et plus le score d'exactitude augmente également. La diminution du nombre moyen de sous-mots par mot indique, indirectement, que les données se rapprochent davantage de celles utilisées pour pré-entraîner le tokéniseur du modèle de langue.

Ces résultats sont inférieurs mais très proches du score de 78 % d'exactitude obtenu par
<table><thead><tr><th>Langue source</th><th>suisse</th><th>alsacien</th><th>A</th><th>C</th><th>O</th><th>AC</th><th>AO</th><th>CO</th><th>ACO</th></tr></thead><tbody><tr><td><u>afrikaans</u></td><td>55,2</td><td>53,0</td><td>61,0</td><td>68,6</td><td>55,1</td><td>71,6</td><td>62,2</td><td>69,3</td><td>72,0</td></tr><tr><td><u>allemand</u></td><td>50,2</td><td>49,9</td><td>58,7</td><td>69,5</td><td>52,5</td><td>73,0</td><td>60,4</td><td>70,6</td><td>73,6</td></tr><tr><td><u>arménien</u></td><td>46,2</td><td>47,6</td><td>58,9</td><td>65,8</td><td>51,2</td><td>71,1</td><td>61,2</td><td>67,8</td><td>72,2</td></tr><tr><td>arménien occidental</td><td>58,2</td><td>55,6</td><td>65,6</td><td>71,0</td><td>59,0</td><td>74,8</td><td>67,7</td><td>72,4</td><td>75,5</td></tr><tr><td><u>bulgare</u></td><td>50,3</td><td>48,5</td><td>57,8</td><td>66,0</td><td>51,5</td><td>69,8</td><td>59,9</td><td>67,4</td><td>70,8</td></tr><tr><td><u>féroïen</u></td><td>54,1</td><td>50,5</td><td>59,5</td><td>67,5</td><td>52,9</td><td>71,3</td><td>61,2</td><td>68,6</td><td>72,0</td></tr><tr><td><u>gallois</u></td><td>49,9</td><td>50,4</td><td>57,6</td><td>66,9</td><td>52,4</td><td>69,5</td><td>58,8</td><td>67,8</td><td>70,0</td></tr><tr><td><u>lituanien</u></td><td>49,7</td><td>48,8</td><td>57,9</td><td>66,4</td><td>51,4</td><td>69,5</td><td>59,4</td><td>67,8</td><td>70,5</td></tr><tr><td><u>roumain</u></td><td>53,0</td><td>51,8</td><td>60,6</td><td>69,2</td><td>54,9</td><td>73,2</td><td>62,8</td><td>70,4</td><td>74,0</td></tr><tr><td><u>tchèque</u></td><td>50,8</td><td>49,6</td><td>58,1</td><td>67,9</td><td>52,1</td><td>71,3</td><td>59,4</td><td>69,4</td><td>72,2</td></tr></tbody></table>

TABLE 3 – Exactitude (en %) pour différents prétraitements. Les 10 langues sources représentées sont celles qui obtiennent les meilleurs résultats en moyenne pour l'alsacien. Les langues présentes dans les données de pré-entraînement pour XLM-R sont soulignées.

Blaschke et al. (2023) pour le même corpus alsacien, en manipulant le corpus allemand avant l'entraînement du modèle d'étiquetage morphosyntaxique. Dans notre cas, nous n'avons pas ré-entraîné les modèles et les avons utilisés tels quels.

# 5 Discussion

**Conclusion** Nous avons analysé une méthode peu coûteuse, simple à mettre en œuvre et ne nécessitant pas de ré-entraînement de modèles pour le transfert inter-langues de modèles d'étiquetage morphosyntaxique. Les ressources requises sont limitées et peuvent être facilement constituées par une étude de corpus ou à partir d'un lexique bilingue, même de taille limitée. Les résultats obtenus pour l'étiquetage de l'alsacien montrent que tous les modèles bénéficient des transformations, pas uniquement le modèle affiné pour l'allemand.

**Perspectives** Le lexique des mots de classes fermées gagnerait à être étendu, ce qui pourrait contribuer à augmenter encore l'exactitude. Par ailleurs, il serait utile de comprendre et expliquer pourquoi de si bons résultats sont obtenus avec l'arménien occidental et le roumain. Les bonnes performances globales du roumain, pour un large ensemble de langues cibles, avait déjà été remarqué par de Vries et al. (2022).

**Limites** Les travaux présentés dans cet article ont été réalisés pour une seule langue cible. Par ailleurs, le corpus alsacien utilisé ne représente qu'une partie de la variation observée dans l'espace dialectal germanique en Alsace et ne saurait être représentatif de l'ensemble des locutrices et locuteurs. Il faudrait donc étendre les expériences à d'autres langues pour vérifier si les conclusions restent valides. Enfin, une seule tâche a été évaluée (classification de tokens, et, plus particulièrement, étiquetage morphosyntaxique) et il faudrait donc vérifier si les transformations proposées ont un impact similaire pour d'autres types de tâches.
# Remerciements

Nous remercions le Centre de Calcul Haute Performance de l'Université de Strasbourg pour avoir soutenu ce travail en fournissant un support scientifique et l'accès aux ressources informatiques. Une partie des ressources informatiques a été financée par le projet Equipex Equip@Meso (Programme Investissements d'Avenir) et le CPER Alsacalcul/Big Data.

Ces travaux ont été réalisés dans le cadre du projet ANR-21-CE27-0004 DIVITAL soutenu par l'Agence Nationale de la Recherche.

# Références

AEPLI N. & CLEMATIDE S. (2018). Parsing Approaches for Swiss German. In *Proceedings of SwissText 2018*.

AEPLI N. & SENNRICH R. (2022). Improving Zero-Shot Cross-lingual Transfer Between Closely Related Languages by Injecting Character-Level Noise. In *Findings of the Association for Computational Linguistics : ACL 2022*, p. 4074–4083, Dublin, Ireland : Association for Computational Linguistics. DOI: 10.18653/v1/2022.findings-acl.321.

BERNHARD D. (2014). Adding Dialectal Lexicalisations to Linked Open Data Resources : The Example of Alsatian. In *Proceedings of the Workshop on Collaboration and Computing for Under Resourced Languages in the Linked Open Data Era (CCURL 2014)*, p. 23–29, Reykjavík, Iceland.

BERNHARD D. (2021). Lexique multilingue alsacien – français – allemand relié aux synsets de BabelNet. DOI: 10.34847/nkl.3f9b2i11.

BERNHARD D., ERHART P., HUCK D. & STEIBLÉ L. (2023). Annotated Corpus for the Alsatian Dialects. version 3.0, DOI: 10.5281/zenodo.1170128.

BERNHARD D. & LIGOZAT A.-L. (2013). Es esch fàscht wie Ditsch, oder net ? Étiquetage morphosyntaxique de l'alsacien en passant par l'allemand. In *Actes de TALARE 2013 : Traitement Automatique des Langues Régionales de France et d'Europe*, p. 209–220, Les Sables d'Olonne, France.

BERNHARD D., LIGOZAT A.-L., MARTIN F., BRAS M., MAGISTRY P., VERGEZ-COURET M., STEIBLE L., ERHART P., HATHOUT N., HUCK D., REY C., REYNÉS P., ROSSET S., SIBILLE J. & LAVERGNE T. (2018). Corpora with Part-of-Speech Annotations for Three Regional Languages of France : Alsatian, Occitan and Picard. In N. CALZOLARI, K. CHOUKRI, C. CIERI, T. DECLERCK, S. GOGGI, K. HASIDA, H. ISAHARA, B. MAEGAARD, J. MARIANI, H. MAZO, A. MORENO, J. ODIJK, S. PIPERIDIS & T. TOKUNAGA, Éds., *Proceedings of the 11th Edition of the Language Resources and Evaluation Conference*, p. 3917–3924, Miyazaki, Japan.

BLASCHKE V., SCHÜTZE H. & PLANK B. (2023). Does Manipulating Tokenization Aid Cross-Lingual Transfer ? A Study on POS Tagging for Non-Standardized Languages. In
Tenth Workshop on NLP for Similar Languages, Varieties and Dialects (VarDial 2023), p. 40–54, Dubrovnik, Croatia.

CONNEAU A., KHANDELWAL K., GOYAL N., CHAUDHARY V., WENZEK G., GUZMÁN F., GRAVE E., OTT M., ZETTLEMOYER L. & STOYANOV V. (2020). Unsupervised Cross-lingual Representation Learning at Scale. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 8440–8451, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2020.acl-main.747.

COSTA-JUSSÀ M. R., CROSS J., ÇELEBI O., ELBAYAD M., HEAFIELD K., HEFFERNAN K., KALBASSI E., LAM J., LICHT D. & MAILLARD J. (2022). No language left behind : Scaling human-centered machine translation. arXiv : 2207.04672.

DE MARNEFFE M.-C., MANNING C. D., NIVRE J. & ZEMAN D. (2021). Universal dependencies. *Computational linguistics*, 47(2), 255–308.

DE VRIES W., WIELING M. & NISSIM M. (2022). Make the Best of Cross-lingual Transfer : Evidence from POS Tagging with over 100 Languages. In *Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1 : Long Papers)*, p. 7676–7685, Dublin, Ireland : Association for Computational Linguistics. DOI : 10.18653/v1/2022.acl-long.529.

DEVLIN J. (2019). Multilingual bert readme document. https://github.com/google-research/bert/blob/master/multilingual.md.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 4171–4186, Minneapolis, Minnesota : Association for Computational Linguistics. DOI : 10.18653/v1/N19-1423.

GOLDHAHN D., ECKART T. & QUASTHOFF U. (2012). Building Large Monolingual Dictionaries at the Leipzig Corpora Collection : From 100 to 200 Languages. In *Proceedings of the Eighth International Conference on Language Resources and Evaluation (LREC’12)*, p. 759–765, Istanbul, Turkey : European Language Resources Association (ELRA).

HANA J., FELDMAN A. & AHARODNIK K. (2011). A low-budget tagger for Old Czech. In *Proceedings of the 5th ACL-HLT Workshop on Language Technology for Cultural Heritage, Social Sciences, and Humanities*, p. 10–18.

HUNTER J. D. (2007). Matplotlib : A 2d graphics environment. *Computing in Science & Engineering*, 9(3), 90–95. DOI : 10.1109/MCSE.2007.55.

LOTHRITZ C., LEBICHOT B., ALLIX K., VEIBER L., BISSYANDE TEGAWENDE., KLEIN J., BOYTSOV A., LEFEBVRE C. & GOUJON A. (2022). LuxemBERT : Simple and practical data augmentation in language model pre-training for luxembourgish. In *Proceedings of the Language Resources and Evaluation Conference*, p. 5080–5089, Marseille, France : European Language Resources Association.
PANDAS DEVELOPMENT TEAM (2023). pandas-dev/pandas : Pandas v2.0.3. 10.5281/zenodo.8092754, DOI : 10.5281/zenodo.8092754.

PEDREGOSA F., VAROQUAUX G., GRAMFORT A., MICHEL V., THIRION B., GRISEL O., BLONDEL M., PRETTENHOFER P., WEISS R., DUBOURG V., VANDERPLAS J., PASSOS A., COURNAPEAU D., BRUCHER M., PERROT M. & DUCHESNAY E. (2011). Scikit-learn : Machine learning in Python. *Journal of Machine Learning Research*, **12**, 2825-2830.

SONG Y., EZZINI S., KLEIN J., BISSYANDE T., LEFEBVRE C. & GOUJON A. (2023). Letz Translate : Low-Resource Machine Translation for Luxembourgish. In *5th International Conference on Natural Language Processing*, Guangzhou, China.

TUNSTALL L., VON WERRA L. & WOLF T. (2022). *Natural Language Processing with Transformers*. O’Reilly Media, Inc.

WANG X., RUDER S. & NEUBIG G. (2022). Expanding Pretrained Models to Thousands More Languages via Lexicon-based Adaptation. In *Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 863–877, Dublin, Ireland : Association for Computational Linguistics. DOI : 10.18653/v1/2022.acl-long.61.

WASKOM M. L. (2021). seaborn : statistical data visualization. *Journal of Open Source Software*, **6**(60), 3021. DOI : 10.21105/joss.03021.
Deuxième partie

Session dédiée aux approches formelles
# A Layered Approach to Semantic Representation

Siyana Pavlova Maxime Amblard Bruno Guillaume

Université de Lorraine, CNRS, Inria, LORIA, F-54000 Nancy, France

`{firstname.lastname}@loria.fr`

## RÉSUMÉ

Une approche stratifiée pour la représentation sémantique

Nous présentons une première version de notre approche de la représentation sémantique. Bien qu'il existe de nombreux formalismes pour la sémantique, parvenir à rassembler plusieurs informations sémantiques tout en restant lisible reste une tâche difficile. Nous proposons de nous appuyer sur la structure prédicat-argument (PA) utilisée dans les AMR et d'étendre la représentation avec de nouveaux type de sommets et d'arêtes. Nous introduisons la notion de "caractéristiques" qui représente des phénomènes sémantiques nouvellement encodés sous forme de couches. Des arêtes font le lien avec les caractéristiques sémantiques et la structure PA, ou dans le cas de phénomènes sémantiques en interaction avec d'autres caractéristiques. Notre approche permet de conserver la traditionnelle structure PA et de se focaliser sur des phénomènes particuliers et leurs interactions. Un avantage explicite est aussi de permettre de rendre compte de phénomènes complexes qui utilise la portée (négation, quantification, etc.).

## ABSTRACT

In this article, we present a first version of a layered approach we take to semantic representation. Our approach is motivated by the need for a semantic representation formalism which can encode a rich variety of semantic phenomena, while remaining simple to annotate and easy to read. Our representation derives its core predicate-argument structure from Abstract Meaning Representation (AMR), but is then extended with a number of types of nodes and edges. We introduce “features” - nodes for each semantic phenomenon we wish to encode. Features represent various layers of our representation. Edges are then attached to each feature node, that can link to nodes from the predicate-argument structure of the representation or, in the case of interacting semantic phenomena, to edges from other layers. An advantage of our approach is the possibility to exclude layers from the representation easily, while still being able to represent phenomena such as scope that are difficult for most graph-oriented formalisms.

**MOTS-CLÉS** : formalismes de représentation sémantique.

**KEYWORDS:** semantic representation formalisms, layered semantic representation.

<figure><img src="image_14.png" /></figure>
# 1 Introduction

Current semantic representation formalisms can be compared across multiple aspects, as shown in the literature (Abend & Rappoport, 2017; Žabokrtský et al., 2020; Pavlova et al., 2023b). In this work, we want to focus on the distinction in their ability to encode various semantic phenomena, and their readability. Thus, we split formalisms into two broad categories - logic-based (Kamp & Reyle, 1993; Montague, 1970), and graph-based (Banarescu et al., 2013; Abend & Rappoport, 2013; White et al., 2016). Logic-based formalisms tend to be powerful in terms of encoding, being able to express phenomena such as quantifier scope, but are not easy to read and interpret without prior training in Logic. Graph-based ones, on the other hand, are easier to read and annotate, but often lack when it comes to expressing scope or being compositional. Admittedly, some graph-based formalisms, such Minimal Recursion Semantics (MRS) (Copestake et al., 2005) are able to encode a large set of phenomena. However, the way this is realised still makes the formalism difficult to read. Similarly, logic formulas can be represented as graphs. However, interpreting those still requires an understanding of Logic.

Many of the more recent graph-based formalisms have been proposed with large-scale annotation in mind, Abstract Meaning Representation (AMR) (Banarescu et al., 2013) being the most popular one. However, to achieve this, they do not annotate various phenomena, such as temporal information, definiteness, plurality, etc. Uniform Meaning Representation (Van Gysel et al., 2021), which can be seen as a standalone formalism, puts together a number of AMR extensions, achieving a rather more powerful representation than AMR alone. However, as can be seen in Figure 1 of (Zhao et al., 2021), since all semantic phenomena are added as nodes and edges of the same status as those in the original AMR structure, the representation becomes rather messy for longer texts.

Our goal with this work is to create a formalism which is a common ground between logic-based and graph-based ones - easy to read and annotate, but also able to encode multiple semantic phenomena. Furthermore, we want to keep each phenomenon separate from the central predicate-argument structure in order to keep the overall structure more organised, and to allow for the independent exploration of different phenomena. Thus, we propose a way to modify and extend an AMR-inspired graph representation by adding explicit layers to the structure. Each layer is designed to encode a different semantic phenomenon, allowing a straightforward way to “switch off” the layer. This avoids cluttering of the representation when certain phenomena are not the focus of a given task.

# 2 Proposal

We present here our proposal to extend graph structures in order to encode various semantic phenomena in specifically dedicated layers. For this purpose, we add a number of node types
<figure><img src="image_15.png" /><figcaption>Figure 1: Our representation for two sentences</figcaption></figure>

and relation types. We will explore these with the help of the two examples in English shown in Figure 1: for the sentence “I could not find the newspaper” (Figure 1a) with negation and modality, and “Every cow ate an apple” (Figure 1b), with the usual scope ambiguity.

The predicate-argument structure of each sentence is represented as a standard graph (the part inside the dashed rectangle), with nodes (from a set of nodes **V**) and edges (from a set of edges **E**). The nodes are predicates and concepts. The edges are argument roles, and are labeled. The predicates and the argument roles have been taken from PropBank (Palmer *et al.*, 2005). This is the standard structure we see in AMR and AMR-derived formalisms.

However, we restrict the usual AMR notation to the predicate-argument structure of the main predicate of a phrase. By doing this we assume to follow a neo-davidsonian representation of semantics (Davidson, 1967; Parsons, 1990). In this line, we extend this by first adding a node **S** to represent the event itself (S1 in the two figures). For multiple events in the same sentence, we introduce a node of the same type for each event, as we will see in section 3.

Then, a set of features **F** is added, each representing a semantic phenomenon that we wish to encode in the structure. Each feature is linked to an event node. In Figure 1a, we represent temporality, modality and negation. In Figure 1b, in addition to temporality, we also encode quantification.

Next, we introduce a set of edges, $E'$, which link a feature to a node from **V**, as we see with *modal* and *find-01* in Figure 1a, or with *temp* and *eat-01* in Figure 1b.

Figure 1a demonstrates that there are cases where it is not enough to link features only to nodes from **V**. In that sentence, it is not the *finding* event that is expressed in the past, but the speaker's *ability* to do so. Thus, we introduce another set of edges, which link a feature to an edge from $E'$. This is also useful for negation as we can see in the same sentence.

Finally, as demonstrated in Figure 1b, when more than one quantifier is present in a sentence,
<figure><img src="image_16.png" /><figcaption>Figure 2: "I could not find the newspaper until you told me where it would suddenly appear."</figcaption></figure>

we might need to specify which one takes scope over which other ones. To be able to do this, in the quantification layer we introduce another type of edges, which can link an edge from *E'* to a node from *V*. Edges linking to and from features are labeled or unlabeled, depending on the feature they are linked to.

One of the advantages of the thus described structure is that while various phenomena can be encoded, it is easy to choose to not represent a layer if the phenomenon it represents is not relevant for a given task. In Figure 1a, even though it is possible, we have chosen to not represent quantification.

## 3 Towards more complex examples

Let us now imagine a more complex example with multiple events. In Figure 2, we have our representation for the sentence "*I could not find the newspaper until you told me where it would suddenly appear*", where we have three events: *finding*, *telling*, and *appearing*.

As pointed out earlier, when dealing with multiple events, we choose to follow a neo-davidsonian approach, treating each event separately. Thus, we introduce three event nodes, S1 for "find", S2 for "told" and S3 for "appear". The word "until" expresses the fact that "could not find" was happening before "told". Thus, we employ the use of another set of edges, $E_S$, which links event nodes. We add one such edge between S1 and S2 with the label BEFORE. Edges in $E_S$ are labeled. They can be thought of as discourse relations, demonstrating our proposal's ability to go beyond semantics.

Using edges from $E_S$ is one of the ways we propose for handling subordinate clauses, specifically those introduced by subordinating conjunctions such as "because", "although", "until". However, some subordinating conjunctions can be directly linked as arguments of the predicate in the main clause, as we see with the example of "*where it would suddenly appear*". Here, the location represented by "where" is the ARG1 of the predicate tell-01
as per PropBank. Thus, while the *appearing* event is represented in its own box, one of its arguments, namely, the location, is linked to *tell-01* by an edge from *E*.

As we see in S3's box, we also treat AMR's non-core arguments differently. These are optional modifiers that are not predicate-dependent. As such, we link them to the event node via a new feature, rather than to the main predicate of that event. We can see that with *sudden* being linked to S3 via the *manner* feature in Figure 2. This helps us to keep the core predicate-argument structure separate.

Finally, we have two instances of co-reference in this example, between “*I*” and “*me*” and between “*newspaper*” and “*it*”. Our current approach is to link these with a pair of dashed edges, different in type from the edges in *E*, running between each instance of the co-referent. These edges are unlabeled.

With the example in this section, we demonstrate our proposal's versatility in encoding various phenomena even for longer texts. The use of layers allows us to represent a wide range of semantic phenomena while keeping it easy to identify each of them in the overall structure. Representing each event separately allows us to maintain this aspect of the representation even for longer texts.

# 4 Discussion and Future Work

In this work, we do not provide all the definitions of the framework, but as part of ongoing work we have explored its ability to encode a lot of different phenomena and how they could interact in the representation, namely: temporality, aspect, modality, negation, quantifier scope, definiteness, plurality and generics. Thus, we believe our representation has the potential to encode the phenomena represented by logic-based formalisms. However, with our proposal on how to visualise it, it is also more easy to read and annotate. Finally, the clear separation between phenomena allows for a more organised view and the possibility to “switch off” certain layers when irrelevant for a specific task.

As we have seen, edges linking to and from features can be labeled or unlabeled, depending on the feature they are connected to. The focus of this work so far has been the general structure of our proposal. As such, we have used only a simple set of classes for each feature: *possibility* and *necessity* for *modal*, *past*, *present* and *future* for *temp*. In the future, we intend to explore the lattice approach proposed in (Van Gysel et al., 2019) and utilised in UMR. Furthermore, as we can see with the example in Figure 2, while the three events are all in the past, it is clear to a speaker that there is an order in which they occur - the *inability to find the newspaper* happens before the *telling*, while *the appearance of the newspaper* happens after it. This information is not captured by the current version of our proposal but will be the subject of future work, where we could utilise Reichenbach's notions of *speech time*, *event time* and *reference time* (Reichenbach, 1947).
Further next steps for this project will be to give the formal definition of our proposal, expand the list of phenomena we encode, annotate a first exploration corpus, and provide annotation guidelines. This work will be followed by transformation experiments between the thus proposed formalism and other semantic representation formalisms in the line of our previous work (Pavlova et al., 2023a). Furthermore, to allow for this representation to be used for semantic parsing and tasks further up the NLP pipeline, we want to develop an equivalent textual representation in the spirit of PENMAN notation (Matthiessen & Bateman, 1991). Finally, our work so far has been guided and informed by examples in English. For future versions, we plan to take languages other than English into account in order to make sure we are designing a universal framework.

## Acknowledgements

We would like to thank the anonymous reviewers for their feedback and comments. Part of this work has been funded by *Agence Nationale de la Recherche* (ANR, fr: National Research Agency), grant number ANR-20-THIA-0010-01.

## References

ABEND O. & RAPPOPORT A. (2013). Universal Conceptual Cognitive Annotation (UCCA). In *Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 228–238, Sofia, Bulgaria: Association for Computational Linguistics.

ABEND O. & RAPPOPORT A. (2017). The State of the Art in Semantic Representation. In *Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 77–89, Vancouver, Canada: Association for Computational Linguistics. DOI: 10.18653/v1/P17-1008.

BANARESCU L., BONIAL C., CAI S., GEORGESCU M., GRIFFITT K., HERMJAKOB U., KNIGHT K., KOEHN P., PALMER M. & SCHNEIDER N. (2013). Abstract Meaning Representation for Sembanking. In *Proceedings of the 7th Linguistic Annotation Workshop and Interoperability with Discourse*, p. 178–186, Sofia, Bulgaria: Association for Computational Linguistics.

COPESTAKE A., FLICKINGER D., POLLARD C. & SAG I. A. (2005). Minimal Recursion Semantics: An Introduction. *Research on language and computation*, 3(2), 281–332.

DAVIDSON D. (1967). The Logical Form of Action Sentences. In N. RESCHER, Éd., *The Logic of Decision and Action*, p. 81–95. University of Pittsburgh Press.
KAMP H. & REYLE U. (1993). *From Discourse to Logic Introduction to Modeltheoretic Semantics of Natural Language, Formal Logic and Discourse Representation Theory*. Dordrecht. Kluwer.

MATTHIESSEN C. M. & BATEMAN J. A. (1991). Text Generation and Systemic-Functional Linguistics: Experiences from English and Japanese. *Communication in Artificial Intelligence Series*, **19**(1).

MONTAGUE R. (1970). English as a Formal Language.

PALMER M., GILDEA D. & KINGSBURY P. (2005). The Proposition Bank: An An-
notated Corpus of Semantic Roles. *Computational Linguistics*, **31**(1), 71–106. DOI: 10.1162/0891201053630264.

PARSONS T. (1990). *Events in the Semantics of English: A Study in Subatomic Semantics*. MIT Press.

PAVLOVA S., AMBLARD M. & GUILLAUME B. (2023a). Bridging Semantic Frame-
works: mapping DRS onto AMR. In *The 15th International Conference on Computational
Semantics (IWCS 2023)*, Nancy, France. HAL: [hal-04129563](https://hal-04129563).

PAVLOVA S., AMBLARD M. & GUILLAUME B. (2023b). Structural and Global Features for Comparing Semantic Representation Formalisms. In *The 4th International Workshop on Designing Meaning Representation*, Nancy, France. HAL: [hal-04129557](https://hal-04129557).

REICHENBACH H. (1947). *Elements of Symbolic Logic*. A Free Press paperback: philosophy. Macmillan Company.

VAN GYSEL J. E., VIGUS M., CHUN J., LAI K., MOELLER S., YAO J., O'GORMAN T., COWELL A., CROFT W., HUANG C.-R. et al. (2021). Designing a Uniform Meaning Representation for Natural Language Processing. *KI-Künstliche Intelligenz*, **35**(3-4), 343–360.

VAN GYSEL J. E. L., VIGUS M., KALM P., LEE S.-K., REGAN M. & CROFT W. (2019). Cross-Linguistic Semantic Annotation: Reconciling the Language-Specific and the Universal. In *Proceedings of the First International Workshop on Designing Meaning Representations*, p. 1–14, Florence, Italy: Association for Computational Linguistics. DOI: 10.18653/v1/W19-3301.

WHITE A. S., REISINGER D., SAKAGUCHI K., VIEIRA T., ZHANG S., RUDINGER R., RAWLINS K. & VAN DURME B. (2016). Universal Decompositional Semantics on Universal Dependencies. In *Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing*, p. 1713–1723.

ŽABOKRTSKÝ Z., ZEMAN D. & ŠEVČÍKOVÁ M. (2020). Sentence Meaning Representations Across Languages: What Can We Learn from Existing Frameworks? *Computational Linguistics*, **46**(3), 605–665. DOI: 10.1162/coli_a_00385.
ZHAO J., XUE N., VAN GYSEL J. & CHOI J. D. (2021). UMR-Writer: A Web Application for Annotating Uniform Meaning Representations. In H. ADEL & S. SHI, Éds., *Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing: System Demonstrations*, p. 160–167, Online and Punta Cana, Dominican Republic: Association for Computational Linguistics. DOI: 10.18653/v1/2021.emnlp-demo.19.
# Analysing topic shifts in task-oriented dialogues

Amandine Decker¹, ² Maxime Amblard¹ Ellen Breitholtz²

(1) Universite de Lorraine, CNRS, Inria, LORIA, F-54000 Nancy, France

(2) CLASP, University Göteborg

{amandine.decker, maxime.amblard}@univ-lorraine.fr,
ellen.breitholtz@ling.gu.se

## RÉSUMÉ

### Analyser les changements de sujet dans les conversations ayant un but.

Le sujet d'une conversation joue un role crucial dans sa cohérence globale car ce qui est discuté à un moment donné limite les contributions possibles des participants. Lancer un nouveau sujet de conversation alors que le précédent est encore en cours de discussion peut être une source de confusion en l'absence de signaux appropriés. Cependant, la notion de sujet de conversation est débattue en linguistique et n'est pas suffisamment abordée en modélisation du dialogue. Une description précise de cette notion ainsi que de celle de changement de sujet permettrait de comprendre ce que nous percevons lorsque nous jugeons comme cohérente une séquence d'interventions. Afin d'analyser les différents types de changements de sujet, nous proposons de créer un corpus de conversations ayant un but (discussion du dilemme éthique de la *montgolfière*), où les conversations sont des échanges de messages écrits. Ces discussions limitées thématiquement vont nous permettre de comprendre les changements de sujet dans les dialogues.

## ABSTRACT

Topics play an important role in dialogue coherence, as what is currently discussed constrains the possible contributions of the participants, and initiating a topic while the previous one is still under discussion may be confusing without appropriate signals. However, how to actually define the notion of topic is debated in linguistics and not sufficiently discussed in dialogue modelling. A precise description of topics and topic shifts in conversation would contribute to understanding what it is we perceive when we judge a sequence of utterances to be coherent. In order to analyse different types of topic shifts, we propose to create a corpus of written task-oriented conversations (discussion of the ethical dilemma of the *balloon task*), where the dialogues happen by message exchanges. Such a controlled setting where the main topic is fixed, and subtopics are more easily identifiable, could be very helpful when it comes to understanding how people change the topic and react to topic shifts in dialogues.

**MOTS-CLÉS** : Modélisation de dialogue, changements de sujet, sémantique.

**KEYWORDS**: Topic modelling, Topic shifts, Semantics.

<figure><img src="image_17.png" /></figure>
# 1 Motivation and context

Dialogue is at the core of human interactions, but it is also the place for many misunderstandings. It is thus interesting to build models to represent dialogue and try to better understand the features of a coherent interaction.

Interaction is however complex to characterise and model. In conversations, the participants exchange on different topics and the understanding of the current state of the dialogue by each participant relies on their interpretation of the topic under discussion. Even though topics are usually quite stable, shifts can happen more or less abruptly for several reasons such as a more pressing matter to discuss or the current topic being exhausted. Identifying topic shifts is crucial to understand and take part in the conversation. Conversely, creating confusion by changing the topic untimely and/or in an unclear manner could be seen as unco-operative (Grice, 1975). Moreover, the topic can sometimes gradually change throughout the conversation which can make it complicated to keep track of the most relevant information.

Having a better understanding of topic shifts in dialogue would help us include topics and topic shifts in current dialogue modelling theories (Amblard et al., 2011; Hunter et al., 2015; Maraev et al., 2018; Breitholtz, 2020). It could also enable us to analyse different types of dialogue-like conversations such as message threads on social media and identify off-topic contributions. Moreover, a symbolic approach of dialogue modelling could participate in improving language models’ handling of abrupt or unconventional topic shifts.

Topic shifts mechanisms are not all straightforward to investigate as participants usually implicitly agree on the topic and negotiate its boundaries through interaction. Thus, a more controlled setting with a fixed main topic, and more easily identifiable subtopics, could be very helpful to understand how people change the topic and react to topic shifts in dialogues.

Topic shifts mostly occur for three reasons: the dialogue content gives an idea to a participant (e.g., remembering an anecdote related to the current topic), the context changes and/or provides something to speak about (e.g., someone is coming who should not hear the current conversation, noises interrupt the dialogue, ...), or a participant has a specific agenda and shifts the topic, potentially abruptly, to fulfil it. In all these cases, the other participants must understand that the topic is changing to prevent disruptions in the dialogue. Specific tasks given to the participants could help us gather different types of topic shifts in our corpus.

Our objective is to construct a corpus that encompasses standard interactions, disrupted interactions, and interactions with multiple goals. The dialogues would be collected with a Chat Tool (Healey & Mills, 2009) that enables the experimenter to intervene in the conversations by modifying or delaying the participants’ messages for example. This will facilitate the comparison of how participants handle topic shifts. Our goal is to gather data first in English and later in French and possibly Swedish. Based on these analyses, we will define a proximity measure for determining topic change. Using it, we could segment the dialogues into thematic units and propose a more general theory of interaction.
## 2 ChatTool

DiET (Dialogue Experiment Toolkit) is an experiment platform developed by Healey & Mills (2009) that provides ways to gather text-messages conversations in a controlled environment. This ChatTool allows experimenter to link participants either with the Telegram app or with a custom computer interface and to store their conversation. All the messages sent by the participants are passed to a server which relays the messages to the addressees. The transition through the server enables the experimenter to control the conversation for they have the possibility to interfere with the conversations. Different manipulations are possible, and both the Telegram app and the custom computer interface have specificities when it comes to the display functionalities.

The experimenter can modify the content of messages, the identity of the sender of the messages and the timing of the messages. They can also insert fake messages and make it look like one of the participants sent them. These manipulations, illustrated by Figure 1, are meant to make it possible to investigate different dialogue phenomenon such as the organisation of a conversation, miscommunication or dialogue coherence.

<figure><img src="image_18.png" /><figcaption>Figure 1: Possible manipulations of the messages with the ChatTool</figcaption></figure>

## 3 Phenomena to Observe

Our goal is to investigate speakers' understanding of topic shifts. In this context, we would like to analyse the following phenomena.

Topic shifts are not always completely clear, especially when the new topic is not obviously different from the previous one. On the other hand, introducing a new topic that is completely different from the one at hand can be confusing and/or considered rude by the other participants. We would like to see how people react to more or less striking topic shifts.
There exist different ways to mark a topic shift and in particular some linguistic markers such as *by the way* can indicate to the addressees that the speaker is changing the topic. Removing these markers would enable us to assess their influence on mutual understanding.

A topic can change gradually in a conversation or more abruptly. In the first case, each intervention slightly changes the topic and thus helps understanding what is discussed. In the second case, the last interventions can help one notice that the previous topic has been wrapped up which licenses moving to a new one. We would like to see how people cope with missing some parts of the conversation, for instance by preventing one of the participants to receive some of the messages.

The meaning of some contributions can completely change if a piece of them is altered. For example, if someone is trying to describe an image with a cat but every time they use the word ‘cat’ it is replaced by ‘dog’, the final message will be completely different. The addressee would picture a different scene in their head and have a different perception of the at-hand topic from what the speaker expected. A message could also become complicated to understand if it contains an argument where one of the premise has been modified. If one receives the message “I need to buy gloves because it is getting so *warm* outside” instead of “I need to buy gloves because it is getting so *cold* outside”, their interpretation can be unpredictable. They could believe the sender was being ironic, that they made a mistake, or potentially have an interpretation according to which buying gloves when it gets warm makes sense. We would like to observe the way people interpret messages where a core information has been modified, and in particular if they realise that they have a different understanding of their current discussion or if both speakers try to accommodate the other messages by coming up with a fitting interpretation.

In parallel to these phenomena, we would be interested in understanding how, after how long and with what motivation people shift the topic. This can only be done if the participants create topic shifts on their own as pushing them to change the topic would create a different phenomenon where one has specific reasons to change the current topic.

# 4 Tasks

This project aims to collect dialogues where participants perform a task involving various subtopics and to analyse the topic shifts and the different phenomena we discussed above.

One such task could be to discuss the ethical dilemma of the *balloon task* (Breitholtz et al., 2021) where participants are asked to choose which of the four passengers of a hot air balloon to throw away, given that they would crash and all die if no one is sacrificed. The subtopics can there be defined by the different arguments in favour or against a passenger. We selected this task because its focus provides a manageable scope for conversation. We could create more or less obvious topic shifts by inserting a fake message discussing one
of the passengers when another one was discussed, or a message with a different argument from the one currently discussed. We could also create disruption by changing the passenger discussed in certain messages without notification.

A second task where the participants are supposed to cooperate to reach a common goal but where one of them could have hidden intentions would create interactions as both speakers would try to convince the other of their good intentions. Such a task could be realised through a game where the players both own a set of cards representing the wires of a bomb they are trying to disarm. The players know their own cards but not the ones of the other player. Disarming the bomb means cutting the wires in a certain order and thus returning the cards in a certain order. Discussing which card to return every turn would represent a topic. Inserting messages on a specific card or changing the colours that are discussed could create the phenomena discussed in Section 3.

Our last task is a description task inspired from the PhotoBook task (Haber et al., 2019). In this task both participants receive a set of images and they have to determine which one of them they have in common. Describing one image could be considered a sub-topic here. Again, this task provides a manageable scope and should limit the amount of personal information shared by the participants. The modifications of the messages could consist in swapping one entity for another, and we could create more or less clear topic shifts by adding messages related to a different image from the one currently discussed.

All three tasks are designed to prevent the participants from sharing personal information and engaging on personal topics (Amblard et al., 2014). Our goal is to observe the different phenomena described in Section 3 while minimising the impact of our manipulations on the content of the interventions.

# 5 Experimental Setup

Our goal is to gather conversations for the three tasks described in Section 4 where we manipulate some of the messages to observe the phenomenon discussed in Section 3. Table 1 describes the different manipulations we imagined for all the tasks and phenomena.

In total we have three tasks for four phenomena to observe. We also need one control setting for each task which makes fifteen different experiments. Our goal is to collect about 300 conversations in total (about 20 per experiment setting) where there would be three groups:

* about 30 conversations with first-time participants;

* about 90 conversations with participants joining in for the second, third or fourth time;

* about 180 conversations with 'trained' participants who have already taken part in the experiments more than 4 times.
<table><caption>Table 1: Manipulations of the conversations in the different tasks</caption><thead><tr><th>Phenomenon</th><th>Ethical Task</th><th>Dilemma</th><th>Negotiation Task</th><th>Image Task</th><th>Description</th></tr></thead><tbody><tr><td>Reaction to more or less clear TS</td><td>Add message on another passenger / with another argument</td><td></td><td>Add message on another card</td><td>Add message on a very different image from the one discussed / on a similar image</td><td></td></tr><tr><td>Influence of TS markers</td><td colspan="5">Gather a list of markers and delete them from messages</td></tr><tr><td>Missing information</td><td>Delete some arguments</td><td></td><td>Delete some arguments</td><td>Delete some messages with a '?'</td><td></td></tr><tr><td>Modified messages</td><td>Change the passenger discussed</td><td></td><td>Change the colour of the discussed wire</td><td>Modify some entities</td><td></td></tr><tr><td>Control</td><td colspan="5">No outside interventions</td></tr></tbody></table>

We would then annotate the dialogues with the topics but also the type of topic shifts. A topic shift can be more or less brutal and one of our goal is to define a scale where the most abrupt changes can be annotated with e.g. "explicitly marked" and "due to external factors". We also want to annotate the Questions Under Discussion (QUDs) (Kuppevelt, 1995; Ginzburg et al., 1996) in order to compare the granularity that topics and QUDs encode.

# 6 Conclusion

This paper describes a corpus collection experiment aiming at creating a resource to analyse how people understand each other in more chaotic environments. Our assumption is that speakers are able to maintain interaction in spite of partial or distorted information.

We would like to gather data in three languages: English, French, and Swedish. On top of the contribution in terms of language resources, this would be beneficial to compare how people handle topic shifts in different languages.

The analyses of this corpus would enable us to identify topic shift mechanisms and determine which ones are more easily understandable. This would participate in incorporating topics to formal dialogue models but also in improving language models when it comes to understanding less obvious topic shifts. Our goal in the future is to create a proximity measure to identify topic shifts, which could for instance help find off-topic and potentially harmful contributions in dialogue-like interactions such as social media ones.
## References

AMBLARD M., FORT K., MUSIOL M. & REBUSCHI M. (2014). L'impossibilité de l'anonymat dans le cadre de l'analyse du discours. In *Journée ATALA éthique et TAL*, Paris, France. HAL: [hal-01079308](https://hal.inria.fr/01079308).

AMBLARD M., MUSIOL M. & REBUSCHI M. (2011). Une analyse basée sur la S-DRT pour la modélisation de dialogues pathologiques. In M. LAFOURCADE & V. PRINCE, Éds., *Actes de la 18e conférence sur le Traitement Automatique des Langues Naturelles - TALN 2011*, p. 93–98, Montpellier, France: Laboratoire d'Informatique de Robotique et de Microélectronique. HAL: [hal-00601622](https://hal.inria.fr/00601622).

BREITHOLTZ E. (2020). *Enthymemes and Topoi in Dialogue: The Use of Common Sense Reasoning in Conversation*. Leiden, The Netherlands: Brill. DOI: [https://doi.org/10.1163/9789004436794](https://doi.org/10.1163/9789004436794).

BREITHOLTZ E., COOPER R., HOWES C. & LAVELLE M. (2021). *Reasoning in Multiparty Dialogue Involving Patients with Schizophrenia*, In (In)coherence of Discourse: Formal and Conceptual Issues of Language, p. 43–63. Springer International Publishing: Cham. DOI: [10.1007/978-3-030-71434-5_3](https://doi.org/10.1007/978-3-030-71434-5_3).

GINZBURG J. et al. (1996). *Dynamics and the semantics of dialogue. Logic, language and computation*, **1**, 221–237.

GRICE H. P. (1975). Logic and conversation. In P. COLE & J. L. MORGAN, Éds., *Syntax and Semantics*, volume 3, p. 45–47: New York: Academic Press.

HABER J., BAUMGÄRTNER T., TAKMAZ E., GELDERLOOS L., BRUNI E. & FERNÁNDEZ R. (2019). The PhotoBook dataset: Building common ground through visually-grounded dialogue. In A. KORHONEN, D. TRAUM & L. MÀRQUEZ, Éds., *Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics*, p. 1895–1910, Florence, Italy: Association for Computational Linguistics. DOI: [10.18653/v1/P19-1184](https://doi.org/10.18653/v1/P19-1184).

HEALEY P. G. & MILLS G. J. (2009). A dialogue experimentation toolkit. In *Proceedings of the Annual Meeting of the Cognitive Science Society*, volume 31.

HUNTER J., ASHER N., KOW E., PERRET J. & AFANTENOS S. (2015). Defining the Right Frontier in Multi-Party Dialogue. In *19th Workshop on the semantics and pragmatics of dialogue (SemDial 2015 - goDIAL)*, p. pp. 95–103, Göteborg, Sweden. HAL: [hal-01535950](https://hal.inria.fr/01535950).

KUPPEVELT J. V. (1995). Discourse structure, topicality and questioning. *Journal of Linguistics*, **31**(1), 109–147. DOI: [10.1017/S002222670000058X](https://doi.org/10.1017/S002222670000058X).

MARAEV V., GINZBURG J., LARSSON S., TIAN Y. & BERNARDY J.-P. (2018). Towards kos/ttr-based proof-theoretic dialogue management. In *Proceedings of the 22nd Workshop on the Semantics and Pragmatics of Dialogue*, Aix-en-Provence, France: SEMDIAL.
# Décrire et organiser les données de terrain avec RDF

Sylvain Loiseau¹

(1) UMR Lacito / Université Sorbonne Paris Nord
sylvain.loiseau@univ-paris13.fr

## RÉSUMÉ

Les données collectées sur le terrain par le linguiste (artefact, enregistrement, specimen, données écrites, etc.) sont diverses et complexes. Il n'existe pas de méthodologie permettant leur description et leur contextualisation. Cette description permettrait aux linguistes de mieux les utiliser ainsi que de les archiver – seule une petite proportion des données de terrain (des paires enregistrements / transcription) peuvent être aujourd'hui archivées. RDF est particulièrement adapté à une description de ces données, notamment dans des ontologies event-centric élaborées par des collectifs de musées ou d'institution d'archive comme *Record in context* ou le CIDOC-CRM. Cette contribution présente les enjeux de cette démarche, les avantages et les inconvénients de cette solution, ainsi qu'une expérience de conversion et d'utilisation de données de terrain en RDF.

## ABSTRACT

Linguistic fieldwork data is a complex net of relationships -- for instance, several documents (recordings and theirs related transcriptions) can relate to the same stimuli, several data sessions (each producing written documents, on various supports) can relate to the same recording, or to successive part of it... No methodology or tool is available for the description of this data in a uniform and explicit way. This contribution shows how RDF and an event-centric approach could be used to improve the organization of data by researchers and, then, by archiving bodies. The contextualization of data can offer better interpretability and discoverability of archived content.

**MOTS-CLÉS** : Linguistique de terrain, données de terrain, métadonnées, RDF, archivage.

**KEYWORDS:** Fieldwork linguistics, fieldwork data, metadata, RDF, archive.

## 1 Complexité des données de terrain

Cette contribution porte sur la modélisation et la description des données de terrain linguistique. Ces données sont diverses et complexes : elles comprennent notamment (Evans & Sasse 2003 : 6) :

- des enregistrements (audio, vidéo - souvent en parallèle)

- des données textuelles (cahiers, fichiers) : transcription, listes de mots, notes

<figure><img src="image_19.png" /></figure>
- des données géographiques (relevés GPS, carte, toponymes)

- des photographies

- des données bibliographiques

- des spécimens (pierre, roche, insecte, etc.)

- des stimuli

- des dessins

Un inventaire de ces données reste à faire. Mais outre leur variété de types, ces données sont surtout complexes du fait des relations qu'elles entretiennent. Par exemple, plusieurs data sessions (chacune produisant du matériel écrit) peuvent être consacrées à l'analyse d'un même événement langagier (ou à différentes portions du même événement) ; une data session peut être elle-même enregistrée et être interprétée en tant qu'événement communicatif ; plusieurs enregistrements (avec leurs transcriptions éventuelles) peuvent être consacrés au même stimulus. Woodbury (2007) par exemple décrit une situation fréquente chez les linguistes de terrain, ou un texte est enregistré et transcrit plusieurs fois sur une très longue période.

Il n'existe pas d'outil permettant de décrire ces données de façon satisfaisante. L'outil le plus approchant, Lameta (ex-SayMore), développé à l'origine par le Summer Institute of Linguistics, permet de regrouper un enregistrement et une (ou plusieurs) transcription(s) et de leur associer des méta données et des locuteurs. Mais il n'est pas possible d'établir des liens entre les documents, entre leur diverses formes (numérisés, etc), d'associer des transcription à des portions d'enregistrement, de décrire les autres types de données. Les données ne peuvent faire l'objet de requête.

Les chercheurs utilisent essentiellement des solutions *ad hoc*, tel que des tableurs, pour lister les enregistrements collectées et leur associer des propriétés d'une façon rudimentaire. Exposant de bonnes pratiques de gestion des données de terrain, Lee (2022 : 290) montre par exemple l'utilisation d'un tableur ; une colonne « links » est utilisée pour lier les enregistrements à d'autres objets au moyen de relations telle que HasTranscript, Requires, HasPart, isCopy, etc. Le modèle de données (le tableur) est clairement peu approprié pour ce type de données en réseau. Dans mon expérience de linguiste de terrain, tout comme dans les témoignages obtenus auprès d'autres collègues, des solutions de ce type sont utilisées, ne permettant de décrire qu'une portion des données de façon non systématique. L'essentiel des données restent non décrites et sommeille dans des cartons.

Modéliser correctement les données de terrain est pourtant important pour deux raisons au moins. D'une part, il s'agit de pouvoir exploiter correctement et optimalement le matériau collecté. Pouvoir facilement retrouver toutes les productions d'un même locuteur, ou toutes les données produites par des locuteurs de telle tranche d'âge ; ou issus d'un même village, ou de tel type d'événement communicatif, etc. Une meilleure solution de description et de contextualisation des données permettrait d'accroître la « cherchabilité » (discoverability) et l'interprétabilité des données.
D'autre part, ces données de terrain sont amenées à être, dans un grand nombre de cas, les seuls témoignages restant de langues bientôt disparues. Dans ce contexte, conserver l'intégralité des données collectées et permettre de les exploiter au mieux philologiquement est un enjeu important. Les sites d'archives de langues du monde (comme par exemple Pangloss, Elar ou Paradisec) n'archivent qu'un petit fragment des données effectivement produites par les linguistes de terrain : des paires enregistrement/transcription. Il s'agit en réalité, plutôt que d'archives, d'un travail d'édition. Pour pouvoir archiver davantage de données, il faut naturellement que les chercheurs produisent la description des données en premier lieu.

Enfin, il y a déjà de nombreux cas de ré-utilisation aujourd'hui d'archives laissées par des chercheurs et produites il y a plusieurs décennies. Là aussi, pour le chercheur qui se plonge aujourd'hui dans les cartons laissés par ses collègues et essaye d'organiser les données, il est nécessaire de disposer de méthodes pour organiser les données – objets, textes, fichiers – que l'on tente d'interpréter au mieux.

## 2 RDF et les ontologies « event-centric »

RDF semble être un modèle de données bien adapté à la description de ce type de données.

1/ d'une part, des ontologies RDF ont été élaborées par des consortium de musées et d'archives pour décrire et contextualisé des artefacts, par exemple :

- Record in context (https://www.ica.org/standards/RiC/RiC-O_v0-2.html)

- CIDOC-CRM (https://cidoc-crm.org)

Ces ontologies fournissent l'essentielle des relations nécessaires pour décrire ces données. En particulier, elles adoptent une approche « event-centric » : c'est-à-dire que les matériaux produits (enregistrements, transcriptions) sont rattachés à des événements qui les ont produit. Cette approche s'oppose à l'approche « document-centric » où les matériaux produits sont directement reliés entre eux. Le premier modèle est plus lourd mais également plus exhaustif et adapté aux relations philologiquement complexes des données de terrain. Certaines relations ne sont pas proposées par ces ontologies (la relation entre un événement et un artefact « produit par » cet événement, comme des notes de transcription par exemple), et doivent être définies.

2/ D'autre part, RDF permet facilement d'agréger des données issues de sources différentes. C'est le cas des données de terrain, qui seront toujours en partie décrite avec des outils différents (bases de données biographiques, gestions de cartes, etc., de gestion de collection de photo, etc.). RDF permet de récupérer ces données et de les agréger dans une base de connaissance.

Cette contribution présente une expérience<fnref n="1" /> de conversion en RDF et d'enrichissement de données annotées avec différents outils (tableur pour les métadonnées des sessions, Tropy

<footnote n="1">¹ https://github.com/sylvainloiseau/rdf4lfd</footnote>
pour les photos<fnref n="2" />, Gramps<fnref n="3" /> pour les données biographiques, Lameta/SayMore<fnref n="4" /> pour les métadonnées des fichiers). Cette expérimentation montre la viabilité de l'utilisation du vocabulaire RDF RIC pour la description des données, et comment de nouvelles relations, spécifiques aux données linguistiques, peuvent être proposées. Elle montre également comment les données ainsi créées peuvent être interrogées avec sparql pour définir des ensembles de données relatifs à un événement, à un locuteur, ou à un stimulus par exemple.

## 3 Exemple de modélisation avec Record in context (RIC)

Nous présentons quelques exemples de modélisation de données de terrain utilisant *Record in context* (RIC). De nombreuses propriétés des objets (date, lieu des événements, sous-typage des événements ou des documents, droits attachés aux documents, etc.) ne sont pas représentés pour ne pas alourdir les graphiques. Un simple événement communicatif ayant fait l'objet d'une captation vidéo peut être représenté ainsi :

<figure><img src="image_20.png" /></figure>

Il y a une apparente lourdeur de ce dispositif, mais il permet grâce à sa granularité de représenter les situations complexes, réelles. La distinction *RIC:Event* / *RIC:Record* / *RIC:Instantiation* est utile pour organiser :

<footnote n="2">2 https://tropy.org</footnote>

<footnote n="3">3 https://gramps-project.org</footnote>

<footnote n="4">4 https://www.lameta.org</footnote>
- Des notes manuscrites et leur numérisation (deux *Instantiation* du même *Record*, liées avec une relation *derivedInstantiation*)

Des transcodages de fichiers multimédia (idem)

- Des prises vidéo successives d'un même événement (plusieurs *Record* reliés à un *Event* et liées entre elles par une relation *successivePart*)

- Des conversion de textes dans différentes logiciels d'annotation (Elan, Flex...)

Illustrons (figure ci-dessous) le cas d'une session de travail consacrée à l'analyse d'un enregistrement. Durant cette session de travail, des notes sont prises dans un cahier (pages 2-8 du cahier 3.) Nous modélisons cela au moyens de deux événements (*RIC:Event*) : l'événement communicatif d'une part et la data session d'autre part (l'attribut *RIC:Type* permet de typer et distinguer ces événements). Deux nouvelles relations sont introduites : *analyzes*, qui relie une data session et le(s) enregistrement(s) auquel elle est consacrée, et une relation *produces* qui relie l'événement data session et les documents produits durant celle-ci.

Un document (*RIC:Record*) peut donc être lié à un événement (*RIC:Event*) soit avec une relation *RIC:document*, s'il l'enregistre, ou avec une relation *produce*, si le document est produit durant cet événement sans qu'il en soit une captation.

<figure><img src="image_21.png" /></figure>

Le modèle s'adapte aisément à toutes sortes de cas de figure, comme par exemple :

- Plusieurs data session consacrées à l'analyse d'une même captation

- Un texte écrit spontanément et donné par un locuteur, puis analysé et lu ("performance" enregistrée) par un autre locuteur. Ici le document écrit pourra être relié à un Événement (*Event*) (où *RIC:EventType=WrittingEvent*) par une relation *Produces*. Des événements de
type (*EventType*) « data session » ou « performance » pourront être reliées au document
écrit par des relations *analyses* et *stimulus*.

- Liens vers des stimuli (permettant de grouper les événements liés à un même questionnaire, les différentes versions d'un mythe, etc.) (un Document (*Record*) peut être un stimulus d'un autre *Event*...)

- l'enregistrement d'une data session elle-même

- etc.

RDF rend facile l'agrégation de données issues de différentes sources. Nous avons ainsi
agrégé des données issues de Lameta/Saymore, d'une feuille de calcul, d'un système de
fichier. Une solution réaliste pour l'utilisation de RDF devra sans doute reposer sur
l'utilisation de logiciels d'annotation existant, comme Lameta ou encore Troppy pour les
photo, Gramps pour les information biographiques, etc.

Enfin, la base de données peut être facilement interrogée par Sparql pour permettre d'exploiter pleinement les données collectées. Des contextes peuvent collecter de proches en proche tous les nœuds pertinents pour l'interprétation d'un document par exemple (tous les nœuds qui lui sont connectés, directement ou directement, par un chemin Sparql constitué des prédicats (*stimulus*|*documents*|*analyzes*|*produces*).

Nous avons dû enrichir l'ontologie *Record in Context* de relations reflétant les réalités des archives de terrain linguistiques : les relations *Analyzes*, *Produces*, *Stimuli* (stimulus n'est pas une propriété d'un document (*RIC:Record*), mais une relation entre un document et un événement : tout document (photo, ...) peut être utilisé comme stimulus.

La démarche exposée ici peut être rapprochée d'initiatives similaires, comme par exemple
le logicisme dans le domaine de l'archéologie, conçu pour la description des sites de
fouille (http://www.thearkeotekjournal.org). Une autre approche est RO-Crate,
https://www.researchobject.org/ro-crate/1.1/structure.html, approche explorée par
l'archive linguistique Paradisec (https://arkisto-platform.github.io/case-studies/paradisec/).
L'utilisation de RDF nous semble offrir des avantages décisifs en termes de capacité
d'agrégation de données et de requête grâce au langage Sparql, sans parler de
l'infrastructure logicielle existante pour ce modèle.

4 Conclusion

En conclusion, un dispositif centré sur RDF pour la description des données de terrain offre des avantages pour les chercheurs comme pour les outils d'archivage des données. Pour les chercheurs, l'enjeux est de rendre réellement utilisable un large pan des données collectées, hétérogènes et fragmentés, difficile à relier et à exploiter pleinement. Pour les archives, l'enjeux est de conserver un ensemble beaucoup plus complet des données des chercheurs, qui permettrait de contextualiser et rendre plus interprétables les données. Les archives se focalisent aujourd'hui sur les paires enregistrement / transcription (ce sont davantage des objets éditoriaux que archivistiques). Si les données archivées doivent permettre des analyses futures, comme suggéré par le paradigme de la documentation linguistique (Himmelmann 1998)}, alors il est nécessaire d'archiver davantage de contexte. Des archives futures seront sans doute les seules données disponibles sur des langues menacées. RDF (et Sparql) augment la capacité à chercher (« searchability ») et à explorer
les données (« discoverability ») et permettent d'augmenter l'inter-opérabilité entre
archives.

Enfin, notons que pour l'instant un simple inventaire des données produites sur le terrain et
de leur relation reste à faire, ainsi qu'une enquête sur les pratiques des chercheurs pour la
gestion de leurs données.

Références

Evans, N. and Sasse, H.-J. (2003). Searching for meaning in the library of babel: field semantics and problems of digital archiving. In Barwick, L., Marett, A., Simpson, J., and Harris, A., editors, *Researchers, Communities, Institutions, Sound Recordings*. University of Sydney, Sydney.

Himmelmann, Nikolaus P. (1998). Documentary and descriptive linguistics. In : *Linguistics* 36.1, p. 161-195.

Lee, N. H. (2022). Managing data for writing a reference grammar. In Berez-Kroeker, A. L., Mc-Donnell, B., Koller, E., and Collister, L. B., editors, *The Open Handbook of Linguistic Data Management*, chapter 23, pages 287–299. The MIT Press.

Woodbury, A. C. (2007). On thick translation in linguistic documentation. *Language Documentation and Description*, 4, Peter K. Austin (ed.):120–135.
# Décrire une scène ou informer d'un évènement en langue des signes française : des représentations formelles différentes ?

Camille Challant*, Emmanuella Martinod*, Michael Filhol

Université Paris-Saclay, CNRS, Laboratoire Interdisciplinaire des Sciences du Numérique,
91400, Orsay, France

prénom.nom@lisn.upsaclay.fr

## RÉSUMÉ

AZee est un modèle permettant de représenter formellement des discours en langue des signes française. Nous avons décrit avec AZee deux corpus de genres discursifs différents : *40 brèves*, un corpus journalistique, et *Mocap1*, un corpus de description d'images. Traditionnellement considérés en linguistique comme structurellement très différents, les représentations formelles respectives de ces deux corpus présentent-elles des similarités ? Nous montrons que le même ensemble de règles AZee est utilisé dans les deux cas, simplement dans des proportions différentes.

## ABSTRACT

### Describing a scene or reporting an event in French Sign Language : different formal representations ?

AZee is a model used for formally representing discourses in French Sign Language. We have described with AZee two corpora of different genres : *40 brèves*, a journalistic corpus, and *Mocap1*, a corpus of image descriptions. Traditionally viewed in linguistics as structurally very different, do the respective formal representations of these two corpora show any similarities ? We show that the same set of AZee rules are used in both cases, although with different proportions.

**MOTS-CLÉS** : Langue des signes française, Représentation formelle, AZee, Modélisation.

**KEYWORDS:** French Sign Language, Formal representation, AZee, Modeling.

## 1 Introduction

Notre proposition concerne la modélisation de la langue des signes française (LSF), langue peu dotée et ayant recours à la modalité visuo-gestuelle exclusivement. Comme toute langue des signes (LS), il s'agit d'une langue à part entière se distinguant des langues vocales

<figure><img src="image_22.png" /></figure>

<footnote>* Les deux auteures ont contribué de façon égale à ce résumé, l'ordre est alphabétique.</footnote>
<figure><img src="image_23.png" /><figcaption>Signe TAPIS</figcaption></figure>

<figure><img src="image_24.png" /><figcaption>Structure illustrative d'un tapis rectangulaire</figcaption></figure>

<caption>FIGURE 1</caption>

telles que le français par différentes caractéristiques, parmi lesquelles la multilinéarité <fnref n="1" />, l'utilisation d'une syntaxe basée sur l'utilisation pertinente de l'espace, ou encore le recours possible à l'iconicité. Deux grands types de structures ont été observés dans toutes les LS étudiées à ce jour : les signes lexicaux (i.e. des unités gestuelles ayant un sens générique et conventionnel, que l'on peut produire hors contexte), d'une part, et les structures illustratives, de nature davantage géométrique et iconique, d'autre part. Ces dernières font néanmoins partie intégrante de la langue (Zwitserlood, 2012), malgré la diversité terminologique utilisée pour les décrire (Schembri, 2003; Cormier et al., 2015; Jantunen et al., 2021). De précédents travaux font état de l'utilisation de ces structures dans des proportions variées, selon le genre discursif dans lequel on se trouve (Ferrara & Johnston, 2014; Sallandre, 2014; Jantunen, 2017). Les deux types de structures sont illustrés en figure 1 avec l'exemple d'un tapis, pouvant apparaître dans le discours sous la forme d'un signe lexical conventionnel ou d'une structure illustrative qui en montre la forme.

En termes de représentation formelle et de génération des LS, les approches actuelles sont majoritairement inspirées de celles développées pour les langues vocales : ce sont des représentations linéaires basées sur des gloses, ou qui, dans le meilleur des cas, peinent à prendre en compte la complexité possible de la multilinéarité (voir Hadjadj et al. (2018) pour un aperçu des approches existantes et de leurs limites). L'approche AZee, dans laquelle s'insère notre travail, vise quant à elle la représentation de l'ensemble des phénomènes observables en LS, quel que soit le type de structures concerné.

Dans cette contribution, nous tenterons de comprendre dans quelle mesure les potentielles différences structurelles et de genres discursifs variés se reflètent dans la représentation formelle AZee. Tout d'abord, nous présentons ci-après les grands principes de l'approche AZee et du langage formel qu'elle propose, ainsi que les deux corpus de LSF de genres discursifs différents que nous avons décrits dans le cadre de cette approche (section 2). Ensuite, nous en venons aux résultats du processus de représentation formelle de ces données, à leur comparaison, puis aux pistes de travail à venir (section 3).

<footnote n="1">1. C'est-à-dire l'utilisation, simultanée ou non, de différents articulateurs manuels et non manuels (par ex. le regard).</footnote>
## 2 Approche théorique et données

AZee (Filhol, 2021) est une approche de description formelle des LS, fondée sur la notion de règle de production : une règle qui associe à un sens identifié un ensemble de formes observables à produire. Une règle peut avoir un ou plusieurs arguments. Les règles de production d'une même LS (identifiées grâce à une méthodologie spécifique dans des corpus de LS) forment un ensemble de production AZee. Les règles de cet ensemble peuvent se combiner pour construire des expressions AZee de discours, qui rendent compte à la fois du sens que l'on interprète et des formes observées d'un discours en LS. Ceci permet de représenter des discours de n'importe quelle taille.

Par exemple, en LSF, la règle de production *chat* associe le sens ‘chat’ à la forme illustrée en figure 2a. De la même façon, la règle de production *info-about* à deux arguments (*topic* et *info*), associe le sens ‘info’, à propos de topic’ à la synchronisation de formes présentée dans le diagramme 2b<fnref n="2" />.

L'expression AZee en figure 2c correspond à la représentation formelle d'une production en LSF dont les formes correspondent à celles de la figure 2b. Elle mobilise les règles *chat* et *dormir*, respectivement en *topic* et *info*, et signifie ‘le/un chat dort’.

<figure><img src="image_25.png" /><figcaption>FIGURE 2</figcaption></figure>

Nous avons décrit deux corpus avec AZee, correspondant à deux genres discursifs distincts : informatif/journalistique pour l’un, descriptif pour l’autre. Le corpus *40 brèves* (Filhol & Tannier, 2014) est un corpus parallèle français-LSF : 40 brèves journalistiques en français écrit ont chacune été traduites par 3 traducteurs sourds professionnels. Concernant le corpus *Mocap1* (Benchiheub *et al.*, 2016), nous nous sommes focalisés sur une tâche de description de 25 photographies, réalisée par huit locuteurs sourds. Ce travail est encore en cours mais permet d'ores et déjà d'obtenir des résultats substantiels. Ces deux corpus sont chacun représentatif des deux types de structures habituellement identifiés dans les discours : structures essentiellement lexicales pour *40 brèves* et essentiellement illustratives pour *Mocap1*.

<footnote n="2">2. *HOLD* indique le maintien des arguments pendant une durée déterminée; el :cl (*eyelid :closed*), un clignement des yeux.</footnote>
3 Résultats

<figure><img src="image_26.png" /><figcaption>FIGURE 3 – Comparaison des 10 règles les plus fréquentes dans les deux corpus</figcaption></figure>

Sur la Figure 3, nous pouvons remarquer que les règles de production 3 info-about,
side-info ou encore in-context font partie des dix règles les plus utilisées de chaque
corpus. Le sens de chacune de ces règles est donné ci-dessous :

— donner une information à propos d'un élément précédemment produit (info-about),

— donner une information supplémentaire *mais non essentielle* à propos d'un élément précédemment produit (*side-info*),

— donner un contexte dans lequel se situe la suite de la production (in-context).

Malgré les différences de genre discursif, on comprend que ces trois opérations sémantiques peuvent être utilisées indifféremment dans le registre informatif comme descriptif. Ainsi, la même règle *info-about* peut être utilisée dans *40 brèves*, si le locuteur veut préciser qu'un homme est français et, dans *Mocap1*, que la partie basse d'une armoire comporte une porte coulissante.

Néanmoins, certaines règles les plus fréquentes dans *40 brèves* ne font pas partie des plus fréquentes pour la description de *Mocap1* (*about-ref*, *pointage index*, *new-content*<fnref n="4" />, etc.) et inversement. Par ailleurs, les règles les plus utilisées dans *Mocap1* (*deploy-shape*, *prf-flat-surface*, *simultaneous*, *place-object*, etc.) sont typiques de la description de scènes : elles mobilisent des arguments de type géométrique tels que *point*, *vecteur*, *trajectoire*, etc. En particulier, *deploy-shape* permet, comme son nom l'indique, de déployer une forme dans l'espace de signation. Cette règle est donc idéale dans le cas de descriptions géométriques de formes spécifiques (par exemple, la forme d'une table particulièrement allongée ou celle d'un lampadaire ancien). *prf-flat-surface* renvoie à une forme de main plate, forme générique utilisée dès lors que l'on veut décrire une surface plate telle qu'un sol ou un mur. On retrouve ces règles dans *40 brèves*, mais beaucoup moins fréquemment. *all-of* est aussi très récurrente dans *Mocap1*. Cette règle sert en effet à créer une liste d'items, en mettant le focus sur

<footnote n="3">3. Les règles de production évoquées dans cette partie sont répertoriées dans Challant & Filhol (2022), accompagnées de leur sens.</footnote>

<footnote n="4">4. Anciennement, prise-de-parole.</footnote>
l'ensemble en tant que tout. Elle est donc très utile lorsque le signeur veut faire la liste de différents éléments composant une scène ou un paysage. En revanche, une règle comme *fingerspelling* est quasiment absente de la représentation de *Mocap1*. Cette règle servant à l'épellation s'avère nécessaire dans le cas de brèves journalistiques à même de contenir des noms propres peu connus du grand public et qui nécessitent donc d'être épelés. Dans le cadre d'une description de scène, il semble moins probable qu'elle soit utilisée.

De plus, les représentations formelles des différents corpus nous permettent de confirmer les différences de proportions de signes lexicaux au sein de ceux-ci. Dans le cadre de l'approche AZee, nous considérons comme lexicales toute règle de production sans argument obligatoire. Ces règles (e.g. *chat*, cf. section 2) peuvent se réaliser sans faire appel à des éléments extérieurs, contrairement aux règles comportant des arguments obligatoires (e.g. *info-about*). Dans *40 brèves*, 43% des règles de production correspondent à cette définition (sur l'ensemble des règles utilisées dans le corpus), contre 10% seulement dans *Mocap1*. Les signes lexicaux sont donc présents en moindre mesure dans ce second corpus.

Enfin, nous notons également que le corpus *40 brèves*, pour lequel on s'attendait à retrouver une majorité d'éléments lexicaux, comporte finalement seulement 43% de règles de production lexicales. Les 57% de règles de production restantes correspondent à des règles telles que *info-about* ou *in-context*. Ces règles permettent de générer simultanément de nombreuses informations, que ce soit au niveau de la forme (clignements des yeux, inclinaison de la tête, maintien de la position des mains, etc.), mais aussi du sens ('ajout d'une information', 'déploiement d'une forme', etc.). Une annotation plus traditionnelle aurait nécessité l'ajout de gloses spécifiquement dédiées à chacune de ces informations, là où le système AZee semble plus économique. Ce dernier constat souligne le fait que des données de LSF a priori aisément annotables à l'aide de gloses constituent finalement des phénomènes linguistiques plus complexes qu'il n'y paraît.

# 4 Conclusion et perspectives

Nos résultats soulignent les potentialités d'AZee pour décrire des données de LSF compor-
tant pourtant des structures linguistiques très différentes et rarement formalisées ailleurs
autrement que par des gloses. Les mêmes règles de production sont utilisées pour représen-
ter les énoncés provenant des deux corpus distincts, bien que ces règles soient mobilisées
dans des proportions différentes. Ceci corrobore certaines observations de linguistes des LS
évoquant un continuum entre le lexique et les structures illustratives des LS<fnref n="5" />. Les struc-
tures illustratives semblent en effet régies par des principes organisationnels comparables à
ceux du lexique. AZee met cela en avant et permet de mieux catégoriser et quantifier ces
phénomènes. Dans la continuité de Filhol & McDonald (2020), notre travail, à la jonction
entre linguistique et informatique, contribue à confirmer par une méthologie différente ces

<footnote n="5">5. Voir entre autres Cuxac (1985); Johnston & Schembri (1999); Boutet et al. (2010); Zwitserlood (2012).</footnote>
précédentes observations.

De futurs travaux pourraient mettre en avant le fait que l'observation de proportions différentes de règles utilisées constitue un indice du type de registre dans lequel on se trouve. Ainsi, nous prévoyons de finaliser l'écriture des expressions AZee pour *Mocap1*, puis d'effectuer le même travail pour d'autres genres discursifs (narratif, explicatif, etc.), afin de comparer l'utilisation des différentes règles pour chaque genre, en suivant la même méthodologie. Pour finir, l'annotation de corpus avec AZee est également pertinente dans le domaine de la synthèse à l'aide de signeurs virtuels, comme le montrent notamment les travaux de Sharma (2023); Sharma & Filhol (2023).

Références

BENCHIHEUB M.-E.-F., BERRET B. & BRAFFORT A. (2016). Collecting and Analysing a Motion-capture Corpus of French Sign Language. In *sign-lang@ LREC 2016*, p. 7–12 : European Language Resources Association (ELRA).

BOUTET D., SALLANDRE M.-A. & FUSELLIER-SOUZA I. (2010). Gestualité humaine et langues des signes : entre continuum et variations. **131**, 55–74.

CHALLANT C. & FILHOL M. (2022). A First Corpus of AZee Discourse Expressions. In *Proceedings of the Language Resources and Evaluation Conference (LREC)*, p. 1560-1565, Marseille, France.

CORMIER K., SMITH S. & SEVCIKOVA SEHYR Z. (2015). Rethinking Constructed Action. *Sign Language Linguistics*, **18**(2), 167–204.

CUXAC C. (1985). Esquisse d'une typologie des langues des signes. volume Autour de la langue des signes, Journées d'Études 10. UFR de linguistique générale et appliquée., p. 35–60, Université René Descartes, Paris.

FERRARA L. & JOHNSTON T. (2014). Elaborating who's what : A Study of Sonstructed Action and Clause Structure in Auslan (Australian Sign Language. *Australian journal of linguistics*, **34**(2), 193–215.

FILHOL M. (2021). *Modélisation, traitement automatique et outillage logiciel des langues des signes*. Habilitation à diriger des recherches, Université Paris-Saclay. HAL : tel-03197108.

FILHOL M. & MCDONALD J. (2020). The Synthesis of Complex Shape Deployments in Sign Language. In *Proceedings of the 9th workshop on the Representation and Processing of Sign Languages*.

FILHOL M. & TANNIER X. (2014). Construction of a French–Lsf Corpus. In *Building and Using Comparable Corpora, Language Resource and Evaluation Conference (LREC)*, p. 2–5, Reykjavik, Iceland.
HADJADJ M., FILHOL M. & BRAFFORT A. (2018). Modeling French Sign Language : a Proposal for a Semantically Compositional System. In *International Conference on Language Resources and Evaluation*.

JANTUNEN T. (2017). *Constructed Action, the Clause and the Nature of Syntax* in Finnish Sign Language. *Open Linguistics*, **3**.

JANTUNEN T., DE WEERDT D., BURGER B. & PUUPPONEN A. (2021). The more you move, the more action you construct : A Motion Capture Study on Head and Upper-torso Movements in Constructed Action in Finnish Sign Language narratives. * Gesture*, **19**(1), 76–101.

JOHNSTON T. & SCHEMBRI A. (1999). On Defining Lexeme in a Signed Language. *Sign language linguistics*, **2**(2), 115–185.

SALLANDRE M.-A. (2014). *Compositionnalité des unités sémantiques en langues des signes. Perspective typologique et développementale*. Thèse hdr, Université Paris 8.

SCHEMBRI A. (2003). *Rethinking ‘classifiers’ in signed languages*, In *Perspectives on classifier constructions in sign languages*, p. 3–34. K. D. Emmorey : Mahwah, NJ : Lawrence Erlbaum Associates.

SHARMA P. (2023). A Layered Approach to Constrain Signing Avatars. In *VISIGRAPP DC 2023*, Lisbon, Portugal : Scitevents. HAL : hal-04143663.

SHARMA P. & FILHOL M. (2023). Intermediate block generation for multi-track sign language synthesis. In *Proceedings of the ACM SIGGRAPH/Eurographics Symposium on Computer Animation*, p. 1–2.

ZWITSERLOOD I. (2012). *Classifiers*, In *Sign language : An international handbook*, p. 158–186. Mouton de Gruyter.
# Est-ce que l'extraction des interrogatives du français peut-elle être automatisée ?

Valentin D. Richard¹

(1) LORIA, Université de Lorraine, 615 Rue du Jardin-Botanique, 54506 Vandœuvre-lès-Nancy, France

valentin.richard@loria.fr

## RÉSUMÉ

La quasi totalité des études linguistiques sur les interrogatives du français se contente d'extraire ces dernières d'un corpus à la main ou grâce à de simples heuristiques basées sur du texte brut (mots interrogatifs, point d'interrogation,...). Dans ce papier, je présente FUDIA (French UD Interrogative Annotator), un programme qui permet de détecter les interrogatives du français d'un corpus annoté en dépendances universelles (UD). FUDIA est un système de réécriture de graphe par règles, basé sur Grew. Je liste les obstacles à une telle tâche d'identification automatique des interrogatives et j'explique comment FUDIA en résout la plupart. Je montre que, couplé à un parseur affiné sur des données similaires, FUDIA obtient de bons résultats sur du texte brut (écrit et transcription de l'oral).

## ABSTRACT

### Can French Interrogative Retrieval be Fully Machine-Based ?

The vast majority of linguistic corpus studies on French interrogatives retrieve the researched patterns by hand or only based on simple heuristics on raw text (e.g. interrogative words, question marks). In this paper, I present FUDIA (French UD Interrogative Annotator), a program able to detect French interrogatives from a corpus annotated in Universal Dependencies (UD). FUDIA is a rule-based graph rewriting system based on Grew. I inventory the obstacles to such an interrogative identification task and I explain how FUDIA solves most of them. I show that, coupled with a parser fine-tuned on similar data, FUDIA obtains good results on raw text (written and speech transcription).

**MOTS-CLÉS** : interrogatives, français, Universal Dependencies, par règles, réécriture de graphe.

**KEYWORDS:** interrogatives, French, Universal Dependencies, rule-based, graph rewriting.

## 1 Introduction

Parmi les études de corpus récentes portant sur les interrogatives du français, la plupart récupèrent leurs données en les extrayant à la main (Reinhardt, 2019a; Bally, 2022). Quelques

<figure><img src="image_27.png" /></figure>
<figure><img src="image_28.png" /><figcaption>FIGURE 1 – Annotation d'une question de GSD par FUDIA. Les arcs et traits d'origine sont en gris. Les arcs cue peuvent être retirés pour conserver la structure d'arbre initiale.</figcaption></figure>

méthodes semi-automatiques sont employées, comme l'utilisation d'un concordancier (Rossi-Gensane et al., 2021; Benzitoun, 2022; Gillet, 2022), d'expressions régulières (Lefeuvre & Rossi-Gensane, 2017) ou d'heuristiques simples (Reinhardt, 2019b; Eshkol-Taravella et al., 2022) (mots interrogatifs et points d'interrogations). Seule Lefeuvre (2021) profite d'un corpus (LM10 (Habert, 2005) <fnref n="1" />) préalablement annoté syntaxiquement grâce à l'outil Syntex (Bourigault et al., 2005) pour identifier certains motifs.

## 2 Proposition

**FUDIA** Le programme FUDIA (French UD Interrogative Annotator) s'appuie sur la pré-sence de corpus déjà annotés en syntaxe, notamment les corpus francophones du projet Universal Dependencies (UD) (de Marneffe et al., 2021) : FQB (Seddah & Candito, 2016), GSD (Guillaume et al., 2019), ParisStories (Kahane et al., 2021), ParTUT (Bosco & San-guinetti, 2014), PUD (McDonald et al., 2013), Rhapsodie (Lacheret et al., 2014) et Sequoia (Candito & Seddah, 2012). FUDIA contient des règles de réécriture de graphe basées sur Grew <fnref n="2" /> (Bonfante et al., 2018). Ces règles listent les structures attestées d'interrogatives en français <fnref n="3" />.

**Annotations et FIB** À partir de la représentation UD d'une phrase, FUDIA rajoute le trait ClauseType=Int indiquant sur la tête d'une proposition (finie, infinitive ou averbale) qu'elle est interrogative. Les mots interrogatifs et marquages morphosyntaxiques (inversion du clitique sujet, est-ce que / si,...) sont aussi identifiés par des dépendances spécifiques, appelée arcs cue (voir Fig. 1).

Les interrogatives des corpus francophones UD ont été extraites en un corpus appelé French

<footnote n="1">1. Voir aussi http://redac.univ-tlse2.fr/voisinsdelemonde/index.jsp</footnote>

<footnote n="2">2. https://grew.fr/</footnote>

<footnote n="3">3. On s'intéresse ici aux interrogatives d'un point de vue syntaxique, comme définies dans la Grande Grammaire du Français (GGF) (Delaveau et al., 2021).</footnote>
Interrogative Bank (FIB). À l'aide d'un script fourni, il est possible d'y calculer automatiquement la proportion d'un certain type d'interrogative, selon la classification de Coveney (2011). Le FIB étend le FQB (French Question Bank) en y apportant une plus grande diversité de structures syntaxiques (ex. des phrase de la forme : *Est-ce que + sujet + verbe*) et des interrogatives enchâssées.

Le code source de FUDIA <fnref n="4" /> ainsi que le French Interrogative Bank <fnref n="5" /> sont librement disponible en ligne.

## 3 Difficultés

**Obstacles** Les difficultés rencontrées pour correctement identifier les interrogatives sont nombreuses. On recense des obstacles linguistiques, notamment la grande variabilité de ces constructions en français, et les formes proches en apparence (ex. inversion stylistique pour rapporter des paroles). Du fait de son format, UD a quelques limites. Par exemple, rien ne différencie lexicalement les *si* interrogatifs des *si* conditionnels. Mais un bon nombre de difficultés est attribuable à la variabilité et la non-uniformité des annotations UD. Par exemple, on a retrouvé 6 annotations différentes de *est-ce que* sur 36 occurrences, dont aucune avec la relation *fixed*, censée être employée pour les expression figées.

**Solutions apportées** Le développement de FUDIA a cherché à prendre en compte toutes les formes attestées d'interrogatives dans la littérature scientifique, mêmes celles non standards, comme le titre de ce papier (*est-ce que* + inversion du clitique). De plus, le programme évite le plus possible de dépendre de listes de mots de classe ouverte. Notamment il ne présume pas des verbes pouvant enchâsser une interrogative. Le faire risquerait de louper des occurrences non envisagées. Cette stratégie s'est avérée payante car elle a permis de "découvrir" 6 verbes introducteurs d'interrogative listés ni dans la GGF (Delaveau *et al.*, 2021, Tab. XXII-7 p.1414) ni par Defrancq (2005, chap. 1 n.b.p. 11). Ces verbes sont : *connaitre*, *enseigner*, *interroger*, *mesurer*, *souligner* et *tester*.

Les obstacles linguistiques et les limitations d'UD sont en partie résolues grâce à quelques heuristiques sur l'environnement syntaxique des structures recherchées, par exemple la forme du verbe principal ou la distinction complément / ajout. La présence de nombreux cas et exceptions a pu être traitée grâce à un schéma de disjonction de motifs écrit en python. Quelques expressions clés (ex. *est-ce que* et *qu'est-ce que*) sont réannotées de manière uniforme en suivant les théories de la GGF (Delaveau *et al.*, 2021) et les choix d'annotation du corpus CEFC/Orféo <fnref n="6" /> (Benzitoun *et al.*, 2016).

<footnote n="4">4. https://github.com/Valentin-D-Richard/FUDIA</footnote>

<footnote n="5">5. https://github.com/Valentin-D-Richard/UD_French-FIB</footnote>

<footnote n="6">6. https://repository.ortolang.fr/api/content/cefc-orfeo/11/documentation/site-orfeo/guide-dannotation-syntaxique-du-corpus-orfeo/</footnote>
<table><caption>TABLE 1 – Score de FUDIA sur la détection d’interrogatives du français</caption><thead><tr><th></th><th>exactitude</th><th>précision</th><th>rappel</th><th>F1</th></tr></thead><tbody><tr><td>FUDIA</td><td>0,905</td><td>0,966</td><td>0,770</td><td>0,857</td></tr><tr><td>sur l'écrit seul</td><td>0,860</td><td>0,917</td><td>0,647</td><td>0,759</td></tr><tr><td>sur l'oral seul</td><td>0,950</td><td>1,00</td><td>0,875</td><td>0,933</td></tr></tbody></table>

## 4 Évaluation

**Méthode** Pour évaluer FUDIA, un corpus de 200 phrases a été constitué. Il contient des phrases tirées aléatoirement de corpus écrit (Annodis (Péry-Woodley et al., 2011)), oral (OFROM (Avanzi et al., 2012)), de questions (Maya (Reinhardt, 2016), TenNovels (Reinhardt, 2019b)) et d’interrogatives enchâssées (Defrancq, 2005). Une tâche d’annotation regroupant 12 participant·es les a annoté selon si elles contiennent au moins une interrogative ou pas d’interrogative du tout. On utilise ces étiquettes de référence pour calculer le score de FUDIA.

En premier lieu, les phrases sont annotées en UD par un parseur pré-entrainé grâce à ArboratorGrew 7. La moitié du corpus d’évaluation issu de corpus écrits est parsée en affinant le parseur avec GSD (1476 phrases, LAS = 0,922). L’autre moitié, issue de corpus oraux, en affinant sur Rhapsodie et ParisStories (total : 2675 phrases, LAS = 0,818). Puis FUDIA est exécuté sur la sortie.

**Résultats** La tâche d’annotation obtient un bon score inter-annotateur·rice : Cohen κ minimum = 0,613, moyenne = 0,781, maximum = 0,924. Cependant, quelques phrases ont généré plus de désaccord. On compte 11 phrases sur 200 avec un écart-type élevé (supérieur à 0,47, c.à.d. au moins un tiers de désaccord).

Les résultats de l’évaluation de FUDIA, sur l’ensemble du corpus d’évaluation ainsi que sur chacune des parties écrites et orales de celui-ci, sont affichés en Table 1.

## 5 Interprétation

**Tâche d’annotation** Parmi les phrases engendrant le plus de désaccord, on trouve certaines interrogatives enchâssées, ex. (1-a) (crochets rajoutés pour délimiter l’interrogative). Ces structures apparaissent donc comme plus difficiles à détecter pour les humains. L’autre type majeur de débat concerne les marqueurs du discours insistant sur l’attente d’une réponse, tels

index.html

7. https://arboratorgrew.elizia.net/
hein ? ou non ? (1-b). Les consignes demandaient d'étiqueter les déclaratives questionnantes, qui auraient une intonation montante à l'oral, comme non-interrogatives. Mais le statut de ces marqueurs n'y était pas suffisamment précisé.

(1) a. À travers un récit largement autobiographique, le comique français a décrit avec humour [comment nombre des « gauchistes » d'alors ont troqué le manteau afghan et les sabots hollandais pour la veste et l'attaché-case d'aujourd'hui]. (Defrancq écrit)

b. Tu me fais confiance, non ? (TenNovels)

**Scores de FUDIA** La précision de FUDIA est élevée. Nous attribuons ça aux nombreuses heuristiques qui permettent d'éliminer les structures qui ressemblent à des interrogatives mais n'en sont pas.

Le point faible de FUDIA est son rappel. En tout, 17 interrogatives ne sont pas correctement identifiées (12 de la partie écrite du corpus dévaluation, 5 de la partie orale). Parmi ces faux négatifs, on estime que la quasi totalité sont dus au parseur en amont. L'erreur la plus fréquente concerne les mots QU annotés comme des mots relatifs (ex. (2-a)) ou des conjonctions de subordination, au lieu de comme des mots interrogatifs. Par exemple, dans (2-b), le parseur annote les deux *comment* en tant que conjonction de subordination. C'est erroné et surprenant, car *comment* est toujours un adverbe en français, et toutes les occurrences de *comment* dans les données d'affinage sont annotées comme des adverbes.

(2) a. mais il fallait répondre à qui (Defrancq oral)

b. Nous ne voulons pas savoir comment les faits se sont déroulés, mais comment ils auraient pu ou dû arriver. (Defrancq écrit)

c. [...] l'AIEA n'était pas en mesure de vérifier s'il y a eu détournement ou non de matériel nucléaire [...] (Defrancq écrit)

d. ce qui me préoccupe c'est que va-t-on faire avec XXX (Defrancq oral)

Un autre type d'erreur concerne la confusion entre circonstancielle conditionnelle et interrogative complément. Par exemple, dans (2-c), le parseur a annoté le syntagme "s'il y a eu détournement ou non de matériel nucléaire" comme une proposition ajout au lieu d'une proposition complément de vérifier. De ce fait, FUDIA la classifie comme une conditionnelle, sans détecter la séquence *ou pas*.

Le dernier type de faux négatif est lié à la tokénisation. J'ai utilisé spaCy pour tokéniser le corpus d'évaluation. Mais le traitement du -t- euphonique dans l'inversion sujet-verbe n'y est pas le même que dans les données d'affinage. Ainsi, dans la séquence tokénisé *va -t -on* de (2-d), le parseur a annoté -t comme sujet explétif de *va* et *-on* comme son objet indirect. FUDIA ne détecte donc pas d'inversion avec un sujet appartenant à la liste des pronoms
clitiques.

Enfin, il est aussi étonnant à première vue de noter que FUDIA performe moins bien sur l'écrit que sur l'oral, et ce d'autant plus que le score LAS<fnref n="8" /> du parseur affiné sur de l'écrit était supérieur à celui affiné sur de l'oral. Au vu des phrases et des types d'erreurs discutés ci-dessus, cela s'explique surement par la plus grande complexité en moyennes des phrases du sous-corpus écrit (longueur, structures enchâssées, relations à longue distance, etc.).

# 6 Conclusion

Je répondrais à la question du titre par l’affirmative. Les corpus arborés nous permettent de produire des programmes, comme FUDIA, qui détectent les interrogatives du français avec un bon score. Cependant, la tâche reste difficile, et FUDIA peut être moins performant sur des données bruitées ou très variables (ex. productions d'enfants (Gillet, 2022)). De plus, les performances (dont celles des parseurs) dépendent beaucoup de la qualité des annotations en entrée. C'est pourquoi la pérennité, le maintien et la révision constante des corpus arborés me semblent encore une des tâches essentielles de notre discipline.

# Remerciements

Je remercie très fortement Bruno Guillaume, †Guy Perrier et Sylvain Kahane pour leur aide et leurs commentaires sur mon travail.

# Références

AVANZI M., BÉGUELIN M.-J., CORMINBOEUF G., DIÉMOZ F. & JOHNSEN L. A. (2012). OFROM – corpus oral de français de Suisse romande.

BALLY A.-S. (2022). Les interrogatives totales en français québécois dans l'écrit SMS : à la croisée de l'oral et de l'écrit. In F. NEVEU, P. PRÉVOST, A. STEUCKARDT, G. BERGOUNIOUX & B. HAMMA, Éds., *8e Congrès Mondial de Linguistique Française*, volume 138, p. 12006, Orléans : SHS Web of Conferences. DOI : 10.1051/shsconf/202213812006.

BENZITOUN C. (2022). Évolution des interrogatives partielles directes en français : le cas de combien. In *8e Congrès Mondial de Linguistique Française*, volume 138 de *Syntaxe*, p. 13003, Orléans : SHS Web of Conferences. DOI : 10.1051/shsconf/202213813003.

BENZITOUN C., DEBAISIEUX J.-M. & DEULOFEU H.-J. (2016). Le projet ORFÉO : un corpus d'étude pour le français contemporain. *Corpus, 15*(15). DOI : 10.4000/corpus.2936.

<footnote n="8">8. *labeled attachment score* : pourcentage de tokens ayant la bonne étiquette et le bon gouverneur.</footnote>
BONFANTE G., GUILLAUME B. & PERRIER G. (2018). *Application of Graph Rewriting to Natural Language Processing*, volume 1. ISTE Wiley.

BOSCO C. & SANGUINETTI M. (2014). Towards a Universal Stanford Dependencies parallel treebank. In V. HENRICH, E. HINRICHS, D. DE KOK, P. OSENOVA & A. PR-ZEPIÓRKOWSKI, Éds., *Proceedings of the 13th Workshop on Treebanks and Linguistic Theories (TLT-13)*, p. 14–25, Tübingen (Germany).

BOURIGAULT D., FABRE C., FRÉROT C., JACQUES M.-P. & OZDOWSKA S. (2005). Syntex, analyseur syntaxique de corpus. In *Actes Des 12èmes Journées Sur Le Traitement Automatique Des Langues Naturelles*, Dourdan, France : Association pour le Traitement Automatique des Langues.

CANDITO M. & SEDDAH D. (2012). Le corpus Sequoia : Annotation syntaxique et exploitation pour l'adaptation d'analyseur par pont lexical. In *Actes de La 19e Conférence Sur Le Traitement Automatique Des Langues Naturelles*, p. 321–334, Grenoble, France : Association pour le Traitement Automatique des Langues.

COVENEY A. (2011). L'interrogation directe. *Travaux de linguistique*, **63**(2), 112–145.

DE MARNEFFE M.-C., MANNING C. D., NIVRE J. & ZEMAN D. (2021). Universal Dependencies. *Computational Linguistics*, **47**(2), 255–308. DOI: 10.1162/coli_a_00402.

DEFRANCQ B. (2005). *L'interrogative enchâssée. Structure et interprétation*. Champs linguistiques. Louvain-la-Neuve : De Boeck Supérieur.

DELAVEAU A., CAPPEAU P. & DAGNAC A. (2021). Les phrases interrogatives. In A. ABEILLÉ & D. GODARD, Éds., *La Grande Grammaire du Français*, volume 2, p. 1402–1437. Arles : Actes Sud/Imprimeries nationales Éditions, 1 édition.

ESHKOL-TARAVELLA I., BARBEDETTE A., LIU X. & SOUMAH V.-G. (2022). Classification automatique de questions spontanées vs. préparées dans des transcriptions de l'oral. In Y. ESTÈVE, T. JIMÉNEZ, T. PARCOLLET & M. ZANON BOITO, Éds., *Traitément Automatique Des Langues Naturelles*, p. 305–314, Avignon, France : ATALA.

GILLET P. (2022). Développement du langage de l'enfant : L'exemple des interrogatives partielles. In *8e Congrès Mondial de Linguistique Française*, volume 138, p. 13002, Orléans : SHS Web of Conferences. DOI: 10.1051/shsconf/202213813002.

GUILLAUME B., DE MARNEFFE M.-C. & PERRIER G. (2019). Conversion et améliorations de corpus du français annotés en Universal Dependencies. *Revue TAL*, **60**(2), 71.

HABERT B. (2005). Text corpus of "Le Monde". DOI: https://www.islrn.org/resources/421-401-527-366-2/.

KAHANE S., CARON B., STRICKLAND E. & GERDES K. (2021). Annotation guidelines of UD and SUD treebanks for spoken corpora : A proposal. In *Proceedings of the 20th International Workshop on Treebanks and Linguistic Theories (TLT, SyntaxFest 2021)*, p. 35–47, Sofia, Bulgaria : Association for Computational Linguistics.
LACHERET A., KAHANE S., BELIAO J., DISTER A., GERDES K., GOLDMAN J.-P., OBIN N., PIETRANDREA P. & TCHOBANOV A. (2014). Rhapsodie : un Treebank annoté pour l'étude de l'interface syntaxe-prosodie en français parlé. In *4e Congrès Mondial de Linguistique Française*, volume 8, p. 2675-2689, Berlin, Germany : SHS Web of Conferences. DOI : 10.1051/shsconf/20140801305.

LEFEUVRE F. (2021). Les interrogatives averbales dans la presse, stratégies discursives récurrentes ? *Langue française*, **212**(4), 107-122.

LEFEUVRE F. & ROSSI-GENSANE N. (2017). Les interrogatives indirectes en discours informel oral. *Langue française*, **196**(4), 51-74. DOI: 10.3917/lf.196.0051.

MCDONALD R., NIVRE J., QUIRMBACH-BRUNDAGE Y., GOLDBERG Y., DAS D., GAN-CHEV K., HALL K., PETROV S., ZHANG H., TÄCKSTRÖM O., BEDINI C., BERTO-MEU CASTELLÓ N. & LEE J. (2013). Universal Dependency Annotation for Multilingual Parsing. In *Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers)*, p. 92-97, Sofia, Bulgaria : Association for Computational Linguistics.

PÉRY-WOODLEY M.-P., AFANTENOS S., HO-DAC L.-M. & ASHER N. (2011). La ressource ANNODIS, un corpus enrichi d'annotations discursives. *Revue TAL*, **52**(3), 71.

REINHARDT J. (2016). Établir un corpus oral de questions : L'analyse semi-automatisée avec Praat et Perl à l'exemple de cinq épisodes de Maya l'Abeille. In *5e Congrès Mondial de Linguistique Française*, volume 27, p. 11007, Tours : SHS Web of Conferences. DOI : 10.1051/shsconf/20162711007.

REINHARDT J. (2019a). La transmission du manque d'information dans la téléréalité française. In *Transmission, oubli et mémoire dans les sciences du langage, JC2017 - 20èmes Rencontres des jeunes chercheurs en Sciences du Langage*, Paris, France.

REINHARDT J. (2019b). Les interrogatives directes tirées de dix romans policier. DOI: https://hdl.handle.net/11403/interrogatives-in-novels/v1.

ROSSI-GENSANE N., CÓRDOBA L. F. A., URSI B. & LAMBERT M. (2021). Les structures interrogatives directes partielles fondées sur où dans les dialogues de romans français du XXe siècle. *Journal of French Language Studies*, **31**(2), 169-191. DOI : 10.1017/S0959269520000253.

SEDDAH D. & CANDITO M. (2016). Hard Time Parsing Questions : Building a QuestionBank for French. In *Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC’16)*, p. 2366-2370, Portorož, Slovenia : European Language Resources Association (ELRA).