# Actes des 2èmes journées scientifiques du Groupement de Recherche Linguistique Informatique Formelle et de Terrain

Thierry Poibeau, Yannick Parmentier, Emmanuel Schang

► To cite this version:

Thierry Poibeau, Yannick Parmentier, Emmanuel Schang. Actes des 2èmes journées scientifiques du Groupement de Recherche Linguistique Informatique Formelle et de Terrain. LIFT, 2020, Montrouge (virtuel), France. CNRS, 2020. hal-03066031

HAL Id: hal-03066031

https://hal.science/hal-03066031v1

Submitted on 3 Jan 2021

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons CC BY 4.0 - Attribution - International License
LIFT 2020

Actes des
2èmes journées scientifiques
du
Groupement de Recherche
Linguistique Informatique Formelle
et de Terrain (LIFT)

<figure><img src="image_2.png" /></figure>

Thierry Poibeau, Yannick Parmentier, Emmanuel Schang (Éds.)

10-11 décembre 2020
Montrouge, France (Virtuel)
# Comités

## Comité d'organisation

Thierry Poibeau, LATTICE/CNRS

Yannick Parmentier, LORIA/Université de Lorraine

Emmanuel Schang, LLL/Université d'Orléans

## Comité de programme

Angélique Amelot LPP/CNRS

Laurent Besacier LIG/Université Grenoble Alpes

Berthold Crysmann LLF/Université de Paris

Karën Fort LORIA/Université Paris Sorbonne

Claire Gardent LORIA/CNRS

Anaïs Lefeuvre-Halftermeyer LIFO/Université d'Orléans

Alexis Michaud LaCITO/INALCO

Tatiana Nikitina LLACAN/CNRS

Yannick Parmentier LORIA/Université de Lorraine

Thierry Poibeau LATTICE/ENS Paris

Emmanuel Schang LLL/Université de Lorraine

Valentin Vydrine LLACAN/INALCO

Guillaume Wisniewski LLF/Université de Paris
# Présentations invitées

## Katja Aplonova (LLACAN)

Titre : L'annotation syntaxique pour le Bambara

Résumé : La présentation est consacrée aux premières étapes du développement du corpus syntaxique (treebank) du Bambara. Le bambara est une langue mandingue parlée au Mali qui possède d'un corpus avec l'annotation morphologique. Le schéma d'annotation syntaxique est basé sur le modèle Universal Dependencies, un projet fournissant une annotation syntaxique inter-linguistique pour différentes langues. Dans la présentation, les problèmes de conversion de données sont abordés avec une attention particulière au choix des étiquettes des parties de discours et des relations syntaxiques.

## Lionel Clément (LaBRI)

Titre : XLFG

Résumé : XLFG est un logiciel d'analyse syntaxique pour grammaires lexicales fonctionnelles (LFG - Bresnan et al. 1982). LFG offre une analyse de la langue qui ne se base ni sur une relation biunivoque entre une structure profonde et une structure de surface, ni sur une construction combinatoire d'éléments atomiques. Les analyses LFG sont des structures syntagmatiques, des structures fonctionnelles, et des structures argumentales. Elles offrent donc trois niveaux d'analyse syntaxique relativement indépendants. L'intérêt principal d'XLFG est d'analyser en temps optimal des phrases complexes avec une grammaire LFG, et de fournir si nécessaire les raisons de l'agrammaticalité de certaines phrases. Par exemple en détectant des ruptures de contraintes d'accord, de valence, de colocation, ou de projection lexicale. Une interface riche (xlfg.org) a été proposée en ligne qui permet aux chercheurs, étudiants et enseignants de créer des ateliers d'écriture de grammaires dans différentes langues. Dans cet exposé, nous expliquerons rapidement comment nous avons résolu l'analyse de phrases dont l'ambiguïté rend inopérante toute tentative classique. Cela passe nécessairement par la définition d'une nouvelle sémantique du système formel de LFG. Nous n'aurons pas le temps de détailler ceci, mais en revanche, nous montrerons l'application par cette sémantique de quelques hypothèses théoriques, dont l'analyse de coordonnées elliptiques en français ou l'analyse des particules verbales en anglais.

## Annie Foret (IRISA)

Titre : On Categorial Grammatical Inference and Logical Information Systems.

Résumé : We shall consider several classes of categorial grammars and discuss their learnability. We consider learning as a symbolic issue in an unsupervised setting, from raw or from structured data and treebanks for some variants of Lambek grammars and of categorial dependency grammars. In that perspective, we discuss for these frameworks different type constructors and structures, some limitations (negative results) but also some algorithms (positive results) under some hypothesis. On the experimental side, we also consider the Logical Information Systems approach, that allows for navigation, querying, updating, and analysis of heterogeneous data collections where data are given (logical) descriptors. Categorial grammars can be seen as a particular case of Logical Information System.

## Kim Gerdes (LIMSI)

Titre : Un treebank dépendanciel du Naija
Résumé : Le développement d'un treebank du Naija parlé (le pidgincréole du Nigéria) dans le cadre du projet ANR NaijaSynCor http://naijasyncor.huma-num.fr/joe un rôle dans les enjeux de linguistique politiques du pays, mais il est aussi intéressant d'un point de vue tal et linguistique : avec ces 475k mots, le treebank est le plus grand treebank oral existant et son développement constituait des défis tal intéressant. La qualité et la cohérence du treebank étaient assurées par un entraînement régulier d'un parser neuronal (bootstrapping), par des corrections globales à l'aide des grammaires de réécriture de graphe (Grew) et par des extractions, corrections et réintroductions récurrentes de lexiques. Actuellement, nous travaillons au développement d'un dictionnaire collaboratif (wiktionnaire) dont la structure et des exemples sont extraits directement du treebank.

## Sylvain Loiseau (LACITO)

Titre : Les gloses interlinéaires : de la description au corpus en typologie linguistique

Résumé : Les gloses interlinéaires sont un format pour représenter l'analyse morphosyntaxique d'un texte ou d'un énoncé. Ce format joue un rôle central dans la documentation et la description des langues du monde ainsi qu'en typologie linguistique. Il est destiné à l'origine à représenter une analyse pour justifier une argumentation plus qu'à être une structure de données permettant des traitements automatiques. Ce pendant de vastes corpus de textes annotés dans ce format sont aujourd'hui disponibles. L'écosystème pour le traitement, la publication ou l'analyse automatique de ces données est encore peu développé. Cette présentation discutera des possibilités offertes par ces données, des outils disponible pour les analyser de façon plus systématique, et enfin des briques logicielles manquantes pour les faire accéder à des méthodologies de type linguistique de corpus (notamment en termes de modélisation quantitative).

## Aleksandra Miletic (CLLE)

Titre : Construire un treebank pour une langue peu dotée : ce que nous apprenent les cas du serbe et de l'occitan

Résumé : Je propose de partager mon expérience sur deux campagnes de création de treebank que j'ai menées jusqu'ici, la première pour le serbe et la deuxième pour l'occitan. Les deux langues étant peu dotées en ressources du TAL librement disponibles au moment de démarrage, ces projets ont été en grande partie basés sur l'annotation manuelle. Dans un tel contexte, comment rendre le travail des annotateurs humains aussi facile et rapide que possible, tout en préservant la qualité des annotations produites ? Est-il utile de chercher à exploiter les ressources existantes pour des langues proches ? Vaut-il mieux définir un schéma d'annotation propre à la langue en question ou en adopter un déjà existant ? Je présente les solutions mises en place dans chacune des campagnes, leurs résultats, mais aussi les questionnements qu'elles ont suscités.
Table des matières

<table><tbody><tr><td>ACCOLÉ : Annotation Collaborative d'erreurs de traduction pour CORpus aLignÉs - Nouvelles fonctionnalités<br>Emmanuelle Esperança-Rodier, Francis Brunet-Manquat</td><td>1</td></tr><tr><td>Alignement temporel entre transcriptions et audio de données de langue japhug<br>Cécile Macaire</td><td>9</td></tr><tr><td>Classification des catégories grammaticales sur deux corpus longitudinaux d'enfants<br>Andrea Briglia, Giovanni Pirrotta, Massimo Mucciardi, Jérémi Sauvage</td><td>23</td></tr><tr><td>Création d'un corpus FAIR de théâtre en alsacien et normalisation de variétés non-contemporaines<br>Pablo Ruiz Fabo, Delphine Bernhard, Carole Werner</td><td>32</td></tr><tr><td>D'un corpus à l'autre D'une étude reproductible et portable du discours direct nisvai à la comparaison linguistique<br>Jocelyn Aznar</td><td>42</td></tr><tr><td>Language Identification of Guadeloupean Creole<br>William Soto</td><td>53</td></tr><tr><td>Lexical encoding of multiword expressions in XMG<br>Agata Savary, Simon Petitjean, Timm Lichte, Laura Kallmeyer, Jakub Waszczuk</td><td>59</td></tr><tr><td>Longform recordings : Opportunities and challenges<br>Lucas Gautheron, Marvin Lavechin, Rachid Riad, Camila Scaff, Alejandrina Cristia</td><td>63</td></tr><tr><td>Modèles d'annotations morphologiques pour le traitement de données multivariées de l'arménien<br>Chahan Vidal-Gorène, Victoria Khurshudyan, Anaïd Donabédian</td><td>71</td></tr><tr><td>Ouvrir aux linguistes « de terrain » un accès à la transcription automatique<br>Guillaume Wisniewski, Alexis Michaud, Benjamin Gaillot, Laurent Besacier, Séverine Guillaume, Katya Aplonova, Guillaume Jacques</td><td>82</td></tr><tr><td>RefCo : An initiative to develop a set of quality criteria for fieldwork corpora<br>Jocelyn Aznar, Frank Seifart</td><td>94</td></tr></tbody></table>
# ACCOLÉ : Annotation Collaborative d'erreurs de traduction pour COrpus aLignÉs – Nouvelles fonctionnalités

Emmanuelle Esperança-Rodier¹ Francis Brunet-Manquat¹

(1) Univ. Grenoble Alpes, CNRS, Grenoble INP*, LIG, 38000 Grenoble, France

emmanuelle.esperanca-rodier@univ-grenoble-alpes.fr, francis.brunet-manquat@univ-grenoble-alpes.fr

## RÉSUMÉ

Cet article présente les avancées d'ACCOLÉ (Annotation Collaborative d'erreurs de traduction pour COrpus aLignÉs), qui en plus de proposer une gestion simplifiée des corpus et des typologies d'erreurs, l'annotation d'erreurs pour des corpus de traduction bilingues alignés, la collaboration et/ou supervision lors de l'annotation, la recherche de modèle d'erreurs dans les annotations, permet désormais d'annoter les Expressions Polylexicales (EPL) dans des textes monolingues en français, et d'accéder à l'annotation d'erreurs pour des corpus de traduction multi-cibles. Dans cet article, après un bref rappel des fonctionnalités d'ACCOLÉ, nous explicitons les fonctionnalités de chaque nouveauté.

## ABSTRACT

**ACCOLÉ: A Collaborative Platform of Error Annotation for Aligned Corpora – New Features**

This article presents the recent advances in ACCOLÉ, which on top of offering simplified management of corpora and typologies of errors, annotation of errors in bilingual aligned corpora, collaboration and/or supervision during annotation, looking for error types in annotations, now permits to annotate Multi-Word Expressions (MWE) in French monolingual corpora, and to access error annotation for multi-target corpora. In this article, after reminding the regular features of ACCOLÉ, we will explain the features of each novelty.

**MOTS-CLÉS :** Annotations d'erreurs de Traductions Automatique, Annotation collaborative, Evaluation de la qualité de la TA, EPL

**KEYWORDS:** Annotations of translation errors, Collaborative annotation, Machine Translation Quality Assessment, MWE

## 1 ACCOLÉ, une plateforme pour l'annotation d'erreurs

ACCOLÉ permet l'annotation manuelle des erreurs de traduction selon des critères linguistiques. L'idée sous-jacente est de pouvoir fournir à un utilisateur une aide dans le choix d'un système de TA à utiliser selon le contexte (compétences linguistiques et informatiques de l'utilisateur, connaissance du domaine du document source à traduire et la tâche pour laquelle il a besoin de traduire le document source.) Pour ce faire, ACCOLÉ doit permettre de détecter quels sont les phénomènes linguistiques qui ne sont pas traités correctement par le système de TA étudié. Les principales fonctionnalités de la plateforme ACCOLÉ sont la gestion simplifiée des corpus, des typologies d'erreurs, des annotateurs, etc. ; l'annotation d'erreurs ; la collaboration et/ou supervision lors de l'annotation ; la recherche de modèles d'erreurs (type d'erreurs dans un premier temps, patrons morphosyntaxiques ultérieurement) dans les annotations. Nous avons privilégié un accès simple à l'outil ainsi qu'au corpus. La plateforme ACCOLÉ est donc disponible en ligne (http://lig-accole.imag.fr, documentation : http://lig-membres.imag.fr/fbrunet/accole-plateforme-pour-ledition-collaborative-derreurs/) depuis un navigateur et ne nécessite aucune installation spécifique.
## 1.1 Gestion des projets d'annotations

Un projet d'annotation renvoie à une tâche d'annotation, en créant un couple associant un corpus et une typologie d'annotation. Ainsi, un même corpus pourra être associé à plusieurs typologies sous forme de plusieurs projets d'annotation. Ainsi, le corpus ne sera chargé qu'une fois sur la plateforme. Les annotateurs ainsi que les superviseurs sont associés aux projets qu'ils doivent annoter par le responsable du projet. Les typologies d'erreur sont également gérées par le responsable du projet. Un type d'erreur est composé d'un nom, d'une catégorie (facultative), d'une sous-catégorie (facultative) et d'un code (raccourci clavier pouvant être utilisé lors de l'annotation). Des typologies déjà existantes, telles que Vilar et al. (2006) et DQF-MQM (Lommel et al., 2018) sont décrites de cette manière dans ACCOLÉ. Des corpus (français-anglais) sont déjà disponibles dans ACCOLÉ, comme des extraits du BTEC (Basic Travel Expression Corpus), des nouvelles journalistiques, des articles sur la réglementation européenne issus de l'Union Européenne, des brevets. De plus, la plate-forme permet de téléverser de nouveaux corpus et de saisir d'autres typologies d'erreurs.

## 1.2 Annotation d'erreurs

La plateforme ACCOLÉ propose de visualiser et d'annoter les erreurs d'un couple de phrases source/cible (mono-cible) (Figure 1).

<figure><img src="image_3.png" /><figcaption>FIGURE 1 : Annotation d'une erreur sur la plateforme ACCOLÉ avec la typologie DQF-MQM (Lommel et al., 2018) dans un corpus mono-cible.</figcaption></figure>

La figure 1 présente l'interface pour un corpus mono-cible proposée à l'annotateur. L'annotation se fait en deux étapes. La première étape consiste à sélectionner, à l'aide de la souris, des mots dans la phrase source, et de leur équivalent dans la phrase cible, présentant une erreur de traduction. Il est possible de sélectionner des mots disjoints dans la source et dans la cible. Dans le cas de mots non traduits (omission), il faut sélectionner l'espace dans la cible, à l'endroit où le ou les mots sources aurait dû être traduits. Dans le cas d'addition, il faut sélectionner l'espace entre les mots sources,
correspondant à la position du ou des mots qui ont été ajoutés dans la cible entre les traductions de ces mots sources. La seconde étape consiste à choisir le type d'erreurs soit à l'aide de la souris, soit à l'aide des raccourcis clavier, à associer au couple des mots sources/cibles préalablement sélectionnés. Dans la figure 1, nous avons un exemple de mots ajoutés dans la traduction. « sub-national carbon market efforts » a été traduit par *« les efforts déployés au niveau infranational ». « déployés » a été ajouté dans la traduction alors qu'il n'est pas présent dans la source. L'espace entre « sub-national » et « carbon » a donc été sélectionné comme l'endroit équivalent à l'ajout dans la traduction de « déployés ». Cette façon d'annoter facilite la recherche de patrons pour un type d'erreurs, car il permet d'indiquer le contexte d'insertion, ou de suppression du mot respectivement dans la source et la cible.

Pour répondre aux problèmes d'accord inter-annotateurs (Popović, 2018), ACCOLÉ propose deux mécanismes pour aider l'annotateur dans sa tâche. Le premier est un mécanisme de supervision permettant à un responsable de contrôler l'avancée de la tâche. Ce mécanisme encourage surtout la communication entre superviseur et annotateur par la possibilité de créer des fils de discussion pour un couple de phrase source/cible précis. La supervision autorise la demande de précisions sur un type d'erreurs, de pointer une erreur d'annotation, etc.. Le second mécanisme est le mécanisme collaboratif qui permet aux annotateurs de communiquer autour d'un couple phrase source/cible précis. Ce mécanisme est une option à activer dans le projet.

## 1.3 Représentation des erreurs basée sur les SSTC

La plateforme utilise une représentation des données basée sur les SSTC (Structured String-Tree Correspondences, Boitet et Zaharin 1988). Une erreur est constituée d'une étiquette et d'un ensemble de SNODE (intervalle représentant la sous-chaîne dans la phrase source ou cible correspondante). Par exemple dans la figure 2, l'erreur portant sur "toute l'" et "any" est décrite par son étiquette Mauvais choix lexical (cat. Mot incorrect, sous-cat. Sens), par son positionnement dans la phrase source (SNODE [49-56] - sous chaîne entre le 49ème caractères et le 56ème) et la phrase cible (SNODE [46-48]). L'avantage d'utiliser ainsi les SNODE est de se passer d'une structure syntaxique pour décrire l'erreur.

<figure><img src="image_4.png" /><figcaption>FIGURE 2 : exemple d'annotations</figcaption></figure>

L'autre avantage est de pouvoir ajouter a posteriori des analyses morphosyntaxiques sur les phrases sources et cibles. Une ou plusieurs analyses (Stanford Tagger, Xerox Incremental Parser, etc.) pourront ainsi être rattachées à l'aide des SNODE aux phrases. A la fin de la tâche d'annotation, ses analyses serviront à rechercher des modèles d'erreurs (patrons morphosyntaxiques par exemple). L'idée est donc d'utiliser les erreurs comme une représentation pivot dans le mécanisme de recherche.

# 2 ACCOLÉ, nouvelles fonctionnalités

## 2.1 Annotation d'erreurs multi-cibles
Dans le cadre d'une expérimentation sur l'analyse de la qualité de systèmes de Traduction Automatique Neuronale en traduction simultanée ou après complétion de la phrase entière - online & offline NMT - (Elbayad et al., 2020), ACCOLÉ s'est étoffée de la possibilité d'annoter plusieurs hypothèses de traduction correspondant à une seule phrase source et d'intégrer également une phrase de référence (Figure 3). Cette étude porte sur l'évaluation de la qualité des hypothèses de traduction, d'une même phrase source, issues de quatre systèmes différents de TA neuronale. Il s'agit d'effectuer une annotation des erreurs pour les quatre hypothèses de traduction en langue cible par rapport à la phrase source et à une référence de traduction. La typologie utilisée est une version adaptée de MQM-DQF (Lommel et al., 2018). Le corpus anglais-allemand annoté dans ce projet correspond à 200 segments issus des données IWSLT14.

<figure><img src="image_5.png" /><figcaption>FIGURE 3 : Annotation d'une erreur sur la plateforme ACCOLE avec la typologie DQF-MQM (Lommel et al., 2018) dans un corpus multi-cible avec référence.</figcaption></figure>

L'annotation d'erreurs sur un corpus multi-cibles se déroule de la même façon que pour un corpus mono-cible. L'annotateur sélectionne à l'aide de la souris le couple d'occurrence source/cible 1 source/cible 2, source /cible 3... présentant une erreur de traduction. La seconde étape consiste à choisir le type d'erreurs soit à l'aide de la souris, soit à l'aide des raccourcis clavier, à associer au couple des mots sources/cibles préalablement sélectionnés. En plus de la source, l'annotateur a accès à une traduction de référence. Dans l'exemple de la figure 3, « Miguel » a été traduit par « Miguel » dans la cible 1 et la cible 4, et par *« migration » dans la cible 2 et la cible 3. Une erreur est donc annotée entre « Miguel » de la source, et *« migration » dans la cible 2 avec pour type « Accuracy>Mistranslation ». Comme le troisième moteur de traduction a engendré la même erreur de traduction, cette dernière est également annotée pour la cible 3 avec le même type d'erreur

## 2.2 Annotation d'Expressions Polylexicales

Dans le cadre d'un projet financé par NeuroCoG/Pôle Grenoble Cognition, nous avons adapté ACCOLÉ pour l'annotation d'Expressions Polylexicales (EPL). La typologie de types d'EPL intégrée à notre plateforme est telle que définie dans le travail de Tutin & Esperança-Rodier (2017). Elle est composée de 9 types : Collocations (C), Mots Fonctionnels (F), Formules de Routine (FR), Entités nommées (NE), Phrasèmes complets (PH), Pragmatèmes (PRAG), Proverbes (PROV),
Collocations fortes (SC) et enfin Termes Complexes (T). Chaque EPL est également annoté en partie du discours.

Nous avons envisagé que le corpus annoté soit monolingue ou bien bilingue. Toutefois, nous préférons la possibilité d'annoter la source en EPL de manière monolingue, de même que la cible. Si le corpus possède une traduction alignée du texte, alors il est possible d'annoter, à la fois dans la source et dans la cible, l'erreur repérée entre une EPL et sa traduction, afin de faire correspondre et comparer les annotations faites en première étape monolingue. Un projet financé par NeuroCoG/Pôle Grenoble Cognition, débutant en janvier 2021, nous permettra de vérifier de facto ce qui est le plus adapté pour l'annotateur.

Afin de faciliter la tâche d'annotation, un dictionnaire monolingue français d'EPL a été ajouté à ACCOLÉ, ainsi qu'un pré-traitement basé sur l'analyse syntaxique (Coavoux et Crabbé, 2017). Ainsi, ACCOLÉ permet d'annoter des EPL soit manuellement, en sélectionnant des mots à l'aide de la souris et en leur assignant un type, soit sur proposition de l'interface utilisant de manière automatique le dictionnaire et le pré-traitement, proposition qui sera à valider par l'annotateur. Dans un projet, on peut choisir d'obtenir une proposition automatique des annotations (Figure 4) ou non.

<figure><img src="image_6.png" /><figcaption>Figure 4 : Annotation d'un segment avec proposition automatique d'annotations à partir du dictionnaire</figcaption></figure>

Dans la pratique, le dictionnaire est :

- soit utilisé par le mécanisme automatique pour déterminer toutes les EPLs d'un segment source et les proposer à l'annotateur dans l'éditeur (Figure 4). L'annotateur pourra les accepter, les refuser ou les modifier, c'est-à-dire les accepter mais en modifiant le type et/ou la partie du discours de l'EPL.

- soit le projet ne propose pas le chargement automatique des EPLs, mais l'interface d'édition précisera le nombre d'EPLs possibles (voir Figure 5), que l'annotateur décidera d'ajouter ou non.

Le mécanisme automatique repère les EPLs présentes dans le segment source à partir du dictionnaire. Le dictionnaire contient le mot du début d'une EPL. L'algorithme automatique cherche ensuite si les mots restants de l'EPL correspondent à la suite des mots du segment source. L'algorithme est pour le moment très simple car le dictionnaire est très simple. Après la fin des premières annotations, le dictionnaire sera amélioré (factorisation, lemmatisation, lien avec le format NIF (Hellman et al., 2013)). Il prendra en compte ces modifications en introduisant l'utilisation d'un lemmatiseur et, à plus long terme, proposera des annotations avec plus d'informations provenant du web sémantique.
## Annoter les erreurs du segment 6 📝 Projet Projet EPL

<figure><img src="image_7.png" /><figcaption>Figure 5 : Annotation d'une EPL de manière manuelle</figcaption></figure>

L'analyse pré-syntaxique, quant à elle, propose déjà l'annotation en EPL du segment source. L'intégration à ACCOLÉ, dans un premier temps, consiste à faire correspondre l'analyse au formalisme d'ACCOLÉ, c'est-à-dire aux SNODEs. Puis dans un second temps, il s'agit d'ajouter les propositions d'EPL pour le segment source, et ce en faisant correspondre les types d'EPL avec les types utilisés pour l'annotation dans le projet et utilisés dans le dictionnaire.

La proposition d'annotation pour le segment source dans l'éditeur graphique sera la même que pour les propositions provenant du dictionnaire. Ces deux mécanismes ne diffèrent pas techniquement mais diffèrent dans le « workflow » de l'édition pour l'annotateur.

Nous avons obtenu un financement de NeuroCoG/Pôle Grenoble Cognition, pour réaliser avec ACCOLÉ l'annotation d'EPL dans un corpus monolingue français de 40,000 mots, que nous ferons traduire en polonais par différents moteurs de traduction automatique, notamment DeepL et Google. Nous étudierons ainsi le comportement de ces moteurs face à la traduction d'EPL du français vers le polonais. Cette étude nous permettra d'agrandir la quantité de corpus à disposition dans la plateforme ACCOLÉ, ainsi que d'ajouter le coupe français-polonais aux couples de langues jusque là étudiés. Nous serons également en mesure de créer un dictionnaire d'EPL en polonais.

## Segment 2 Projet Projet EPL

<figure><img src="image_8.png" /><figcaption>Figure 6 : Affichage des informations pour la Supervision</figcaption></figure>
Enfin, le mode supervision de la plateforme (Figure 6), permet une visualisation des annotations d'EPL en fonction de leur provenance, si l'annotation a été réalisée manuellement ou bien si elle est issue d'une proposition automatique, et de leur statut, si l'annotateur l'a acceptée, modifiée, refusée ou bien si l'annotation a été proposée à l'annotateur mais est en attente d'acceptation, de refus ou de modification.

## 3 Données disponibles

ACCOLÉ propose 3 typologies d'erreurs, celle de Vilar et al. (2006), deux autres issues de MQM-DQF (Lommel, 2018)) et 1 typologie d'annotation des EPL (Tutin & Esperança, 2017) ainsi que 14 corpus FR-GB, 4 corpus monolingues FR/GB et 7 corpus GB-DE (allant des nouvelles journalistiques, à des documents techniques, des brevets, des extraits du BTEC (Basic Travel Expression Corpus) jusqu'à des documents sur le climat ou des textes médicaux) pour un total de 25 corpus (+66,6% en un an), ayant permis la création de 30 projets (+58%). Ceux-ci correspondent à 9 585 phrases (+40,5 %), 184 786 mots sources (+37,6%), 266 078 mots cibles (+132%), pour 34 558 annotations réalisées par 12 annotateurs natifs soit anglais, allemand ou français (+47%). Ces corpus sont structurés selon les SNODEs (Boitet et al., 1988) et sont disponibles sur demande au format XML ou JSON. Une fonction permet de rechercher dans ces corpus les types d'erreurs. Au moment de la rédaction, nous continuons de travailler sur la recherche de modèle d'erreurs.

## 4 Conclusion

Dans cet article, nous présentons les fonctionnalités supplémentaires apportées à la plateforme ACCOLÉ. Certains corpus annotés disponibles ont déjà été utilisés pour une comparaison linguistique de la qualité de la traduction de différents systèmes de TA (Esperança-Rodier et Becker, 2018), ainsi que pour l'analyse de la qualité de systèmes de TA simultanée ou après complétion de la phrase entière (Elbayad et al., 2020). ACCOLÉ permet désormais d'étudier les phénomènes de traductions liés aux EPLs grâce à la production de corpus annotés en EPL afin de contribuer à la recherche en linguistique. Un projet d'annotation d'EPL et d'évaluation de TA français-polonais d'EPL vient d'être accepté par NeuroCog/Pôle Grenoble Cognition et débutera en janvier 2021.

ACCOLÉ permet également d'avoir une interface multi-cibles comme fréquemment utilisé lors des grandes campagnes d'évaluation. Outre l'implémentation de la recherche d'erreurs au sein des corpus par patrons morphosyntaxiques pour la partie annotation d'erreurs, nous étudions pour la partie annotation d'EPL, la possibilité de modifier le dictionnaire en cours de traitement : correction des entrées du dictionnaire, ajout d'entrées en fonction des annotations manuelles.

Enfin, nous comptons également intégrer des informations du web sémantique afin de proposer plus de format d'annotations, ou bien de données liées aux annotations.

## Références

Boitet, C. et Zaharin, Y. (1988). Representation trees and string-tree correspondences. In *Proceedings of international Conference on Computational Linguistics COLING-88*, 59-64.

Coavoux, M. et Crabbé, B. (2017). Représentation et analyse automatique des discontinuités syntaxiques dans les corpus arborés en constituants du français. *Actes de la 24e conférence sur le Traitement Automatique des Langues Naturelles, Jun 2017, Orléans, France*. pp.77-92

Elbayad, M., Ustaszewski, M., Esperança-Rodier, E., Brunet-Manquat, F., Verbeek, J. et Besacier, L. (2020). Online Versus Offline NMT Quality: An In-depth Analysis on English-German and German-English. *Accepté à COLING 2020*.
Esperança-Rodier, E. et Becker, N. (2018). Comparaison de systèmes de traduction automatique, probabiliste et neuronal, par analyse d'erreurs. Proceedings of the 4th day on « *Traitement Automatique des Langues et Intelligence Artificielle* » - TALIA 2018 Day of the plate-forme Intelligence Artificielle (PFIA 2018). Nancy, France, 6 juillet 2018. Edited by Didier Schwab et Pierre Zweignebaum.

Esperança-Rodier, E., Brunet-Manquat, F., et Eady, S. ACCOLÉ: A Collaborative Platform of Error Annotation for Aligned Corpora. *Translating and the computer 41, Nov 2019, Londres, United Kingdom*

Hellmann, S., Lehmann, J., Auer, S., Brümmer, M. Integrating NLP using Linked Data. *2th International Semantic Web Conference, 21-25 October 2013, Sydney, Australia*

Lommel, A., et Alan, K. M. (2018). Tutorial: MQM-DQF: A Good Marriage (Translation Quality for the 21st Century). *13th Conference of the Association for Machine Translation in the Americas (Volume 2: User Papers)*. Vol. 2.

Popović, M. (2018) Error Classification and Analysis for Machine Translation Quality Assessment. *Moorkens J., Castilho S., Gaspari F., Doherty S. (eds) Translation Quality Assessment. Machine Translation: Technologies and Applications, vol 1*. Springer, Cham

Tutin, A., Esperança-Rodier, E. (2017) La difficile identification des expressions polylexicales dans les textes : critères de décision et annotation. "*La phraséologie française : débats théoriques et dimensions appliquées (didactique, traduction et traitement informatique)*", Sep 2017, Arras, France.

Vilar, D., Xu, J., D'Haro, L.F. and al. (2006) Error analysis of statistical machine translation output. *5th International Conference on Language Resources and Evaluation*. 97-702.
# Alignement temporel entre transcriptions et audio
de données de langue japhug

Cécile Macaire¹²

(1) Langues et Civilisations à Tradition Orale (LACITO), CNRS-Sorbonne Nouvelle, France

(2) Laboratoire d'Informatique de Grenoble (LIG), CNRS-Université Grenoble Alpes, France

cecile.macaire@live.com

## RÉSUMÉ

La collection Pangloss héberge un corpus de langue japhug : plus de 30 heures d'enregistrements audio (et dans une moindre mesure vidéo) accompagnés de transcriptions. La grande majorité des transcriptions, réalisées par le linguiste Guillaume Jacques, spécialiste de la langue, ne comportaient pas d'informations concernant l'alignement texte-son : les seuls points de référence étaient le début et la fin des enregistrements, dont la durée va de 22 secondes à 33 minutes. Le présent exposé présente la façon dont des chronocodes (balises indiquant l'alignement texte-son) ont été ajoutés au niveau de la phrase. La chaîne de traitement consiste en une application de l'outil d'alignement forcé MAUS, doublé d'une étape de vérification manuelle. Ce travail, réalisé sans intervention du linguiste, permet désormais la consultation phrase par phrase de la transcription, la citation d'une phrase spécifique par le biais d'une référence DOI, ainsi que l'utilisation des documents pour entraîner un modèle acoustique en vue de la transcription phonémique automatique de cette langue *à faibles ressources*. Cette tâche illustre l'utilité de collaborations entre linguistes et ingénieur-e-s informatiques pour la documentation linguistique.

## ABSTRACT

Time alignment between transcriptions and audio of Japhug language data

The Japhug language corpus in the Pangloss Collection consists of a set of over thirty hours of audio recordings (and some video recordings) transcribed in the International Phonetic Alphabet (IPA). The vast majority of the transcriptions, made by linguist Guillaume Jacques, a specialist in the language, did not have detailed information about text-sound alignment : the only points of reference were the beginning and end of each of the recordings, which range from 22 seconds to 33 minutes in length. This presentation provides an account of the way in which detailed temporal information has been added (time codes indicating text-to-sound alignment at the level of the sentence) using the MAUS segmentation tool, and how the temporal information has been added to the transcripts. This task was entirely conducted without hands-on implication by the linguist. The result is that it is now possible (i) to consult texts sentence-by-sentence, (ii) to quote a specific sentence via a DOI, and last but not least, (iii) to use the documents for training an acoustic model for automatic phonemic transcription of untranscribed audio. The alignment task reported here illustrates the usefulness of collaborations between linguists and computer engineers for linguistic documentation.

MOTS-CLÉS : Alignement temporel, japhug, documentation linguistique.

KEYWORDS: Temporal alignment, Japhug, linguistic documentation.
# 1 Introduction

## 1.1 La collection Pangloss

La collection Pangloss (Michailovsky et al., 2014)<fnref n="1" /> est une archive multimédia de langues en danger. Elle accueille des ressources linguistiques dans plus de 150 langues : enregistrements audio et vidéos accompagnés, pour certains, de transcriptions et annotations. Certains ont exprimé la crainte de voir les archives orales devenir des «cimetières de données» ("data graveyards" : Gippert et al., 2006, 4, 12-13) ; la collection Pangloss est bien plutôt un «jardin de données», dans lequel les corpus sont enrichis, au fil des ans, d'annotations de plus en plus complètes. Le dépôt de fichiers dans divers formats est accepté, y compris de simples fichiers texte brut ou des manuscrits scannés, mais l'objectif est de parvenir au stade de textes dotés d'un appareil critique complet (traductions, notes...), encodé en XML. Ainsi, le présent exposé relate l'ajout d'un alignement temporel entre transcriptions et audio pour le corpus de langue japhug, et en expose brièvement les enjeux.

## 1.2 La langue japhug et le corpus japhug

Le japhug est une langue sino-tibétaine parlée par environ 10 000 personnes dans la province du Sichuan (Chine). Le travail de Guillaume Jacques au sujet de cette langue depuis une vingtaine d'années a abouti à de nombreuses publications, dont une thèse (Jacques, 2004), un dictionnaire japhug-chinois-français (Jacques, 2016), et une étude phonétique-phonologique (Jacques, 2019). Dans la collection Pangloss, il y a environ 400 enregistrements sonores en langue japhug, dont la durée va de 22 secondes pour le plus court à 33 minutes pour le plus long. La majorité des enregistrements font moins de 10 minutes. Trois locuteurs sont présents. Les enregistrements contiennent des contes, aussi bien que des témoignages au sujet de la culture locale : descriptions de la faune et de la flore, informations sur les techniques agricoles, la construction de maisons, le tissage... (Jacques, 2015). Avant les tâches décrites ici, les transcriptions réalisées par G. Jacques ne possédaient pas d'informations concernant l'alignement texte-son, hormis quelques documents qui possèdent un alignement phrase par phrase (par exemple le récit *Les trois sœurs*<fnref n="2" />). Il était de ce fait difficile d'accéder à l'enregistrement d'une phrase spécifique de la transcription. Un travail a été réalisé afin d'aligner les transcriptions avec les enregistrements audio, et d'ajouter ces informations temporelles (chronocodes) au niveau de la phrase.

# 2 Méthode

## 2.1 Outil d'alignement automatique : MAUS

Il existe divers outils pour effectuer un alignement forcé entre un fichier audio et sa transcription : SailAlign (Katsamanis et al., 2011), EasyAlign (Golman, 2011), etc. Le choix s'est porté sur MAUS (*Munich Automatic Segmentation*) (Schiel, 1999; Kisler et al., 2017), qui a été utilisé avec succès dans le contexte de la documentation linguistique (Strunk et al., 2014). MAUS calcule une segmentation

<footnote n="1">1. https://pangloss.cnrs.fr</footnote>

<footnote n="2">2. https://doi.org/10.24397/pangloss-0003357</footnote>
phonétique et un étiquetage, sur la base du signal audio fourni, et d'une transcription phonologique
encodée selon des conventions spécifiques : en Alphabet Phonétique International, ou dans son
équivalent ASCII selon les conventions SAMPA. La transcription phonologique doit être fournie dans
un fichier BPF au format BAS Partitur (extension .par). MAUS permet de traiter un discours aussi
bien lu que spontané d'une langue non répertoriée.

## 2.2 Chaîne de traitement

Dans le présent travail, il n'a pas été fait usage de fonctionnalités avancées de MAUS, telles que la
prise en charge des variantes de prononciation. L'outil a été utilisé de façon relativement élémentaire.
La figure 1 explique les étapes nécessaires à l'ajout des balises temporelles au niveau de la phrase
dans les fichiers XML.

<figure><img src="image_9.png" /><figcaption>FIGURE 1 – Les différentes étapes réalisées par le script python.</figcaption></figure>

En partant du corpus japhug, la première étape a consisté en l'extraction des données, ici, des
transcriptions au format XML (cf. figure 2), et leur prétraitement : un toilettage pour supprimer
certaines informations non prises en compte par l'outil et vérifier l'encodage de certains caractères.

Dans le corpus japhug, les mots empruntés au chinois mandarin sont notés en écriture chinoise, ce
qui a le double avantage de les identifier avec grande précision et de les faire ressortir visuellement
(ainsi que dans l'encodage). On voit ainsi dans la figure 3 le mot 机耕道 'sente pour tracteurs'. Cette
pratique est claire et intuitive pour les linguistes spécialistes de langues de Chine, mais comme elle
<figure><img src="image_10.png" /><figcaption>FIGURE 2 – Transcription de l’histoire 6 *tshAt* <fnref n="3" /> dans un fichier XML.</figcaption></figure>

n’est pas explicitée dans la courte documentation disponible au sujet du corpus, elle constitue un
obstacle pour les utilisateurs non spécialistes du domaine.

Les transcriptions pré-traitées ont ensuite été converties au format XML de la collection Pangloss : le
découpage en phrases, indiqué à l'origine par des retours chariot, se trouve encodé (dans la logique
du *texte structuré logiquement*) sous forme d'éléments <S> (*Sentence* : niveau de la phrase), puis
alignées avec l'enregistrement audio. Enfin, ces informations temporelles récupérées ont été ajoutées
dans les documents XML, sous forme de chronocodes au niveau de la phrase. La figure 3 montre
le début du récit *tshAt* <fnref n="3" /> obtenu après ce traitement. On y reconnaît les trois premières phrases du
texte, cette fois-ci explicitement codées comme telles (éléments <S>) et chacune dotée d'une balise
<AUDIO> contenant le début et la fin de l'intervalle audio correspondant. On relèvera également
l'ajout d'une balise <TITLE> (on s'est contenté, pour l'heure, de recopier l'identifiant *a minima* que
constituait le nom du fichier fourni par le linguiste) et d'une balise <SOUNDFILE> indiquant le nom
du fichier audio correspondant.

<figure><img src="image_11.png" /><figcaption>FIGURE 3 – Début de la transcription de l’histoire 6 *tshAt* <fnref n="3" /> annotée avec les balises temporelles
phrase par phrase.</figcaption></figure>

L'ensemble de ces étapes a été automatisé par un script python : **xml_info_japhug.py** (Macaire,

<footnote n="3">3. https://doi.org/10.24397/pangloss-0003420</footnote>
2020)<fnref n="4" />. Il faut tout d'abord extraire les transcriptions. La fonction **extract_information(xml_file)** extrait les informations de la balise `<FORM>`. La transcription est une chaîne de caractères bruts, les phrases étant séparées par un saut de ligne. La chaîne de caractères est découpée par ligne, et nettoyée.

La langue Japhug n'est pas répertoriée dans MAUS, il a donc fallu utiliser le paramètre "Language independent" et son inventaire de caractères acceptés. Spécifiquement au corpus Japhug, de nombreux caractères spéciaux posaient problème car ils ne sont pas pris en charge dans l'inventaire utilisé. La solution a été de remplacer les caractères inconnus par MAUS par ceux répertoriés.

La notation de la langue japhug comporte des marques accentuelles, qui font référence à des événements prosodiques. Les formes accentuées, ó, ú, á, í, etc. sont remplacées par o, u, a, i. De plus, certains mots possèdent un préfixe et/ou suffixe séparé de la base par un '-'. Pour l'alignement phonémique, ces particules ont été "raccrochées" à la base pour ne former qu'un ensemble : [jathy-ari-a] devient [jyāria].

## 2.3 Informations écartées lors du traitement

Certaines informations ajoutées par le linguiste ne font pas partie du discours mais sont interprétées comme telles par MAUS. Celles-ci posent problèmes lors de la génération des fichiers BPF au format BAS partitur :

- Indications temporelles posées dans le fil du document : par exemple (201) correspondant à 2 minutes 01.

- Division de la transcription en parties (paragraphes) au moyen de suites de ‘=’, ‘x’, ‘-’, ‘*’.

- Caractères chinois : utilisation d'une librairie python hanzidentifier pour les identifier.

- Signes de ponctuations ('?','!', ' ', etc.)

- Autres informations : '(calque)', '(faute)', '(ideoph)', '???', 'X', etc. regroupés dans une liste *irrelevant_annotations* (cf. figure 9).

Lorsque le fichier est débarrassé d'informations autres que la transcription brute du discours, on peut créer les fichiers BPF au format BAS partitur.

## 2.4 Génération des fichiers BPF au format BAS partitur

La fonction **create_par(text, file, frame_rate)** (cf. figure 13) génère les fichiers BPF, fichiers en entrée pour MAUS. Le texte est découpé en mots, et chaque mot se voit attribuer un identifiant unique. La fréquence d'échantillonnage du fichier audio correspondant à la transcription est récupérée en parallèle grâce à la fonction **get王ampling_rate(file)** (cf. figure 11), et les fichiers sont stéréo sont convertis en mono au moyen de la librairie python pydub, appelée par la fonction **convertMono(path, path_export, file)** (cf. figure 12). Les fichiers sont ensuite téléchargés en entrée dans MAUS. Une requête HTTP télécharge les fichiers vers le serveur, effectue la segmentation et retourne un fichier TextGrid en sortie. Des paramètres sont à spécifier en entrée, comme montré en figure 4.

Dans le script python, cela correspond à la ligne de commande :

<footnote n="4">4. https://gitlab.com/macairec/alignement_texte_son_japhug</footnote>
<figure><img src="image_12.png" /><figcaption>FIGURE 4 – Options en entrée de MAUS.</figcaption></figure>

<figure><img src="image_13.png" /><figcaption>FIGURE 5 – Ligne de commande dans le script python.</figcaption></figure>

## 2.5 Extraction des chronocodes des TextGrid et ajout dans le fichier XML

Le but de ce script est d'ajouter des informations temporelles pour chaque ligne de transcription. Chaque ligne est identifiée grâce à un saut de ligne matérialisé par `\n`. La fonction `extract_info_textGrid(textgrid)` (cf. figure 14) crée un dictionnaire qui comprend deux éléments : un identifiant pour chaque phrase de transcription, et les balises temporelles de début et de fin d'apparition dans l'audio (exprimées en secondes). En effet, la fonction récupère le paramètre `xmin` du premier mot de la phrase, et le paramètre `xmin` du dernier mot de la phrase, reconnaissable par `\n`.

La figure 6 ci-dessous est un exemple d'un fichier TextGrid : ici la phrase commence par le mot `[stu]` à 0.44 seconde de l'audio, et se termine par le mot `[babw]` à 1.73 secondes.

La dernière étape consiste à ajouter les informations temporelles de début et de fin de phrase dans le fichier XML comprenant la transcription. La fonction `add_xml_info(timecode, wav_file, xml_file)` (cf. figure 15) récupère le dictionnaire précédemment créé, puis la transcription du fichier XML. A chaque ligne dans le fichier XML, on associe un identifiant, les balises temporelles, et la transcription. Certains caractères tels que les séparateurs de parties de transcriptions ('-','=','*') sont répertoriés dans des balises **NOTE**. La figure 7 illustre le fichier en sortie créé. Le script permet
```xml
File type = "ooTextFile"
Object class = "TextGrid"

xmin = 0
xmax = 967.502925
tiers? <exists>
size = 2
item []:
    item [1]:
        class = "IntervalTier"
        name = "TR2-MAU"
        xmin = 0
        xmax = 967.502925
        intervals: size = 2367
        intervals [1]:
            xmin = 0
            xmax = 0.44
            text = ""

intervals [2]:
    xmin = 0.44
    xmax = 0.54
    text = "stu"
intervals [3]:
    xmin = 0.54
    xmax = 1.05
    text = "kW-m&ku"
intervals [4]:
    xmin = 1.05
    xmax = 1.23
    text = "nW"
intervals [5]:
    xmin = 1.23
    xmax = 1.73
    text = "babW.\n"
```

<caption>FIGURE 6 – Exemple d’un fichier TextGrid généré par MAUS (Schiel, 1999), (Kisler et al., 2017).</caption>

```xml
<?xml version="1.0" ?>
<!DOCTYPE TEXT SYSTEM "https://cocoon.huma-num.fr/schemas/Archive.dtd">
<TEXT id="crdo-JYA_HIST140425_KWFCI" xml:lang="jya">
  <HEADER>
    <TITLE>crdo-JYA_HIST140425_KWFCI</TITLE>
    <SOUNDFILE href="hist140425_kwfCi.wav"/>
  </HEADER>
  <S id="S001">
    <AUDIO start="0.53" end="4.23"/>
    <FORM kindOf="phono">kWGWngW tGe, kWfCi nWnWra wuma Zo, n&kinW,</FORM>
  </S>
  <S id="S002">
    <AUDIO start="4.23" end="7.0"/>
    <FORM kindOf="phono">nW kW-fse m&-kW-tan& tu-n&ma-nW pj&-ngr&l tGe,</FORM>
  </S>
</TEXT>
```

<caption>FIGURE 7 – Exemple d’un début de fichier XML avec les balises temporelles.</caption>

également d'ajouter deux informations dans l'en-tête : le titre du fichier et la référence du fichier audio correspondant. La seconde figure 8 ci-dessous montre l'utilisation d'une balise **NOTE** qui encapsule des informations portées par le linguiste mais qui n'appartiennent pas à proprement parler à la forme d'une phrase.

```xml
<NOTE message="===================" xml :lang="fr"/>
<S id="S022">
  <AUDIO start="75.3" end="76.61"/>
  <FORM kindOf="phono">tGe m&ZW phu&i tu.</FORM>
</S>
<S id="S023">
  <AUDIO start="77.38" end="79.92"/>
  <FORM kindOf="phono">phu&i nW li si &u tGeri, m&-mbro.</FORM>
</S>
<S id="S024">
  <AUDIO start="80.26" end="80.99"/>
  <FORM kindOf="phono">tGhi t&-mbro,</FORM>
</S>
<S id="S025">
  <AUDIO start="80.99" end="83.07"/>
  <FORM kindOf="phono">tWrme tW-fsu Ganta& tu-mbro m&-cha.</FORM>
</S>
```

<caption>FIGURE 8 – Partie d’un fichier XML annoté comprenant une balise NOTE.</caption>
# 3 Problèmes rencontrés

Quelques difficultés ont été rencontrées lors de la création du script et de son application. Tout d'abord, afin d'exclure les caractères non pertinents lors de la création des fichiers BPF, il a fallu regarder un à un chaque fichier qui posait problème lors du lancement de leur segmentation. Le principal défi a été de travailler sur un ensemble documentaire sans connaissance de la langue japhug, ni du chinois, et sans supervision préalable. Le corpus regroupant des ressources s'étalant sur une vingtaine d'années, il était difficile de comprendre d'emblée chaque information annotée. La présence d'un inventaire comprenant l'ensemble des normes et des informations supplémentaires annotées par le linguiste aurait permis un gain de temps considérable dans la construction du script. Un tel inventaire serait particulièrement utile pour les personnes faisant du TAL (Traitement Automatique des Langues). Les conventions varient d'un fichier à l'autre. La mise en place de normes d'écriture est un point essentiel, et permettrait une uniformisation du corpus.

## 3.1 Décalages entre annotation et audio

De plus, la transcription pouvait parfois présenter des disparités avec l'audio. Par exemple, certains mots dits n'ont pas été transcrits. La majeure partie du temps, cela correspondait aux mots [nykinw] et [tçendʒre], plus communément appelés "gap-fillers". Ces choix effectués par le linguiste éloignent l'annotation du signal audio. De plus, certaines parties d'audio n'étaient pas transcrites, ou encore certaines transcriptions comprenaient une partie absente de l'audio (cf. fichier crdo-JYA_HIST-06-HUCHEMENTS1.xml par exemple).

## 3.2 Bruits parasites

Un point essentiel concerne les fichiers audio. Certains d'entre eux comportent des sons parasites, que MAUS considèrent comme de la parole. L'alignement résultant en est faussé. Il s'agit par exemple d'hésitations (« hum », « heu », etc.), de toussotements et éternuements, de chuchotements en arrière plan, de paroles d'une personne tierce dont le discours n'est pas retranscrit, de bruits de rue, ou de bruits parasites très légers en début et fin de fichier. Sur l'ensemble du corpus, près de la moitié des enregistrements audio présentaient de tels sons. La solution la plus efficace a été de "mettre en silence" les parties parasites. La fonction **muteiter(path_wav, wav_file)** effectue cette opération ; il suffit de spécifier les intervalles de temps en secondes à traiter.

# 4 Conclusion et perspectives

Par l'utilisation d'un outil de segmentation automatique, MAUS, les informations temporelles pertinentes ont été extraites et ajoutées dans les transcriptions du corpus japhug. Les documents enrichis sont d'ores et déjà consultables via l'interface web de la collection Pangloss.

La méthodologie développée dans ce projet comporte plusieurs limitations, notamment car certains éléments des enregistrements audio (bruits parasites) et des transcriptions (annotations non adaptées) faussaient l'alignement produit, rendant nécessaire une intervention manuelle. Sur la totalité du corpus
(environ 400 fichiers), seuls 6 fichiers n'ont pas pu être corrigés, du fait que la transcription n'était pas complète.

Il n'a pas été mené d'évaluation objective de la qualité des résultats obtenus : cela aurait nécessité un point de comparaison (par exemple, un alignement temporel de référence, qui aurait été établi de façon entièrement manuelle, pour les mêmes documents). Néanmoins, de l'avis du linguiste déposant (Guillaume Jacques), les résultats obtenus au terme du processus sont concluants pour les données de langue japhug : aucune erreur d'alignement n'a été détectée.

## 4.1 Intérêt pour la consultation des données

L'existence de chronocodes au niveau de la phrase facilite une meilleure navigation au sein du corpus. En effet, tous les documents de la collection Pangloss ont été dotés d'identifiants DOI (Digital Object Identifier). A ce sujet, on consultera un article (Vasile et al., 2020) qui revient sur les problématiques d'identification de la ressource, et sur le contexte «socio-scientifique» actuel, pour mettre en perspective le choix d'attribuer un DOI à chaque document de la Collection Pangloss. Il est possible d'ajouter au DOI un numéro de phrase, après un dièse : par exemple, https://doi.org/10.24397/pangloss-0003357#S10 amène droit à la dixième phrase (unité S) du document en question. Cela permet par exemple de citer un exemple précis dans une publication scientifique : les lecteurs peuvent accéder en un clic à l'exemple, dans son contexte d'origine. L'existence d'un chronocode au niveau de la phrase permet d'écouter le passage concerné, sans devoir naviguer tant bien que mal au sein d'un fichier audio dont la durée, rappelons-le, peut dépasser 30 minutes.

## 4.2 Intérêt pour l'utilisation du corpus japhug dans des expériences en Traitement Automatique des Langues Naturelles

Les transcriptions enrichies de chronocodes ont aussitôt été utilisées dans des expériences de reconnaissance automatique de la parole : transcription automatique de langues à faibles ressources. Ces expériences, qui s'inscrivent dans le fil de travaux exploratoires réalisés depuis plusieurs années (Adams et al., 2017, 2018; Michaud et al., 2018, 2019; Wisniewski et al., 2020a; Michaud et al., 2020), font l'objet d'un exposé lors des présentes Journées scientifiques (Wisniewski et al., 2020b).

## Remerciements

Vifs remerciements à Séverine Guillaume, Laurent Besacier et Alexis Michaud pour avoir guidé le travail décrit ici, et au Groupement de Recherche CNRS LIFT (Linguistique Informatique, Formelle et de Terrain), qui m'a orienté vers ce travail dans le cadre d'une mis en relation entre linguistes et étudiants de Traitement Automatique des Langues.

Ce travail a reçu un soutien financier dans le cadre du projet « La documentation computationnelle des langues à l'horizon 2025 » (ANR-19-CE38-0015-04).
Références

Adams, O., Cohn, T., Neubig, G., Cruz, H., Bird, S., and Michaud, A. (2018). Evaluating phonemic transcription of low-resource tonal languages for language documentation. In Proceedings of LREC 2018 (Language Resources and Evaluation Conference), pages 3356–3365, Miyazaki. https://halshs.archives-ouvertes.fr/halshs-01709648.

Adams, O., Cohn, T., Neubig, G., and Michaud, A. (2017). Phonemic transcription of low-resource to-
nal languages. In Proceedings of the 2017 Australasian Language Technology Association Workshop (ALTA 2017), pages 53–60, Brisbane, Australia. https://halshs.archives-ouvertes.fr/halshs-01656683.

Gippert, J., Himmelmann, N., and Mosel, U. (2006). Language documentation : What is it and what
is it good for. In Essentials of language documentation, volume 178, pages 1–30. Walter de Gruyter,
Berlin.

Golman, J.-P. (2011). EasyAlign : An automatic phonetic alignment tool under Praat. In Proceedings of InterSpeech 2011, Florence. International Speech Communication Association.

Jacques, G. (10/05/2015). "Mon travail sur le japhug (1)," Panchronica,. https://panchr.hypotheses.org/264 (ISSN2494-775X).

Jacques, G. (2004). *Phonologie et morphologie du japhug (rGyalrong)*. PhD thesis, Univ. Paris-Diderot/Paris VII Paris.

Jacques, G. (2016). Dictionnaire Japhug-chinois-français Version 1.1. https://halshs.archives-ouvertes.fr/halshs-01003734.

Jacques, G. (2019). Japhug. Journal of the International Phonetic Association, 49(3):427–450.

Katsamanis, A., Black, M., Georgiou, P., Goldstein, L., and Narayanan, S. (2011). SailAlign : Robust long speech-text alignment. In Proc. of Workshop on New Tools and Methods for Very-Large Scale Phonetics Research, Philadelphia, PA.

Kisler, T., Reichel, U., and Schiel, F. (2017). Multilingual processing of speech via web services. *Comput. Speech Lang.*, 45(C):326–347.

Macaire, C. (2020). Script python. https://gitlab.com/macairec/stage_lacito.

Michailovsky, B., Mazaudon, M., Michaud, A., Guillaume, S., François, A., and Adamou, E. (2014). Documenting and researching endangered languages : the Pangloss Collection. *Language Documentation and Conservation*, 8 :119–135. https://halshs.archives-ouvertes.fr/halshs-01003734.

Michaud, A., Adams, O., Cohn, T., Neubig, G., and Guillaume, S. (2018). Integrating automa-
tic transcription into the language documentation workflow : experiments with Na data and the
Persephone toolkit. *Language Documentation and Conservation*, 12 :393–429.

Michaud, A., Adams, O., Cox, C., and Guillaume, S. (2019). Phonetic lessons from automatic phonemic transcription : preliminary reflections on Na (Sino-Tibetan) and Tsuut'ina (Dene) data. In Proceedings of ICPhS XIX (19th International Congress of Phonetic Sciences), Melbourne. https://halshs.archives-ouvertes.fr/halshs-02059313.

Michaud, A., Adams, O., Guillaume, S., and Wisniewski, G. (2020). Analyse d’erreurs de trans-
criptions phonémiques automatiques d’une langue « rare » : le na (mosuo). In Benzitoun, C.,
Braud, C., Huber, L., Langlois, D., Ouni, S., Pogodalla, S., and Schneider, S., editors, Actes de
la 6e conférence conjointe Journées d’Études sur la Parole, Traitement Automatique des Langues
*Naturelles, Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues*, pages 451–462, Nancy, France. ATALA. https://hal.archives-ouvertes.fr/hal-02798572.

Schiel, F. (1999). Automatic phonetic transcription of nonprompted speech. In *Proc. Int. Cong. Phon. Sci*, pages 607–610.

Strunk, J., Schiel, F., Seifart, F., et al. (2014). Untrained forced alignment of transcriptions and audio for language documentation corpora using webmaus. In *LREC*, pages 3940–3947.

Vasile, A., Guillaume, S., Aouini, M., and Michaud, A. (2020). Le Digital Object Identifier, une impérieuse nécessité ? L’exemple de l’attribution de DOI à la Collection Pangloss, archive ouverte de langues en danger. *I2D - Information, données & documents*, 2 :156–175.

Wisniewski, G., Guillaume, S., and Michaud, A. (2020a). Phonemic transcription of low-resource languages : To what extent can preprocessing be automated ? In *Beermann, D., Besacier, L., Sakti, S., and Soria, C., editors, Proceedings of the 1st Joint SLTU (Spoken Language Technologies for Under-resourced languages) and CCURL (Collaboration and Computing for Under-Resourced Languages) Workshop*, pages 306–315, Marseille, France. European Language Resources Association (ELRA). https://halshs.archives-ouvertes.fr/hal-02513914.

Wisniewski, G., Michaud, A., Galliot, B., Besacier, L., Guillaume, S., Aplonova, K., and Jacques, G. (2020b). Ouvrir aux linguistes « de terrain » un accès à la transcription automatique. In *Actes des Journées scientifiques du Groupement de Recherche "Linguistique informatique, formelle et de terrain" (LIFT)*, Paris.
```python
def create_par(text, file, frame_rate):
    """Create PAR file from the transcription previously extracted from xml file"""
    words_tr2 = [e + '\n' for e in text.split('\n') if e]  # split text by lines
    words_tr2 = [i.replace('\ufeff', '') for i in words_tr2]  # remove space at the beginning
    words_tr2 = [i.replace('>', '') for i in words_tr2]  # remove '>'
    digits = [re.findall(r'\((\d+.*\)', l) for l in words_tr2]  # find all the digits of the form '(201)'
    for k, p in enumerate(words_tr2):
        if len digits[k]) != 0:
            words_tr2[k] = words_tr2[k].replace(digits[k][0], '')  # and delete them
            words_tr2 = [words_tr2[i].split() for i, j in enumerate(words_tr2)]  # split sentences into words
            words_tr2 = [[i for i in nested if (
                i not in irrelevant_annotations and not hanzidentifier.has_chinese(
                    i) and 'xxxx' not in i and '--' not in i and '\\c' not in i and 'FICHIER' not in i and '=' not in i)] for
                nested in
                words_tr2]  # delete characters for MAUS
        words_tr2 = list(filter(None, words_tr2))  # remove blank lines
        words = [x for z in words_tr2 for x in z if x]  # extract all the words from sublist
        replace = {'-': '', 'g': 'g', 'B': 'R', 'W': 'W', 'Y': 'Y', 'ó': 'o', 'ú': 'u', 'G': 'G', 'Y': 'Y', '2': '2',
                      '4': 'r', 'M': 'M', 'T': 't', 'Ü': 'y', 'û': 'u', 'é': 'e', 'B': 'b', 'à': 'a', 'á': 'a',
                      ':': '', 'A': 'a', 'U': 'u', 'h': 'h', '@': '', ' (': '(', ')': ')', '6': '6', 'E': 'E', '9': '9':
                      '@', '7': 'Y', '0': '', 'Z': 'z', 'û': 'u', '{': 'i', '1': 'i', '3': ''}
    for k, v in replacecharacters.items():
        words = [w.replace(k, v) for w in words]
        words = [w translate(str.maketrans(' ', ' ', s.punctuation)) for w in words]  # delete punctuation
        phonemes = [i for i in words]  # separate each 'letter' of each word
        if len(words) != 0:
            with open(file, 'w+') as f1:  # create the par file
                f1.write('LHD: Partitur 1.3.1' + '\n' + 'SAM: ' + frame_rate + '\n' + 'LBD:' + '\n')
            for i, j in enumerate(words):
                char = ''
                for el in phonemes[i]:
                    char += el + ' '
                f1.write('KAN: ' + str(i) + ' ' + char + '\n')  # add KAN level
            for i, j in enumerate(words):
                f1.write('ORT: ' + str(i) + ' ' + j + '\n')  # add ORT level
            compt = 0
            for i, j in enumerate(words_tr2):  # add TR2 level with '\n' for end of sentence
                for k, m in enumerate(words_tr2[i]):
                    if k == len(words_tr2[i]) - 1:
                        m = m + "\\n"
                        f1.write('TR2: ' + str(compt) + ' ' + m + '\n')
                        compt += 1
                    else:
                        f1.write('TR2: ' + str(compt) + ' ' + m + '\n')
                        compt += 1
        return True
    else:
        return False
```

<caption>FIGURE 13 – Fonction create_par(text, file, frame_rate).</caption>

```python
def extract_info_textGrid(textgrid):
    """Extract information from textGrid generate by MAUS"""
    data = {}
    grid = tg.TextGrid(textgrid)  # extract TextGrid
    time = []
    compt = 0
    for item in grid['TR2-MAU']:
        # extract timecodes
        if item.text != "" and '\\n' in item.text and len(time) == 0:
            time.append(item.xmin)
            time.append(item.xmax)
        else:
            if item.text != "" and '\\n' not in item.text and len(time) == 0:
                time.append(item.xmin)
                elif '\\n' in item.text and '.' in item.text:
                    time.append(round(item.xmax, 2))
                elif '\\n' in item.text:
                    time.append(item.xmax)
        if len(time) == 2:
            data[compt] = time
            time = []
            compt += 1
    return data
```

<caption>FIGURE 14 – Fonction extract_info_textGrid(textgrid).</caption>
```python
def add_xml_info(timecode, wav_file, xml_file):
    """Add information for each transcription lines in xml file"""
    tree = etree.parse(xml_file)
    root = tree.getroot()  # lexical resources
    header = root.find('HEADER')
    time_begin = 0
    if header.find('TITLE') is None:  # add information into HEADER
        title = etree.SubElement header, 'TITLE')
        title.text = xml_file.split('/')[7][:-4]
        sound_file = etree.SubElement header, 'SOUNDFILE', href=wav_file)
    identifiant = 0
    has_s = False
    sentences = []
    if root.find('FORM') is not None:  # extract transcription from FORM
        transcript = root.find('FORM')
        trans = list(filter(None, transcript.text.split(\n)))
        identifiant = 0
    else:
        has_s = True
        trans = []
        sentences = root.findall('S')
        for i, j in enumeratesentences:
            if j.find('FORM') is not None:
                identifiant = int(j.attrib['id'][1:])
                time_begin = float(j.find('AUDIO').attr['end'])
            else:
                trans.append(j.text)
        sentences = [el for el in sentences if el.find('FORM') is None]
    for key, value in timecode.items():
        value[0] += time_begin
        value[1] += time_begin
    num = 0
    for i, j in enumerate(trans):  # for each line
        if ==' in j or 'xxxx' in j or '--' in j or '\c' in j or '\b' in j or (
            j.startwith(' ') and j.isdigit() and jforcwith(' ')) or 'khWjNga2' in j:
            nsmap = {"lang": "fr"}
            tag = etree.SubElement(root, "NOTE", nsmap=nsmap, message=j)  # add NOTE element for specific characters
        elif num <len(timecode):  # add timecode until the end
            if 0 <= identifiant < 9:
                if has_s:
                    tag = sentences[i]
                    tag.set('id', 'S00' + str identifiant + 1)
                    tag.text = None
                else:
                    tag = etree.SubElement(root, "S", id='S00' + str identifiant + 1))
            elif 9 <= identifiant < 99:
                if has_s:
                    tag = sentences[i]
                    tag.set('id', 'S0' + str identifiant + 1)
                    tag.text = None
                else:
                    tag = etree.SubElement(root, "S", id='S0' + str identifiant + 1))
            elif 99 <= identifiant < 999:
                if has_s:
                    tag = sentences[i]
                    tag.set('id', 'S' + str identifiant + 1)
                    tag.text = None
                else:
                    tag = etree.SubElement(root, "S", id='S' + str identifiant + 1))
        time = etree.SubElement tag, 'AUDIO', start=str( round( timecode anz][0], 2)),
                                end=str( round( timecode anz][1], 2)))
        form = etree.SubElement( tag, 'FORM', kindOf="phono")
        form.text = j
        num += 1
        identifiant += 1
    else:
        if not has_s:
            tag = etree.SubElement( root, "S")
            tag.text = j
        form = root.find('FORM')
    if form is not None:
        root.remove(form)
    tree.write(xml_file, encoding='utf-8', xml declaration=True)  # create xml file with the new annotations
    dom = xml.dom.minidom.parse(xml_file)  # or xml.dom.minidom.parseString(xml_string)
    pretty_xml_as_string = dom.toprettyxml()  # correctly print xml file
    pretty_xml_as_string = '\n'.join( [line for line in pretty_xml_as_string.split(\n) if line.strip()])
    lines = pretty_xml_as_string.split(\n)
    del lines[1:3]
    lines.insert(1, '<!DOCTYPE TEXT SYSTEM "https://cocoon.huma-num.fr/schemas/Archive.dtd">')
    for k, m in enumerate lin es):
        if '<AUDIO' in m:
            a = m.split(' ')
        if 'end' in a[1]:
            a[1:3] = a[1:3][::-1]
            a[1] = a[1][:-2]
            a[2] = a[2] + '/>'
            lines[k] = '
'.join(a)
    pretty_xml_as_string = '\n'.join lines
    pretty_xml_as_string = pretty_xml_as_string.replace("&quot;", "\"")
    with open(xml_file, "wb") as f:
        f.write(pretty_xml_as_string.encode('utf-8'))
```

<caption>FIGURE 15 – Fonction add_xml_info(timecode, wav_file, xml_file).</caption>
Classification des catégories grammaticales sur deux corpus
longitudinaux d'enfants

Andrea Briglia¹,² Jérémi Savage¹ Giovanni Pirrotta² Massimo Mucciardi²

(1) Université Paul Valéry, Montpellier, France

(2) Université de Messine, Messine, Italie

prenom.nom@univ-montp3.fr, prenom.nom@unime.it

RÉSUMÉ

Cet article analyse deux suivis longitudinaux de deux enfants du projet CoLaJE: une annotation
automatique des parties du discours a été appliquée à chaque énoncé (15'000 en total) en adoptant le
standard des « Universal Dependencies » comme référence et « stanza », un librairie Python, comme
outil d'analyse. L'âge et le taux d'erreur ont servi comme base pour la création de neuf strata:
réduire la dimension du corpus nous permet de rendre intérpretables les groupements crées avec une
méthode non-supervisée, EM clustering. Regrouper en clusters les énoncés des enfants annotés en
parties du discours aide à mieux cibler le développement des catégories grammaticales au cours du
temps: deux exemples concernants le développement de la cohérence morphosintaxique sont
proposés, ainsi que deux exemples concernants l'évolution de la relation entre l'usage de pronoms et
des noms. Une discussion nale des résultats et des limites de cette recherche est ensuite proposée.

ABSTRACT

Classification of grammatical categories in two longitudinal chlidren corpora.
This article analyses two child spoken language longitudinal corpora from the CoLaJE project: a
parts of speech automatic annotation was applied to each sentence (15'000 in total) using «
Universal Dependencies » as a standard of reference and "stanza", a Python library, as an analysis
tool. Age and error rate were used as criteria for the creation of nine strata: reducing the size of the
corpus helps to make more easily interpretable clusters created with EM, an unsupervised method.
Aim of the article is to propose a way to target the development of grammatical categories over
time: two examples concerning the development of morphosintactic coherence are proposed, as well
as two examples concerning the evolution of the relationship between the use of pronouns and
nouns. A final discussion of the preliminary results and limitations of this research is then proposed.

MOTS-CLÉS : corpus d'enfants ; acquisition du français L1 ; développement syntaxique ;
clusterisation EM

<figure><img src="image_14.png" /></figure>
# 1 Objectifs et hypothèse de recherche

Le projet ANR « CoLaJE » (Morgenstern & Parisse, 2012) consiste en sept corpora d'enfants francophones filmés une heure par mois, tous les mois, dès l'âge d'un an jusqu'à environ 5 ans. L'ensemble de données est disponible en libre accès et fait partie de la branche française de CHILDES<fnref n="1" />. Nous avons choisi cette base de données parce que – à ce jour – elle est la plus complète sur les plans qualitatif et quantitatif. Par ailleurs, nous estimons que l'échantillonnage effectué dans la collecte mensuelle des données est conforme aux indications de fiabilité énoncées par Tomasello et Stahl (2004). Chaque corpus a été codé en CHAT et transcrit en pho (ce que l'enfant prononce) et – pour certains corpora dont les deux qu'on utilise en cette étude – mod (ce que l'enfant aurait dû prononcer selon la norme de prononciation standard), ce qui nous permet d'uniformiser les données phonétique/phonologiques, de les contextualiser pour mieux les interpréter et, enfin, de pouvoir y appliquer des traitements automatiques.

Dans la présente contribution, nous nous focalisons sur les corpora d'« Adrien » et « Madeleine » car ils sont les plus complets : nous avons extrait chaque ligne en format .csv, ensuite nous avons choisi de commencer par la transcription no 8 (1an 11mois; 14jours) pour Adrien et la no 3² (1;01;10) pour Madeleine, puisque pour les précédentes il était difficile de distinguer entre les mots et les simples suites de syllabes correspondantes à l'étape du « babillage canonique » et du « babillage diversifié » dans le développement de la production de la parole du jeune enfant (Sauvage, 2015). Nous avons au total 26 enregistrements et 8214 énoncés pour Adrien et 25 enregistrements et 7168 énoncés pour Madeleine. Nous avons choisi le « Universal Dependencies » (de Marneffe et al., 2006, 2008, 2014) comme modèle de référence d'analyse du langage en parties du discours, principalement parce que nous avions déjà eu recours à ce modèle (Briglia et al., 2020). Ce choix nous a conduit à adopter "stanza", un outil d'analyse du langage majoritairement entraîné en utilisant les UD. « stanza » est une des bibliothèques de TAL disponible en langage Python, développée par l'Université de Stanford: puisque le système d'annotation automatique ne reconnaît pas les caractères spéciaux de l'API (Alphabet Phonétique International), nous l'avons appliqué sur le tiers CHI (transcription orthographique): ce choix implique une forte confiance envers l'interprétation des transcripteurs : il est néanmoins possible de consulter – énoncé par énoncé – toutes les différences entre CHI – pho –mod. La qualité de l'annotation produite par « stanza » est élevée et, pour la plupart des tâches, son score est meilleur que celui de ses concurrents (e.g UDPipe, spaCy), comme le montre le tableau numéro 2 « Neural pipeline performance comparisons on the Universal Dependencies (v2.5) test treebanks» (Qi et al., 2020).

Puisque le langage de l'enfant se caractérise par une forte variabilité et reste imprévisible à court et moyen termes et puisque UD et « stanza » ont été conçus pour le langage des adultes, il nous a

<footnote n="1">¹ https://childes.talkbank.org/access/French/</footnote>

<footnote n="2">² https://ct3.ortolang.fr/data/colaje/madeleine/; https://ct3.ortolang.fr/data/colaje/adrien/</footnote>
semblé nécessaire d'opérer un contrôle manuel de quatre-vingts énoncés pour chaque enfant (ce qui représente environ 1% du total) équitablement répartis au fil du temps, afin de comprendre l'effective fiabilité de l'outil pour cette application. Nous avons remarqué que certaines répétitions du même mot - typiques lorsque l'enfant cherche de cibler l'apprentissage d'un mot donné – étaient parfois codés comme NOUN – ADJ, alors qu'il s'agissait soit de deux noms communs, soit de deux adjectives (par exemple, l'énoncé « des grands grands arbres » était codé comme « DET-ADJ-NOUN-NOUN »), « ouais » était codé comme SYM et, de façon plus générale, les nombreuses exclamations des enfants (par exemple « ah ! », « oh ») ou des surnoms comme « papi » ou « mémé » étaient codés différemment selon leur contexte. Mais ces exceptions sont tout à fait faciles à comprendre dans leur contexte et, en tout cas, ne représentent qu'un faible pourcentage du total des productions. En fait, pour effectuer une analyse syntaxique pertinente sur un corpus longitudinal d'enfant il est indispensable de comprendre avant tout si ce que l'enfant dit – que ce soit au niveau phonétique/phonologique ou syntaxique - est conforme ou non aux normes linguistiques des adultes ou pas. C'est pourquoi nous nous sommes appuyés sur une précédente étude où le SPVR (Sentence Phonetic Variation Rate) avait été calculé (Briglia A. et al., 2020). Le taux obtenu sera le résultat d'une comparaison entre les tiers « pho » et « mod » : pour ce faire, nous avons mis en place un algorithme indiquant si le premier est équivalent au deuxième ou non, en donnant comme réponse 0 ou 1 et la distance de Levenshtein relative.

## 1.1 Corpus recueilli et méthodologie d'analyse

Notre but est de fournir un outil d'évaluation du développement de la syntaxe basé sur des associations et des distributions. Afin de savoir comment les catégories syntaxiques évoluent pendant le temps et le taux d'erreur de ces dernières, nous divisons l'ensemble des données en 9 strata (LL, LM, LH, ML, MM, MH, HL, HM, HH) selon trois classes temporelles successives (représentées par la première lettre) et trois classes d'erreur (représentée par la deuxième lettre). Par exemple, LL veut dire que le strata représente la première tranche d'âge et le taux d'erreur le plus bas (c'est-à-dire Low < 33.3%).

<table><caption>Figure 1: Madeleine</caption><thead><tr><td>code</td><td>STRATA</td><td>TIME (age)</td><td>SPVR</td></tr></thead><tbody><tr><td>1</td><td>LL</td><td>1.01 - 2.09</td><td>&lt;=33%</td></tr><tr><td>2</td><td>LM</td><td>1.01 - 2.09</td><td>&gt;33% and &lt;=66%</td></tr><tr><td>3</td><td>LH</td><td>1.01 - 2.09</td><td>&gt;66%</td></tr><tr><td>4</td><td>ML</td><td>2.10 - 2.61</td><td>&lt;=33%</td></tr><tr><td>5</td><td>MM</td><td>2.10 - 2.61</td><td>&gt;33% and &lt;=66%</td></tr><tr><td>6</td><td>MH</td><td>2.10 - 2.61</td><td>&gt;66%</td></tr><tr><td>7</td><td>HL</td><td>2.70 - 3.53</td><td>&lt;=33%</td></tr><tr><td>8</td><td>HM</td><td>2.70 - 3.53</td><td>&gt;33% and &lt;=66%</td></tr><tr><td>9</td><td>HH</td><td>2.70 - 3.53</td><td>&gt;66%</td></tr></tbody></table>
<table><caption>Figure 2: Adrien</caption><thead><tr><td>code</td><td>STRATA</td><td>TIME (age)</td><td>SPVR</td></tr></thead><tbody><tr><td>1</td><td>LL</td><td>1.97 - 2.64</td><td>&lt;=33%</td></tr><tr><td>2</td><td>LM</td><td>1.97 - 2.64</td><td>&gt;33% and &lt;=66%</td></tr><tr><td>3</td><td>LH</td><td>1.97 - 2.64</td><td>&gt;66%</td></tr><tr><td>4</td><td>ML</td><td>2.71 - 3.39</td><td>&lt;=33%</td></tr><tr><td>5</td><td>MM</td><td>2.71 - 3.39</td><td>&gt;33% and &lt;=66%</td></tr><tr><td>6</td><td>MH</td><td>2.71 - 3.39</td><td>&gt;66%</td></tr><tr><td>7</td><td>HL</td><td>3.46 - 4.33</td><td>&lt;=33%</td></tr><tr><td>8</td><td>HM</td><td>3.46 - 4.33</td><td>&gt;33% and &lt;=66%</td></tr><tr><td>9</td><td>HH</td><td>3.46 - 4.33</td><td>&gt;66%</td></tr></tbody></table>

Ainsi, nous voyons que la 1ère tranche d'âge représente le parcours de Madeleine à partir de l'âge d'un an jusqu'à deux ans et 1 mois. Cette tranche compte 12 enregistrements, pour un total de 1956 énoncés analysés. La 2ème tranche d'âge est constituée de 6 enregistrements (c'est-à-dire six mois consécutifs) et 2765 énoncés. Enfin, la 3ème et dernière tranche d'âge est composée de 7 enregistrements et 2447 énoncés. La première tranche compte deux fois plus d'enregistrements que les suivantes parce que l'enfant à cet âge parle très peu et la quasi-totalité de ce qu'il dit sont des mots isolés (il s'agit du stade « holophrastique » de son développement syntaxique, où un mot comme « eau » peut vouloir signifier un énoncé entier comme « je veux boire »). Les six premiers enregistrements ne comptent que 66 énoncés, alors que le 7ème enregistrement (1 an et six mois) en compte 187. En effet, à partir de 18 mois et jusqu'à 30 mois on assiste à une période d'explosion lexicale où l'enfant va apprendre plusieurs mots par jour. En particulier, de 18 mois à 24 mois l'enfant développe un lexique de plus en plus riche mais qui n'arrive pas encore à combiner au niveau syntaxique (on parle de langage « télégraphique », d'une syntaxe construite autour d'un mot pivot, par exemple dans les énoncés à deux mots), alors qu'à partir de 24 mois jusqu'à 36 mois on assiste au développement de la grammaire, avec une phase dite d'« explosion grammaticale » à partir de 30 mois environ (Sekali M., 2012).

Pour la première tranche d'âge d'Adrien, on compte 1709 énoncés repartis en 9 enregistrements, pour la 2ème tranche d'âge on compte 2623 énoncés en 9 enregistrements et la 3ème tranche compte 3882 énoncés en 8 enregistrements. Nous obtenons donc un total de 25 enregistrements et 7168 énoncés pour Madeleine, et 27 enregistrements et 8214 énoncés pour Adrien. C'est en cherchant un équilibre entre les étapes du développement et les enregistrements disponibles que nous avons choisi de diviser en trois parties le nombre total d'enregistrement des deux enfants pour mieux organiser l'analyse. On peut remarquer que les enregistrements d'Adrien commencent à presque deux ans et que les transcriptions en tier « mod » se terminent pour Madeleine à l'âge de 3;5 ans alors que pour Adrien elles continuent jusqu'à l'âge de 4;4 ans : nous avons ainsi choisi de décaler le début d'analyse pour Adrien, ce qui nous a permis d'obtenir des tranches temporelles plus proches et, en conséquence, plus comparables.

Il reste une différence remarquable entre le développement langagier des deux enfants : celui d'Adrien pourrait être considéré comme normé, alors que celui de Madeleine est sans doute plus
rapide que la moyenne (Morgenstern & Parisse, 2012). De façon plus générale, il est couramment
accepté que les filles parlent souvent mieux que les garçons à un même âge, que ce soit au niveau
qualité ou quantité de parole. Mais ces derniers rattrapent cet écart entre 4 et 6 ans. Pour résumer,
nous montrerons de façon simplifiée l'évolution du nombre des mots par énoncé et l'évolution du
nombre de mots différents par énoncé ci-dessous (en bleu Madeleine et en rouge Adrien). Ensuite,
nous discuterons si l'analyse en clusters conduite avec EM peut être mise en relation avec ces
graphes. Il faut se rappeler que dans ces graphes les trois points temporels sur les abscisses
représentent un décalage de presque un an: malgré elle soit plus jeune, Madeleine montre un
meilleur développement, donc si les deux lignes auraient été temporellement alignées, l'écart aurait
été majeur (ce qui est conforme aux résultats de l'étude principale sur ce corpus par Morgenstern &
Parisse, 2012).

<figure><img src="image_15.png" /><figcaption>Figure 3</figcaption></figure>

<figure><img src="image_16.png" /><figcaption>Figure 4</figcaption></figure>

## 1.2 Traitement automatique

Nous calculons le F (Fisher) et le p-value relatif pour chaque partie du discours (POS tag) en
supposant que la distribution des occurrences discrètes sous-jacente est de type Poisson (nous
avions d'abord essayé avec une distribution de type Gauss mais sans résultat convaincant). Ensuite
le nombre d'énoncés est divisé en plusieurs groupes grâce à la méthode non-supervisée EM
(Expectation Maximization). Nous avons choisi cette méthode parmi d'autres parce qu'elle s'adapte
bien, selon nous, à la quantité et à la typologie de nos données. Son fonctionnement est le suivant :
le nombre optimal de groupes est obtenu en suivant les deux étapes d'un algorithme itératif qui
termine son calcul lorsque l'ajout ultérieur d'un groupe aboutit à une amélioration négligeable dans
la fonction de vraisemblance logarithmique (le seuil a été fixé à 5% de la vraisemblance à n-1). En
sélectionnant les parties du discours plus significatives pour les regroupements, EM est influencé en
amont par une distinction fondamentale entre les classes ouvertes (ADJ, ADV, INTJ, NOUN, PROPN, VERB) et les classes fermées (ADP, AUX, CCONJ, DET, NUM, PART, PRON, SCONJ) : les premières contiennent beaucoup plus d'éléments que les deuxièmes, pour lesquelles le nombre est fixé. Pourtant, la fréquence entre les deux classes ne varie pas autant, ce qui est confirmé dans le développement de la parole (voir les valeurs des variables mean associées à chauqe POS tag dans les tableaux ci-dessous). Toute étude concernant la distribution des fréquences des mots et leurs interactions devrait en fait garder à l'esprit l'importance de l'équilibre entre syntaxe et sémantique comme principe organisateur du langage (Zipf, 1949 ; Lestrade, 2017).

## 1.3 Résultats préliminaires

La cohérence morphosyntaxique est plus élevée dans les clusters en HL, HM par rapport à ceux dans les couches L et M, ce qui est conforme aux résultats d'une étude précédente (Parisse et al., 2010). On peut remarquer que les parties du discours PRON, VERB, SCONJ – qui pourraient être considérées comme marqueurs des phrases plus longues – augmentent leur importance (voir la variable mean) au fil du temps, il est également à noter que les groupes qui reconnaissent des énoncés syntaxiquement proches font aussi partie des classes d'erreurs et d'âge différentes, par exemple, dan le cas d'Adrien:

2452 escargot tout chaud

ɛskaŋgo tu ʃo

didago to so

En MH

6746 une souris verte

yn suβi vɛβtə

yn tsoji vatə

En HH On peut ensuite noter comme le NOUN et le PROPN – qui indiquent une personne ou une chose concrète et sont souvent utilisés dans le même contexte de la parole adulte (répétition du langage adressé à l'enfant) – sont au fur et à mesure remplacés par PRON (une catégorie grammaticale plus abstraite pour indiquer choses et personnes) en termes du nombre relatif d'occurrence (réf aux tableaux 1 et 2). L'âge à laquelle ce changement devient visible est environ 3 ans et correspond à l'âge individuée dans des études précédentes sur le développement de la capacité de produire des énoncés en forme transitive à partir des énoncés en forme intransitive (Childers & Tomasello, 2001). Par exemple, dans le cas d'Adrien,
1973 sait pas faire maman

sɛ pa fɛːv mamã̃

te ta pa mamã̃

2915 est caché papa

ɛ kafɛ papa

e kaːcɛ papa

3674 il peut pas ouvrir la porte

i pɔː pa uvːkiːv la pɔːt

i pu pa uvij a pɔːt

En MH, on peut remarquer le manque du pronom « je », alors que à l'âge 3_09_09 dans cet énoncé les pronoms sont bien utilisés

5339 moi j' aime plutôt celle-ci maman elle aime plutôt celle-ci

mwa ʒɛm plyto sɛlsi mamã̃ ɛl ɛm plyto sɛlsi

mwa zem pyto sɛsi mamã̃ ɛl øm pytosɛti

En observant la valeur de la variable « mean », on peut remarquer comme la valeur de PRON augmente au fil du temps en dépit de la valeur de NOUN : chez Madeleine ce développement est plus rapide que chez Adrien.

Madeleine présente un développement plus ordonné puisque dans les mêmes trois strata considérés pour Adrien, EM arrive dans ce cas à identifier la structure syntaxique la plus basique : sujet (ou pronom) – verbe. Les énoncés de Madeleine présentent constamment plus VERB and AUX que celles d'Adrien, sauf pour le troisième strata : ce qui colle avec les graphes montrés en Figure 3 et 4, où nous pouvons remarquer que les énoncés de la petite fille sont à la fois plus longs et lexicalement plus riches.

Par exemple, en HL, énoncé 186, cluster 2

euh ça je sais pas comment l'ouvrir

ø sa ʒə sɛ pa komã̃ luvːkiːv

œ sa ʒə sɛ pa komã̃ luvːkiːv

On peut remarquer comment le dernier strata HL de Adrien ressemble à celui de Madeleine : on en pourrait déduire que lorsque les quatre premières parties du discours classées comme plus significatives par EM contiennent NOUN, PRON, VERB et AUX alors l'enfant devrait présenter des énoncés syntaxiquement conformes à la norme adulte.
<table><caption>Tableau 1: Adrien</caption><thead><tr><th colspan="3">STRATA LL</th><th colspan="3">STRATA ML</th><th colspan="3">STRATA HL</th></tr><tr><th>POSelo</th><th>Mean</th><th># sentences</th><th>POSelo</th><th>Mean</th><th># sentences</th><th>POSelo</th><th>Mean</th><th># sentences</th></tr></thead><tbody><tr><td>INTJ</td><td>0,126</td><td>611</td><td>CCONJ</td><td>0,048</td><td>851</td><td>PRON</td><td>1,157</td><td>1762</td></tr><tr><td>DET</td><td>0,095</td><td>611</td><td>PRON</td><td>0,133</td><td>851</td><td>DET</td><td>0,321</td><td>1762</td></tr><tr><td>ADP</td><td>0,013</td><td>611</td><td>NOUN</td><td>0,220</td><td>851</td><td>VERB</td><td>0,788</td><td>1762</td></tr><tr><td>NOUN</td><td>0,468</td><td>611</td><td>AUX</td><td>0,052</td><td>851</td><td>NOUN</td><td>0,419</td><td>1762</td></tr><tr><td>SYM</td><td>0,023</td><td>611</td><td>VERB</td><td>0,157</td><td>851</td><td>SCONJ</td><td>0,149</td><td>1762</td></tr><tr><td>ADV</td><td>0,563</td><td>611</td><td>NUM</td><td>0,035</td><td>851</td><td>ADP</td><td>0,230</td><td>1762</td></tr><tr><td>PROPN</td><td>0,016</td><td>611</td><td>SYM</td><td>0,020</td><td>851</td><td>AUX</td><td>0,208</td><td>1762</td></tr><tr><td>PRON</td><td>0,025</td><td>611</td><td>ADV</td><td>0,828</td><td>851</td><td>ADV</td><td>0,727</td><td>1762</td></tr><tr><td>VERB</td><td>0,023</td><td>611</td><td>DET</td><td>0,086</td><td>851</td><td>ADJ</td><td>0,091</td><td>1762</td></tr><tr><td>X</td><td>0,020</td><td>611</td><td>PROPN</td><td>0,029</td><td>851</td><td>CCONJ</td><td>0,120</td><td>1762</td></tr><tr><td>CCONJ</td><td>0,023</td><td>611</td><td>ADP</td><td>0,034</td><td>851</td><td>SYM</td><td>0,022</td><td>1762</td></tr><tr><td>SCONJ</td><td>0,011</td><td>611</td><td>X</td><td>0,026</td><td>851</td><td>NUM</td><td>0,085</td><td>1762</td></tr><tr><td>AUX</td><td>0,007</td><td>611</td><td>INTJ</td><td>0,176</td><td>851</td><td>X</td><td>0,018</td><td>1762</td></tr><tr><td>NUM</td><td>0,103</td><td>611</td><td>ADJ</td><td>0,012</td><td>851</td><td>PROPN</td><td>0,033</td><td>1762</td></tr><tr><td>ADJ</td><td>0,000</td><td>611</td><td>SCONJ</td><td>0,011</td><td>851</td><td>INTJ</td><td>0,162</td><td>1762</td></tr></tbody></table>

<table><caption>Tableau 2: Madeleine</caption><thead><tr><th colspan="3">STRATA LL</th><th colspan="3">STRATA ML</th><th colspan="3">STRATA HL</th></tr><tr><th>POSelo</th><th>Mean</th><th># sentences</th><th>POSelo</th><th>Mean</th><th># sentences</th><th>POSelo</th><th>Mean</th><th># sentences</th></tr></thead><tbody><tr><td>NOUN</td><td>0,73</td><td>707</td><td>X</td><td>0,12</td><td>1452</td><td>NOUN</td><td>0,68</td><td>1171</td></tr><tr><td>VERB</td><td>0,38</td><td>707</td><td>NOUN</td><td>0,61</td><td>1452</td><td>PRON</td><td>0,95</td><td>1171</td></tr><tr><td>PRON</td><td>0,27</td><td>707</td><td>DET</td><td>0,45</td><td>1452</td><td>DET</td><td>0,53</td><td>1171</td></tr><tr><td>DET</td><td>0,28</td><td>707</td><td>VERB</td><td>0,70</td><td>1452</td><td>X</td><td>0,14</td><td>1171</td></tr><tr><td>ADP</td><td>0,16</td><td>707</td><td>PRON</td><td>0,81</td><td>1452</td><td>VERB</td><td>0,85</td><td>1171</td></tr><tr><td>X</td><td>0,07</td><td>707</td><td>AUX</td><td>0,20</td><td>1452</td><td>ADP</td><td>0,41</td><td>1171</td></tr><tr><td>AUX</td><td>0,04</td><td>707</td><td>ADV</td><td>0,60</td><td>1452</td><td>AUX</td><td>0,20</td><td>1171</td></tr><tr><td>ADV</td><td>0,34</td><td>707</td><td>ADP</td><td>0,30</td><td>1452</td><td>SCONJ</td><td>0,13</td><td>1171</td></tr><tr><td>NUM</td><td>0,03</td><td>707</td><td>SCONJ</td><td>0,07</td><td>1452</td><td>CCONJ</td><td>0,16</td><td>1171</td></tr><tr><td>SYM</td><td>0,02</td><td>707</td><td>ADJ</td><td>0,10</td><td>1452</td><td>ADV</td><td>0,55</td><td>1171</td></tr><tr><td>SCONJ</td><td>0,01</td><td>707</td><td>CCONJ</td><td>0,10</td><td>1452</td><td>PROPN</td><td>0,05</td><td>1171</td></tr><tr><td>ADJ</td><td>0,04</td><td>707</td><td>NUM</td><td>0,09</td><td>1452</td><td>NUM</td><td>0,12</td><td>1171</td></tr><tr><td>PROPN</td><td>0,04</td><td>707</td><td>PROPN</td><td>0,05</td><td>1452</td><td>INTJ</td><td>0,16</td><td>1171</td></tr><tr><td>CCONJ</td><td>0,02</td><td>707</td><td>SYM</td><td>0,01</td><td>1452</td><td>SYM</td><td>0,02</td><td>1171</td></tr><tr><td>INTJ</td><td>0,09</td><td>707</td><td>INTJ</td><td>0,08</td><td>1452</td><td>ADJ</td><td>0,11</td><td>1171</td></tr></tbody></table>

Pour conclure, le regroupement en clusters pourrait être une façon d'améliorer la compréhension du développement de la syntaxe en proposant une meilleure visualisation de comment une partie du discours évolue dans le temps.

La prochaine étape de ce travail sera d'appliquer cette étude aux autres enfants du projet CoLaJE dans le but de vérifier si les généralisations proposées dans cet article puissent être confirmées pour le développement des autres enfants.
Références

Briglia A., Mucciardi M., Sauvage J. (2020). « Identifying the speech code through statistics: a data-
driven approach ».

Childers J., Tomasello M. (2001). « The Role of Pronouns in Young Children's Acquisition of the English Transitive Construction » Developmental Psychology, Vol. 37. No. 6, 739-748.

Dempster A.P., Laird N.M., Rubin D.B. (1977). « Maximum likelihood from incomplete data via the EM algorithm ». Journal of the Royal Statistical Society. Series B: Methodological 39: 1-38.

Lestrade S. (2017). « Unzipping Zipf's law » . PLoS ONE 12(8).

MacWhinney B. (2000). « The CHILDES project: Tools for analyzing talk. 3rd edition ». Mahwah,
NJ: Lawrence Erlbaum Associates

Morgenstern A., Parisse C. (2012). « The Paris corpus ». Journal of French language studies
/Volume 22/ Special Issue. 7-12. Cambridge University Press
(https://www.ortolang.fr/market/corpora/colaje)

Morgenstern A., Sekali M. « What can child language tell us about prepositions? ». Jordan Zlatev,
Marlene Johansson

Falck, Carita Lundmark and Mats Andr'en. Studies in Language and Cognition, Cambridge Scholars Publishing, 261-275

Parisse C., Le Normand M. T. (2000) « How children build their morphosyntax: The case of French ».
*Journal of Child Language*, Cambridge University Press (CUP), 27, 267-292.

Qi P., Zhang Y., Bolton J., Manning C. D. (2020). « Stanza: A Python Natural Language Processing Toolkit for Many Human Languages ». Association for Computational Linguistics (ACL) System Demonstrations.

Sauvage J. (2015). L'acquisition du langage. Un système complexe. Louvain-la-Neuve : Academia.

Sekali M. (2012). « First language acquisition of French grammar (from 10 months to 4 years old) ». French Language Studies 22, 1-6.

Tomasello M., Stahl, D. (2004). « Sampling children’s spontaneous speech: How much is enough? »
*Journal of Child Language*, 31:101–121.
# Création d'un corpus FAIR de théâtre en alsacien et normalisation de variétés non-contemporaines

Pablo Ruiz Fabo Delphine Bernhard Carole Werner

Université de Strasbourg, LiLPa UR 1339, 67000 Strasbourg, France

{ruizfabo,dbernhard,wernerc@unistra.fr}

## RÉSUMÉ

Nous présentons des travaux en cours vers la création d'un corpus diachronique de pièces de théâtre en alsacien pour la période 1870-1940, publiquement disponible, encodé selon les recommandations de la Text Encoding Initiative (TEI) et suivant les principes FAIR pour la création de données de la recherche. Le corpus sera utile aux recherches en sociolinguistique historique et analyse dramatique. Nous décrivons le travail effectué en vue des pratiques FAIR et introduisons des questions de recherche en modélisation TEI de variables pertinentes pour l'analyse linguistique et dramatique. De façon générale, la création du corpus est un exemple des difficultés du travail avec les langues peu dotées. Particulièrement, le corpus présente de l'alternance codique et d'énormes défis pour l'identification automatique des variantes orthographiques, sur lesquels nous aimerions échanger avec la communauté.

## ABSTRACT

### Creating a FAIR corpus of Alsatian theater and orthographic normalization of non-contemporary varieties

We present work in progress towards creating a diachronic corpus of theater plays in Alsatian. The corpus is publicly available under an open license, encoded according to the Text Encoding Initiative (TEI) guidelines and strives to follow FAIR principles for scholarly data development. We describe our work towards FAIR practices and introduce research questions on the TEI modeling of variables relevant for sociolinguistic and drama analysis. This corpus creation effort exemplifies difficulties related to working with low-resource languages. The corpus shows code-switching and huge challenges for the automatic identification of orthographical variants, which we would like to discuss with the community.

**MOTS-CLÉS** : corpus, variation, alternance codique, langues peu dotées, TEI, théâtre alsacien.

**KEYWORDS**: corpus, variation, code-switching, under-resourced languages, TEI, Alsatian theater.

## 1 Introduction

Le projet MeThAL, « Vers une macroanalyse du théâtre en alsacien¹ », est en train de créer un corpus encodé en TEI (TEI Consortium, 2020) de pièces de théâtre en alsacien pour la période 1870-1940²;

1. Site du projet : https://methal.pages.unistra.fr/

2. Entre 1871 et 1918, l'Alsace est politiquement rattachée à l'Empire allemand. Le besoin d'auto-détermination des Alsaciens « par rapport au reste du monde allemand » (Huck et al., 2007, 12) passera notamment par le théâtre alsacien et la mise en scène et création de l'Alsace. La date-borne supérieure correspond à l'annexion de l'Alsace au IIIe Reich.
la pièce fondatrice du théâtre dialectal en alsacien, le *Pfingstmontag* de J. G. Arnold (1816), fait également partie du corpus du fait de son importance et son influence dans les pièces plus récentes. Un volume de 50 pièces ou 400 000 tokens est visé. Le corpus est public <fnref n="3" /> et suit des principes FAIR ou *Findable, Accessible, Interoperable, Reusable* (Wilkinson *et al.*, 2016). Dans la mesure où le corpus permet de documenter les pratiques langagières de son époque, il aidera à examiner des questions de sociolinguistique historique de l'Alsace (cf. Huck *et al.*, 2007; Huck, 2015). L'encodage permettra une analyse des types de personnages et de la variation linguistique telle que représentée dans leurs paroles selon leur âge, sexe, statut social ou origine, et facilitera aussi l'étude d'aspects formels de la technique dramatique.

Nous présentons des travaux en cours sur la modélisation des données et sur l'identification de variantes orthographiques, nécessaire à cause de l'énorme variabilité dans la représentation écrite de l'alsacien. Des questionnements se posent concernant la création de données linguistiques ouvertes, l'encodage de ressources multilingues qui présentent de l'alternance codique et les méthodes de traitement des langues peu dotées, notamment sur l'identification de variantes orthographiques dans un contexte de ressources linguistiques limitées.

L'article est structuré comme suit : La section 2 présente notre procédure d'encodage TEI et démarche FAIR et nos questionnements autour de la modélisation de variables sociales décrivant les personnages. La section 3 décrit le degré de variation orthographique présent dans le corpus (3.1) ainsi que des cas d'alternance codique (3.2). La section 4 aborde la question de l'identification automatique des variantes dans ce type de corpus.

# 2 Modélisation et FAIRisation des données

Cette section décrit nos sources, notre procédure d'encodage TEI et nos efforts d'adoption des principes FAIR. La modélisation des descripteurs socio-économiques des personnages est ensuite abordée, ainsi que des possibilités d'encodage TEI de la variation orthographique et de l'alternance codique.

## 2.1 Sources du corpus

La source principale du corpus est une collection représentative d'environ 150 pièces en alsacien numérisées en 2019 par la Bibliothèque nationale et universitaire (Bnu) à Strasbourg <fnref n="4" />. C'est une ressource électronique fondamentale mais qui demande des améliorations afin de faciliter la recherche linguistique et littéraire : les pièces sont disponibles comme des fichiers d'image, sans balisage, et sans OCR pour la plupart. Nous avons sélectionné un sous-ensemble des pièces visant la variété d'époques et de sous-genres dramatiques <fnref n="5" /> et nous avons commencé son océrisation et encodage TEI.

<footnote n="3">3. Le corpus est mis à jour graduellement sur https://git.unistra.fr/methal/methal-sources</footnote>

<footnote n="4">4. Voir https://numistral.fr/fr/theatre-alsacien (lien [Découvrir](https://dracor.org/als) pour explorer la collection)</footnote>

<footnote n="5">5. Le rendu sur *Drama Corpora* de nos pièces encodées en donne un aperçu : https://dracor.org/als</footnote>
## 2.2 Procédure d'encodage TEI

Le standard TEI permet la modélisation d'éléments d'analyse dramatique ainsi que de phénomènes linguistiques comme la variation et l'alternance codique. Après océrisation et validation manuelle du texte reconnu, notre encodage TEI s'effectue par une transformation automatique d'une sortie hOCR<fnref n="6" /> de Tesseract<fnref n="7" />. Des indices typographiques et de mise en page dans cette sortie reflètent les divisions en acte et scène, répliques et didascalies. Le format est plus variable pour les listes de personnages et les pages de titre, qui fournissent des renseignements essentiels pour les analyses sociolinguistiques et thématiques, ainsi que pour les métadonnées bibliographiques. Afin de gérer ces contenus, nous les avons transcrits manuellement dans une base de données. Nos scripts d'encodage fusionnent ces informations avec la sortie hOCR pour créer les versions TEI. La figure 1 présente la chaîne de traitement.

Notre automatisation de l'encodage TEI repose sur des règles de transformation créées manuellement. Nous voudrions à l'avenir évaluer l'applicabilité de méthodes d'apprentissage automatique, en nous inspirant des travaux de Khemakhem *et al.* (2017, 2018) pour l'encodage TEI de dictionnaires avec des CRF (champs aléatoires conditionnels), qui exploitent la typographie et la mise en page pour la prédiction de la structure TEI. Il serait pertinent de comparer la productivité permise par une telle approche et par notre chaîne de traitement actuelle.

<figure><img src="image_17.png" /><figcaption>FIGURE 1 – Chaîne de traitement</figcaption></figure>

<footnote n="6">6. Pour le standard hOCR, voir http://kba.cloud/hocr-spec/1.2/</footnote>

<footnote n="7">7. https://github.com/tesseract-ocr/tesseract</footnote>
## 2.3 FAIRisation

Nous visons la création d'un corpus FAIR. Nous avons travaillé sur son interoperabilité et réutilisabilité, et entrepris de premiers pas vers la trouvabilité et accessibilité. Ont contribué à l'interoperabilité l'adoption du standard TEI et l'utilisation d'identificateurs Wikidata pour les pièces et les auteurs, incluant notre création des nouvelles entités Wikidata nécessaires<fnref n="8" />. Concernant la réutilisabilité, chaque pièce est publiée sous une licence ouverte. Pour promouvoir la transparence du processus de prétraitement et d'encodage, les scripts et ressources créés pour traiter chaque pièce, ainsi qu'un wiki pour documenter nos pratiques, sont publiés sur nos dépôts git<fnref n="9" />.

Le corpus a des métadonnées riches, en accord avec les requis FAIR pour la trouvabilité des ressources (Wilkinson et al., 2016, 4). Or, il manque à ce jour des identificateurs persistants (DOI ou semblables). Deux options seront considérées dans ce sens : le service d'exposition de données Nakala (Huma-Num, 2020) et le service TEI2Zenodo (Wagner, 2020). C'est aussi par le biais d'une plate-forme d'exposition de données que le corpus sera rendu conforme au critère FAIR d'accessibilité, qui met l'emphase sur l'accès aux données et métadonnées par des programmes informatiques, avec des protocoles de communication standard. Une accessibilité dans un sens moins technique est déjà garantie car le corpus est disponible sur GitLab et sur la plate-forme DraCor⁵ (Fischer et Börner, 2019). Celle-ci permet, profitant du balisage TEI, l'accès programmatique à des éléments structurels des pièces (p. ex. toutes les répliques par des femmes ou toutes les didascalies) via une API HTTP.

## 2.4 Encodage de la variation orthographique et de l'alternance codique

Le corpus doit permettre la comparaison du contenu des pièces, de sorte à faciliter l'analyse de tendances dans les sujets abordés selon diverses variables. À cette fin, la variation orthographique des pièces (voir section 3 pour des exemples) doit être neutralisée ; l'identification automatique des variantes d'un même lexème<fnref n="10" /> est un vrai défi, discuté dans la section 4.

Une fois le lexème identifié, la TEI propose des façons naturelles d'encoder la relation entre la variante et son lexème. Une option serait de créer des identificateurs uniques pour les lexèmes du corpus et les donner dans un attribut @xml: id. Une autre option serait d'effectuer une normalisation des variantes vers un norme concrète et d'utiliser un élément <choice> dont les fils <orig> et <reg> contiendront la variante originale et normalisée respectivement.

Concernant l'alternance codique, un encodage de base consiste à créer des éléments <seg> avec un attribut @xml: lang pour le code de la langue de la séquence ; nous avons déjà utilisé cette option dans l'encodage de *D'r Poetisch Oscar* par Marie Hart :

```xml
<sp who="#oscar">
  <speaker>OSCAR:</speaker>
  <p>Un Sie han m'r wieder d'rzue verholfe, Madame Lewermann, Sie ellein verstehn min poetisch Empfinde.</p>
  <seg xml:lang="fre">Vous êtes ma muse</seg>.</p>
</sp>
```

<footnote n="8">8. Nous avons travaillé sur un sous-ensemble des entités montrées par cette [requête SPARQL] sur Wikidata.</footnote>

<footnote n="9">9. Pour scripts/ressources, voir le dossier [work] du dépôt.</footnote>

<footnote n="10">10. Suivant Bernhard (2014), nous utilisons lexème dans le sens de lexeme chez Bauer (2003) : Un mot du dictionnaire ; une unité abstraite du vocabulaire, réalisée par des mot-formes représentant le lexème et sa morphologie flexionnelle. Une des formes est choisie par convention afin de nommer le lexème dans une entrée de dictionnaire ou ouvrage similaire.</footnote>
## 2.5 Modélisation des descripteurs sociaux des personnages

Une question de modélisation qui se pose avec le corpus concerne la formalisation des variables sociales qui décrivent les personnages et les relations entre eux ; il s'agit d'attributs des personnages pertinents pour l'analyse linguistique et dramatique. Des typologies pour modéliser les personnages, formalisables en TEI, existent déjà (Galleron, 2017). Or, elles peuvent être complétées concernant la description des professions des personnages. Nous avons commencé à développer une typologie multilingue de professions avec des termes en alsacien, français et allemand (langues des professions dans les listes de personnages du corpus) ainsi qu'en anglais, car notre recherche cible un public intéressé aux langues régionales mais qui ne maîtrise pas forcément l'alsacien, et souvent anglophone. Une question de recherche est de savoir comment représenter la typologie de façon à faciliter l'interopérabilité et son intégration dans l'encodage TEI. Tant les « feature structures » (hiérarchies de caractéristiques) proposées par Galleron que le formalisme sur la base d'attributs RDFa (un format web sémantique) intégrés dans la TEI (Ruiz Fabo et al., 2020) peuvent être considérés.

# 3 Variation et alternance codique

Le corpus présente une énorme variabilité orthographique. À ceci s'ajoute l'alternance codique entre alsacien, allemand et français. Cette section montre des exemples de chaque phénomène, qui donnent une indication des défis que pose le corpus pour des tâches de TAL comme l'identification de variantes orthographiques.

## 3.1 Variation

Les parlers dialectaux d'Alsace sont caractérisés par une grande variation à l'oral, qui se traduit par autant de variation à l'écrit. Dans les pièces de théâtre, la variation dans la scripturalisation dépend de la variété dans laquelle s'exprime le dramaturge, mais aussi des variations 'internes' à la pièce, c'est-à-dire relatives aux personnages, en fonction de leur origine géographique et partant, sociale. On peut citer comme cas d'école le discours prêté aux personnages présents dans le *Pfingstmontag* (1816) de J.G. Arnold, première pièce de théâtre en alsacien, dont le but est de « dresser un petit monument linguistique alsacien<fnref n="11" /> ». Dans cette comédie, ce sont les dialectes et autres variétés linguistiques présentes en Alsace à l'époque (allemand 'standard' et français) qui sont véritablement mis en scène par leurs personnages. Dans cette pièce on retrouve des représentants de la bourgeoisie strasbourgeoise, s'exprimant dans la variété dialectale de la ville, mais aussi des représentants stéréotypés de la paysannerie du Kochersberg (une région rurale proche de Strasbourg).

La variation graphique peut donc varier d'un personnage à l'autre, comme c'est le cas chez Claus, le paysan du Kochersberg s'exprimant dans sa variante dialectale et chez Wolfgang, magister ès philosophie, s'exprimant quant à lui en allemand 'standard'. Les deux personnages emploient le verbe (*an*)*fragen* (questionner), ce qui donne les variations de scripturalisation dans (1) et (2).<fnref n="12" />

<footnote n="11">11. « [D]ie Bestimmung eines kleinen alsatischen Sprachdenkmals », comme l'exprime Arnold dans sa préface au *Pfingstmontag*.</footnote>

<footnote n="12">12. La graphie qui représente la racine du verbe, sans préfixes ou suffixes, est identifiée en caractères gras. Les traductions vers le français sont données avec les exemples. Des versions encodées en TEI pour les pièces citées sont disponibles sur notre dépôt public, sauf dans le cas du *Herr Maire* (disponible sans encodage sur Numistral).</footnote>
(1) **I fröau** ob err no' brüche d' Pfärd
Je demande si vous avez encore besoin des chevaux

(2) Wir sollten doch zuerst bei ihr zu Haus anfragen
Nous devrions d'abord aller poser la question chez elle

Dans le *Chrischtowe* de Clemens (3), ainsi que dans *Sainte Cécile* de Julius Greber (4), la racine du même verbe présente tant la graphie *frö* que *fröu* ; cette dernière est aussi trouvée dans *In's Ropfer's Apothek* par Gustave Stoskopf (5).

(3) Äi sie ruefe mr alli e Üwername. Dr Schuelmäischter hett mi gfröjt wie „der Ofen“ häisst — no hawi gsäit „Furneau“
Ils me donnent tous un surnom. Le maître d'école m'a demandé comment on dit « der Ofen » [le four] — j'ai dit « Furneau »

(4) Do kannsch lang fröuje — — er saat nix, ken Wort schnüüft er
Tu peux redemander sans cesse — — Il dit rien, il ne pipe mot

(5) Ich hab e schoene Schrecke bekumme, wie 'r mich waje d'r Susanne g'fröuit hett
J'ai vraiment eu peur quand il m'a demandé par rapport à Susanne

Dans *D'r Herr Maire* (1898) de Stoskopf, différentes variétés sont également mises en scène et un même lexème peut à nouveau prendre des graphies divergentes à l'extrême. Dans (6), *Daö* représente l'adaptation phonographique au dialecte du Kochersberg de *Tag* (*jour*).

(6) Un dass dich guet schicksch un Savuar-Wiewr an de Daö leisch !
Tu as intérêt à bien te comporter et à faire preuve de savoir-vivre

Les occurrences *Daa* et *Tag* apparaissent dans la même pièce ; la première est prononcée par le fils du riche épicier strasbourgeois Pfeffer, qui s'exprime dans sa variante strasbourgeoise et la seconde apparaît dans une lettre, écrite en allemand standard, faisant également état de la diglossie médiale alors en vigueur.

## 3.2 Alternance codique

Le corpus présente de l'alternance codique entre variétés alsaciennes, français et allemand ; dans certains cas d'autres variétés régionales sont également présentées, comme c'est le cas de l'allemand de Saxe chez *D'r Hoflieferant* par Stoskopf, à travers le personnage Hans Grinsinger.

À part le mélange d'autres langues avec le français, une caractéristique additionnelle dans certaines pièces est l'écriture du français 'à l'alsacienne'. Dans le *Pfingstmontag*, le personnage du licencié, Alsacien âgé essayant de montrer l'étendue de ses connaissances en français, est particulier, dans la mesure où son discours est truffé de termes français, dont la prononciation est largement adaptée au dialecte alsacien, comme le révèlent les graphies dans (7a-e) :

(7a) Nong
Non

(7b) Pardong
Pardon

(7c) Wui wui
Oui, oui

(7d) Sannebawrä
Ça n'est pas vrai

(7e) Ong nangtang riäng ... Pong, Pong ... Mongtong dong sangfassong
On n'entend rien ... Bon, bon ... Montons donc sans façons
Le *Herr Maire* de Stoskopf (1898) reprend l'idée de transcrire le 'français-alsacien' déjà utilisé par Arnold en 1816 : On le voyait dans l'expression *Savuar-Wiewr* pour *savoir-vivre* de l'exemple (6) ci-dessus.

D'r Hoflieferant de Stoskopf (1905) est un autre exemple des subtilités qui peuvent être représentées dans le corpus concernant l'alternance de variantes. Dans cette pièce, les personnages utilisent parfois la prononciation française ou allemande des noms de famille pour exprimer leur identité et leur proximité à leur interlocuteur ou leur rejet de celui-ci ; l'utilisation de la prononciation française est alors indiquée en italiques, comme dans l'exemple suivant par le personnage Fritz Grinsinger :

(8) *Pardon*, dass ich Sie unterbrech, erschtens bin ich noch lang nit Ihr Liewer und zweitens heiss ich nit Grinsinger [avec prononciation allemande], ich heiss *Grinsinger* [avec prononciation française, en italiques dans l'original]. Pardonnez mon interruption, mais premièrement je ne suis pas votre cher [monsieur Grinsinger] et deuxièmement je ne m'appelle pas Grinsinger, mais *Grinsinger*.

Comme le montrent les exemples dans cette section, le corpus va au-delà de cas 'simples' d'alternance codique. Nous prévoyons une représentation TEI basique du phénomène avec des éléments <seg> et des attributs @xml:lang, comme vu en (2.4). La possibilité d'encoder plus de détails (ce qui serait évidemment permis par le standard TEI) est une question ouverte. La détection automatique des cas d'alternance codique est un autre sujet de recherche possible sur le corpus.

# 4 Identification automatique de variantes orthographiques

La neutralisation des variantes est incontournable pour comparer le contenu des pièces et faire des analyses thématiques, p. ex avec le *topic modeling* (Blei, 2012) ou des méthodes de textométrie (Lebart *et al.*, 2019); ces méthodes demandent une représentation orthographique homogène du vocabulaire. En outre, cette neutralisation pourra bénéficier à la recherche en texte intégral, une fonction de base de l'interface d'exploration du corpus qui sera développée dans la phase finale du projet.

Ces questionnements ne sont pas nouveaux et deux approches différentes peuvent ici être envisagées : soit les variantes sont normalisées vers une forme correspondant à une norme choisie, soit elles sont tout simplement reconnues comme étant des variantes, sans qu'il y ait pour autant une normalisation explicite.

La normalisation orthographique automatique, en tant que tâche de Traitement Automatique des Langues (TAL) a notamment été appliquée pour l'analyse de textes du web social (Han et Baldwin, 2011; Alegria et al., 2015; Doval et al., 2020). Dans ce cas précis, la normalisation des mots hors vocabulaire (fautes d'orthographe, orthographe non conventionnelle, abréviations) se fait généralement vers la forme standard. La normalisation est aussi utilisée pour les variétés historiques (Etxeberria et al., 2016; Bollmann et al., 2017; Bollmann, 2019). La norme est alors souvent la forme standard contemporaine, même si cela pose la question des formes disparues, qui n'ont pas d'équivalent dans la variété contemporaine.

La deuxième approche consiste à identifier les variantes sans chercher pour autant à les normaliser : en effet, pour de nombreuses applications, comme la recherche dans un corpus, la normalisation n'est pas nécessaire. Il s'agira ainsi de repérer les variantes, par exemple à l'aide de méthodes non
supervisées de *clustering* (Dasigi et Diab, 2011; Rafae *et al.*, 2015) ou des méthodes supervisées qui déterminent si deux formes sont des variantes ou non (Barteld *et al.*, 2019). Nous nous orientons également vers ce type d'approche, pour faire suite à de premières expériences visant à identifier les variantes dans des lexiques bilingues alsacien-français (Bernhard, 2014)<fnref n="13" />. Il n'y a en effet pas de "norme" orthographique stable à laquelle nous pourrions nous référer pour les dialectes alsaciens. Même si l'allemand est souvent considéré comme la forme écrite à privilégier pour l'alsacien, cela ne reflète pas la réalité de nos corpus, comme nous avons pu le montrer dans la section précédente.

Nous testons actuellement des méthodes de classification supervisée (cf. Barteld et al., 2019) et les résultats sont en cours d'analyse. Nous aimerions échanger avec la communauté sur des approches permettant de profiter au mieux d'un nombre limité de données d'entraînement, avant de nous engager dans la création de nouvelles données (annotées) pour la tâche.

# 5 Perspectives

Après avoir encodé les premières pièces du corpus, plusieurs intérêts de recherche, en partie évoqués *supra*, sont les suivants : d'un côté, implémenter la modélisation TEI des variables sociales décrivant les personnages. D'un autre côté, l'application possible de méthodes d'apprentissage automatique à la détection des éléments structurels des pièces (répliques, didascalies) pour leur encodage TEI automatique. Finalement, nous sommes en train d'évaluer l'application de méthodes de TAL à l'identification automatique de variantes, ce qui constituerait un bon apport à l'exploitabilité du corpus pour des analyses linguistiques et de contenu. En outre, la FAIRisation du corpus sera complétée par sa mise à disposition sur des plateformes ouvertes d'exposition de données.

# Remerciements

Ce travail a bénéficié d'un financement dans le cadre de l'IdEx Université de Strasbourg. Nous remercions également les stagiaires ayant participé à l'encodage des pièces : Audrey Deck et Soihira El-Kabir. Merci aux relecteur·trice·s pour leurs commentaires détaillés qui ont aidé à améliorer l'article.

# Références

ALEGRIA, I., ARANBERRI, N., COMAS, P. R., FRESNO, V., GAMALLO, P., PADRÓ, L., SAN VICEnte, I., TURMO, J. et ZUBIAGA, A. (2015). TweetNorm : a benchmark for lexical normalization of Spanish tweets. *Language Resources and Evaluation*.

BARTELD, F., BIEMANN, C. et ZINSMEISTER, H. (2019). Token-based spelling variant detection in Middle Low German texts. *Language Resources and Evaluation*, pages 1–30.

BAUER, L. (2003). *Introducing linguistic morphology*. Edinburgh University Press Edinburgh.

<footnote n="13">13. Les habitudes de scripturalisation du corpus (utilisation du eszett par exemple, ou utilisation du graphème simple <u> pour rendre le <ou> français) sont obsolètes par rapport aux pratiques actuelles, ce qui demande l'adaptation des méthodes ; des ressources pour le TAL en alsacien ont été développées par le projet ANR RESTAURE (Bernhard et al., 2019) mais un corpus diachronique de théâtre demande d'élargir les ressources.</footnote>
BERNHARD, D. (2014). Adding Dialectal Lexicalisations to Linked Open Data Resources : the Example of Alsatian. *In Proceedings of the Workshop on Collaboration and Computing for Under Resourced Languages in the Linked Open Data Era (CCURL 2014)*, pages 23–29, Reykjavík, Iceland.

BERNHARD, D., BRAS, M., ERHART, P., LIGOZAT, A.-L. et VERGEZ-COURET, M. (2019). Language Technologies for Regional Languages of France : The RESTAURE Project. *In International Conference Language Technologies for All (LT4All) : Enabling Linguistic Diversity and Multilingualism Worldwide*, Paris, France.

BLEI, D. M. (2012). Probabilistic topic models. *Communications of the ACM*, 55(4):77.

BOLLMANN, M. (2019). A Large-Scale Comparison of Historical Text Normalization Systems. *In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long and Short Papers)*, pages 3885–3898, Minneapolis, Minnesota. Association for Computational Linguistics.

BOLLMANN, M., BINGEL, J. et SØGAARD, A. (2017). Learning attention for historical text normalization by learning to pronounce. *In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1 : Long Papers)*, pages 332–344, Vancouver, Canada. Association for Computational Linguistics.

DASIGI, P. et DIAB, M. (2011). CODACT : Towards Identifying Orthographic Variants in Dialectal Arabic. *In Proceedings of the 5th International Joint Conference on Natural Language Processing*, pages 318–326, Chiang Mai, Thailand.

DOVAL, Y., VILARES, J. et GÓMEZ-RODRÍGUEZ, C. (2020). Towards robust word embeddings for noisy texts. *arXiv :1911.10876 [cs]*. arXiv : 1911.10876.

ETXEBERRIA, I., ALEGRIA, I., URIA, L. et HULDEN, M. (2016). Evaluating the Noisy Channel Model for the Normalization of Historical Texts : Basque, Spanish and Slovene. *In LREC*.

FISCHER, F. et BÖRNER, I. (2019). Programmable Corpora : Introducing DraCor, an Infrastructure for the Research on European Drama. *In Digital Humanities 2019*, page 5, Utrecht.

GALLERON, I. (2017). Conceptualisation of Theatrical Characters in the Digital Paradigm : Needs, Problems and Foreseen Solutions. *Human and Social Studies*, 6(1):88–108.

HAN, B. et BALDWIN, T. (2011). Lexical Normalisation of Short Text Messages : Makn Sens a #twitter. *In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics : Human Language Technologies*, pages 368–378, Portland, Oregon, USA. Association for Computational Linguistics.

HUCK, D. (2015). *Une histoire des langues de l'Alsace*. La Nuée Bleue.

HUCK, D., BOTHOREL-WITZ, A. et GEIGER-JALLET, A. (2007). L'Alsace et ses langues. Eléments de description d'une situation sociolinguistique en zone frontalière. *In Aspects of Multilingualism in European Border Regions : Insights and Views from Alsace, Eastern Macedonia and Thrace, the Lublin Voivodeship and South Tyrol*, pages 13–101. EURAC Research (Europäische Akademie / Accademia Europea / European Academy), Bozen/Bolzano.

KHEMAKHEM, M., FOPPIANO, L. et ROMARY, L. (2017). Automatic Extraction of TEI Structures in Digitized Lexical Resources using Conditional Random Fields. *In electronic lexicography*, eLex 2017, Leiden, Netherlands.

KHEMAKHEM, M., ROMARY, L., GABAY, S., BOHBOT, H., FRONTINI, F. et LUXARDO, G. (2018). Automatically Encoding Encyclopedic-like Resources in TEI.
LEBART, L., PINCEMIN, B. et POUDAT, C. (2019). *Analyse des données textuelles*. Presses de l'Université du Québec, 1 édition.

RAFAE, A., QAYYUM, A., MOEENUDDIN, M., KARIM, A., SAJJAD, H. et KAMIRAN, F. (2015). *An Unsupervised Method for Discovering Lexical Variations in Roman Urdu Informal Text*. In *Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing*, pages 823–828.

RUIZ FABO, P., BERMÚDEZ SABEL, H., MARTÍNEZ CANTÓN, CLARA et GONZÁLEZ-BLANCO, ELENA (2020). *The Diachronic Spanish Sonnet Corpus (DISCO) : TEI and Linked Open Data Encoding, Data Distribution and Metrical Findings*. *Digital Scholarship in the Humanities*.

TEI CONSORTIUM (2020). TEI P5 : Guidelines for Electronic Text Encoding and Interchange. Publisher : Zenodo.

WAGNER, A. (2020). TEI XML to Zenodo service published : Automatic depositing the project's TEI files at a long-term archive – Die Schule von Salamanca.

WILKINSON, M. D., DUMONTIER, M., AALBERSBERG, I. J., APPLETON, G., AXTON, M. *et al*. (2016). *The FAIR Guiding Principles for scientific data management and stewardship*. *Sci Data*, 3(1).
# D'un corpus à l'autre

## D'une étude reproductible et portable du discours direct nisvai à la comparaison linguistique

Jocelyn Aznar

(1) ZAS, Leibniz-Zentrum Allgemeine Sprachwissenschaft (ZAS)

Schützenstr. 18, 10117 Berlin, Allemagne

(2) Aix-Marseille Université, CNRS, EHESS, CREDO UMR 7308, 3, Place Victor Hugo, 13331 Marseille, France

aznar@leibniz-zas.de

## RÉSUMÉ

À partir d'une étude comparative en cours portant sur le discours direct à travers des documentations linguistiques de langues orales peu documentées, nous proposons une réflexion sur la reproductibilité et la portabilité d'une recheche en linguistique. L'enjeu est de porter l'étude du discours direct réalisées sur le corpus de narrations nisvaies, une langue orale du Vanuatu, à d'autres corpus de langues orales. Les annotations de ces corpus ont été amendés et normalisées par les efforts combinés des projets DoReCo et QUEST. Nous verrons que si la reproductibilité d'une étude sur une langue facilite sa critique, la question de la portabilité d'une étude vers d'autres corpus requiert que ces derniers répondent à des normes et unités interopérables aussi bien d'un point de vue informatique que linguistique.

## ABSTRACT

**From one corpus to another: From a reproducible and portable study of nisvai direct discourse to linguistic comparison**

Based on an ongoing comparative study of direct discourse through poorly documented linguistic documentation of oral languages, we propose a reflection on the reproducibility and portability of research in linguistics. The challenge is to bring the study of direct discourse carried out on the corpus of Nisvai narratives, an oral language of Vanuatu, to other corpuses of oral languages. The annotations of these other corpora have been corrected and standardised by the combined efforts of the DoReCo and QUEST projects. We will see that while the reproducibility of a study on a language facilitates its criticism, the question of the portability of a study to other corpora requires that the latter meet standards and units that are interoperable from both a computational and linguistic point of view.

**MOTS-CLÉS** : comparaison linguistique, langues orales, documentation linguistique, corpus de terrain, portabilité, reproductibilité.
# 1 Introduction

La présente communication est une réflexion sur l'étude linguistique de corpus de langues orales à travers des techniques associées aux sciences des données. Le propos est de montrer comment les concepts de reproductibilité et de portabilité sont appliqués à l'étude de corpus de langues orales. Il s'agit de mettre en place des pratiques et des méthodes qui facilitent la critique, le partage et la réutilisation des données et des résultats d'une étude.

Cette réflexion, ainsi que l'étude sur laquelle elle s'appuie, sont issues de QUEST, un projet de recherche financé par le ministère des Sciences allemand afin de promouvoir et valider des normes et bonnes pratiques pour élaborer de corpus de documentation linguistique ré-utilisables. Plus particulièrement, cette étude s'insère dans le sous-projet RefCo, une initiative dont l'objectif est de mettre à disposition des corpus de référence adaptée à la comparaison linguistique. Les corpus de documentation linguistique utilisées pour cette étude sont ceux qui ont été amendés par les projets DoReCo (Paschen et al. 2020) et QUEST (https://cutt.ly/quest-project). L'étude porte sur la réalisation du discours direct au sein de ces corpus, en commençant par le corpus de narrations nisvaies (Aznar 2019) afin mettre au point une base de références techniques, pour s'étendre à un ensemble de cinq corpus documentant les langues beja, mojeno, sanzhi dargha et arapaho, corpus qui ont été également corrigés par DoReCo et QUEST. C'est dans ce cadre que s'inscrit la réflexion sur les concepts de reproductibilité et de portabilité : la comparaison linguistique de langues orales à travers des documentations réalisées avec le logiciel ELAN, dont les textes sont des narrations monologiques et dont les annotations ont été vérifiées et corrigées par DoReCo et QUEST.

Un premier point à aborder avant de rentrer dans le cœur du propos est la terminologie. Les termes portabilité et reproductibilité sont sujets à débat dans de nombreuses disciplines scientifiques<fnref n="1" />, l'enjeu n'est ici pas de proposer des définitions conceptuelles précises mais de réfléchir à leur implémentation pratique dans un cadre précis. L'acceptation de portabilité s'inspire du sens proposé par Bird et Simons (2003) que l'on peut résumer comme la mise en place d'un ensemble de moyens et de pratiques permettant de réutiliser une documentation linguistique sur le long terme. Le concept est appliqué ici à l'étude des données linguistique et non à la documentation. Il s'agit de réfléchir aux pré-requis qui sont à considérer afin qu'une étude linguistique assistée par des traitements automatisés sur un corpus puisse être réalisée sur d'autres corpus. La portabilité de l'étude du discours direct s'inscrit donc dans une démarche de reproductibilité et de réplicabilité de la recherche. Reproductibilité est entendu ici comme la possibilité de répéter une étude est fourni

<footnote n="1">¹ Les définitions des concepts de réplicabilité, reproductibilité, répétabilité varient en fonction de la langue où le concept est défini, de la discipline ou de la position théorique de l'auteur. Il ne s'agit pas ici de faire une proposition définitive quant à ses termes mais simplement de mieux expliciter notre proposition (voir par exemple (Berez-Kroeker et al. 2018; Drummond 2009; Rey-Coyrehourcq et al., s. d.; McArthur 2019).</footnote>
aux lecteurs à travers l'accès aux données et aux algorithmes nécessaires pour arriver au résultat décrit. Quant à la replicabilité, elle est définie comme la possibilité de refaire une même étude dans un contexte différent afin d'obtenir des résultats permettant de discuter l'étude de référence.

Maintenant que nous avons vu le contexte dans lequel s'insère cette comparaison des discours direct, nous allons aborder différentes étapes de l'étude algorithmique à travers le logiciel Jupyter pour ensuite décrire différents problèmes auxquels nous sommes confrontés lorsque nous souhaitons porter cette étude d'un corpus à l'autre.

# 2 Étudier le discours direct au sein du corpus Nisvai
reproductible avec Jupyter

La présente description repose sur le corpus de pratiques narratives nisvaies, un corpus d'enregistrements audio annoté avec le logiciel ELAN (Aznar, 2019). Dans le cadre de mon travail au sein de QUEST, le corpus a été soumis à l'évaluation de DoReCo et RefCo. À cette fin, les enregistrements audio et leurs annotations ont été rendus accessibles sous licence Creative Commons BY-NC-ND, une licence qui permet de partager et d'étudier ces données.

## 2.1 QUESTCorpora: un module python pour créer des données linguistiques à partir des annotations du corpus

Afin de fournir aux corpus de QUEST une interface informatisée unifiée et partageable, je développe un module python nommé QUESTCorpora qui permet d'accéder via des objets pythons à ses différents composants : Corpus, Textes, Annotations. L'enjeu du module est de produire des données linguistiques comparables à partir des corpus.

Pour ce faire, le module s'appuie sur un ensemble de corpus gérés par le projet RefCo qui ont été créés et retravaillés de manière suffisamment similaires pour en extraire des données linguistiques comparables. La production de ces données linguistiques comparables passent toutefois par une politique de gestion des annotations. Cette politique se traduit par un ensemble de paramètres dédiés à chacun des corpus qui configurent les algorithmes de gestion des annotations.

Concrètement, QUESTCorpora inspecte les fichiers ELAN des corpus gérés par RefCo, les transformes en instances Python pour fournir une interface permettant de manipuler les annotations et de produire des informations à travers des traitements automatisés (expressions régulières, calculs et statistiques) sur chacune des annotations. Les résultats provenant de ces traitements sont ensuite transformés en un tableau de données afin d'être manipulables via les modules Python dédiés aux traitements des données (voir notamment Pandas, Statsmodels). Ces modules permettent de produire des représentations statistiques et visuelles de ces annotations et des résultats des traitements automatiques.
## 2.2 Jupyter pour faciliter la reproductibilité d'une étude de corpus

Dans les domaines impliquant une chaine de traitements informatisés des données, l'utilisation d'environnement de partage documenté des algorithmes employés se développent (Stodden, Leisch, et Peng 2014). L'étude comparée des discours directs repose en partie sur des traitements automatisés des corpus de données linguistiques. L'utilisation de Jupyter (Thomas et al. 2016), un « carnet » en ligne, permet d'annoter les différentes étapes d'une chaine de traitements informatiques dans un format qui facilite leurs partage sous la forme d'une narration. D'un côté, le logiciel aide le chercheur lorsqu'il explore, teste ses hypothèses sur ses données ou travaille en équipe, du côté des relecteurs, il facilite la critique et l'appropriation des étapes ayant conduit aux résultats. L'utilisation d'un module Python pour intérargir avec les corpus facilite l'intégration de ces données dans une chaine de traitements automatisés, reproductible et partageable.

<figure><img src="image_18.png" /><figcaption>Figure 1: Exemples d'étapes pour la production de données linguistiques à partir du module QUESTCorpora</figcaption></figure>

La figure 1 montre un exemple de chaine de traitements automatisé réalisé sur un corpus du projet QUEST, le corpus nisvai. La première étape consiste en l'import des modules qui seront sollicités dans le cadre de l'étude. La deuxième étape consiste en l'instantiation d'une étude sur corpus à travers des expressions régulières. Dans le cadre de cette étude, des recherches à l'aide d'expressions régulières sont appliquées à chacune des unités d'annotation du corpus. Si la recherche est concluante, elle retourne un 1 dans la ligne du tableau<fnref n="2" /> correspondant à l'annotation, dans le cas contraire, un zéro est retourné.

La figure 2 présente quelques colonnes contenant les données du corpus nisvai intégré dans le module QUESTcorpora. Les deux dernières colonnes correspondent aux résultats des requêtes réalisées avec des expressions régulières sur les annotations. Ce sont à partir de ces colonnes contenant soient les données des annotations du corpus, soit les métadonnée associées aux

<footnote n="2">² Il s'agit ici plus précisément d'un objet DataFrame proposé par le module Python Pandas (https://pandas.pydata.org/).</footnote>
<table><caption>Figure 2: Extrait d'un tableau Pandas de données d'un corpus QUESTCorpora dans l'interface de Jupyter.</caption><thead><tr><th></th><th>index</th><th>time_1</th><th>time_2</th><th>reference</th><th>transcription</th><th>morphology</th><th>translation</th><th>coherency</th><th>_dire</th><th>_deuxpoints_transcription</th></tr></thead><tbody><tr><td>0</td><td>nisvai_25_174</td><td>589390</td><td>590480</td><td>T41.2015.174</td><td>Kusvai. -- Kusvai.</td><td>--</td><td>Kousvé. -- Kousvé.</td><td>False</td><td>0</td><td>0</td></tr><tr><td>1</td><td>nisvai_25_173</td><td>587480</td><td>589060</td><td>T41.2015.173</td><td>Nabol nyn ga=qan nyn ni, ga=cub urun.</td><td>histoire DEI.R 3SG=être_comme DEI.R INT 3SG=te...</td><td>Cette histoire est comme cela, elle se termine...</td><td>True</td><td>0</td><td>0</td></tr><tr><td>2</td><td>nisvai_25_172</td><td>581170</td><td>586240</td><td>T41.2015.172</td><td>Ga=hub nabu-n naho-n wantaim, nahemac ili ga=m...</td><td>3SG=lapider ??-3SG face-3SG INT démon DET 3SG=...</td><td>Il la jette en pleine face d'un coup, le mécha...</td><td>True</td><td>0</td><td>0</td></tr><tr><td>3</td><td>nisvai_25_171</td><td>574770</td><td>580350</td><td>T41.2015.171</td><td>Naremac ili ga=kal : «Ui, asi na=han-i?» Ga=ka...</td><td>démon DET 3SG=dire INTER qui 1SG=manger-INTR 3...</td><td>Le méchant dit : «Eh, qui est-ce que j'ai mang...</td><td>False</td><td>1</td><td>1</td></tr><tr><td>4</td><td>nisvai_25_170</td><td>572560</td><td>573550</td><td>T41.2015.170</td><td>Haiq qa=han a=nanaq sa-ql=»</td><td>2SG 2SG=manger ART.P=mère PA-1SG</td><td>Tu as mangé ma mère !»</td><td>True</td><td>0</td><td>0</td></tr></tbody></table>

locuteurs, telles que l'âge, le sexe, le genre du texte, ou au texte et à sa situation de production, genre discursif, date, corpus ou enfin les résultats des requêtes, que sont produites les analyses sur les corpus.

## 3 D'un corpus à la comparaison de corpus

Maintenant que nous avons vu les étapes d'une étude informatisée reproductible sur un corpus, nous devons nous intéresser au portage d'une étude vers un autre corpus.

La comparaison s'appuie sur l'utilisation de corpus ouverts, c'est-à-dire dont la licence d'utilisation permet au moins la copie et la consultation. Toutefois, si l'ouverture des corpus participe à la portabilité d'une étude, cette qualité n'est pas suffisante pour permettre la portabilité. Il est également nécessaire que les annotations de ces corpus soient documentées et que les unités linguistiques annotées soient comparables. Enfin, que ce soit pour la reproductibilité ou la portabilité de l'étude, il est nécessaire d'avoir accès à la méthode qui a permis d'arriver aux résultats. Lorsqu'un article linguistique décrit les résultats issus d'une étude et leur interprétation, les algorithmes employés pour réaliser l'étude ne sont pas nécessairement fournis, en particulier lorsque les algorithmes ne sont pas informatisés. C'est la combinaison de ces qualités, d'un côté des données accessibles et normalisés, et de l'autre des algorithmes ouverts, qui permet la mise en place d'études reproductibles et portables.

### 3.1 Les étapes du portage d'une étude à d'autres corpus

Afin de pouvoir adapter le comportement du module QUESTCorpora aux spécificités de chacun des corpus, chaque corpus est associé à un fichier de configuration spécifique<fnref n="3" />. Chaque corpus doit être étudié en fonction de l'étude. Dans notre cas, il s'agit d'étudier le discours direct, et plus particulier les différents silences qui entourent sa mise en scène. Dans cette section sont rapportées les différentes sources de difficultés quant à l'observation du discours direct de manière automatisée à travers les corpus.

### 3.2 L'indexation temporelle par rapport à l'enregistrement audio

<footnote n="3">³ Les chiers de con guration sont écrits en TOML (voir https://toml.io/en/), un format de chier qui vise à être lisible tout en étant analysable d'un point de vue informatique.</footnote>
La première source de difficultés sont les variations d'un corpus à l'autre au niveau de l'indexation des unités d'annotation par rapport aux enregistrements audio. Il s'agit de la stratégie qui a été mise en place lors de la transcription afin de segmenter le flot de la parole en unités d'annotation. Une première variation provient des possibilités offertes par ELAN, qui permet de produire des annotations soit continues, soit discontinues, c'est-à-dire soit collées les unes aux autres ou au contraire séparées par temps non annotés<fnref n="4" />. Plusieurs pratiques ont été relevées au sein des corpus DoReCo-QUEST :

<figure><img src="image_19.png" /><figcaption>Figure 3: Exemple d'indexation discontinue des unités d'annotation, avec une unité sur deux ne contenant qu'un silence.</figcaption></figure>

* Une indexation par rapport aux groupes de souffles, voir figure 3 : les unités d'intonation correspondent aux moments où le locuteur parle, lorsqu'il marque une pause, que ce soit pour reprendre son souffle, structurer son texte ou simplement dans le cadre d'une dysfluence (réflexion ou hésitation), alors une segmentation est opérée.

* Une indexation syntaxico-sémantique, voir figure 5: le linguiste segmente en fonction d'une unité linguistique qu'il identifie, potentiellement avec l'aide d'un locuteur de la langue. Cette segmentation correspond le plus souvent à une segmentation en phrases. Elle peut prendre en considération les pauses marquées par les locuteurs pour borner les unités d'annotation, mais ses unités d'annotation peuvent comprendre des pauses en leur sein.

* Une indexation continue, voir figure 4, produisant des unités d'annotation aussi bien pour les temps de paroles que pour les temps de silences.

* Une annotation continue, voir figure 6, intégrant les temps de silence dans unité d'annotation au sein de ses bornes.

<footnote n="4">⁴ Nous verrons par la suite que la non-annotation peut être considéré comme une forme de silence.</footnote>
<figure><img src="image_20.png" /><figcaption>Figure 4: Exemple d'indexation continue des unités d'annotation, avec une unité sur deux ne contenant qu'un silence.</figcaption></figure>

<figure><img src="image_21.png" /><figcaption>Figure 5: Exemple d'indexation discontinue avec des silences absorbés au sein de l'annotation et dont les limites ne sont que peu prises en compte.</figcaption></figure>

<figure><img src="image_22.png" /><figcaption>Figure 6: Exemple d'indexation continue des unités d'annotation avec intégration du temps de silence dans la suite de l'unité d'annotation</figcaption></figure>

Dans le cadre de l'étude du silence de la réalisation du discours direct, deux paramètres sont identifiables afin de distinguer les pratiques des linguistes : la continuité ou non des unités d'annotation et la prise en compte du silence dans les unités d'annotation
<table><thead><tr><th></th><th>Discontinuité</th><th>Continuité</th></tr></thead><tbody><tr><td>Prise en compte du silence</td><td>Silence représenté par la non-Silence correspondant à des annotations</td><td>Silence représenté par la non-Silence correspondant à des annotations</td></tr><tr><td>Non prise en compte</td><td>Silence reconné par les unitésSilence intégré avec le groupe de d'annotation</td><td>Silence reconné par les unitésSilence intégré avec le groupe de d'annotation parole le précédent</td></tr></tbody></table>

À noter qu'une autre pratique a été réalisé par MAUS (Strunk, Schiel, et Seifart 2014), le système employé par DoReCo-QUEST afin d'indexer les graphèmes de la transcription à l'enregistrement. Dans ce cas, le logiciel indique par la balise <p:/> les silences au sein d'un tier dont la segmentation est continue.

## 3.3 La transcription et l'interprétation des systèmes d'écriture

Parmi les corpus gérés par les projets DoReCo et QUEST, si à un texte est associé une couche de transcription, il est également possible dans certains corpus que plusieurs couches se rapportent à la transcription. Dans ce cas, il s'agit . L

Les systèmes d'écriture utilisés pour transcrire les différentes langues n'ont pas les mêmes valeurs. Ceci est résolu à l'aide d'un tableau associant les graphèmes employés par les linguistes à leurs valeurs phonétiques ou phonologiques.

En ce qui concerne la représentation du discours direct au sein de la transcription, un certain nombre de choix ont été opérés par les transcripteurs. En fonction de la langue maternelle de la personne ayant réalisée la transcription, les conventions typographiques pour représenter le discours direct peuvent variée : utilisation, ou non, des guillemets français ou anglais ; marquage du début du discours direct par deux points, transcription ou non de l'interjection employée par le locuteur. Ces variations ont pour conséquences que le discours direct ne puissent pas être identifié de manière systématique à travers la transcription.

## 3.4 Les traductions

La traduction de textes oraux est un aspect central de la documentation linguistique, mais elle ne fait l'objet finalement que de très peu de discussions de la part des linguistes travaillant sur des langues orales. La recommandation la plus courante est de traduire dans une des langues véhiculaires internationales, ou tout au moins, une langue plus connue que la langue documentée. Ce manque de discours sur la pratique explique que les textes ne soient pas traduits selon les mêmes principes en fonction des linguistes ou d'un projet à l'autre. Les destinataires des traductions ne sont pas les mêmes d'un projet à l'autre : produire une ressource bilingue pour l'école locale, annoter pour des linguistes. C'est en partie à travers l'identification de ces destinataires qu'un nombre de choix de traduction peuvent être réalisés : explicitation ou non du vocabulaire, la traduction systématique des termes, utilisation d'une typographie spécifique à un genre littéraire de destination, etc.

Du point de vue de DoReCo et de QUEST, la traduction est la couche la plus difficile à contrôler. S'il est demandé à la personne fournissant le corpus d'indiquer la langue de traduction et de fournir
un glossaire des termes de la langue source, vérifier l'adéquation entre ce qui est dit dans la langue source et ce qui est retranscrit dans la langue cible relève des compétences du linguiste sur le terrain et des personnes avec lesquelles il ou elle travaille.

En ce qui concerna l'étude du discours direct à travers la traduction, il apparaît au sein des corpus DoReCo-QUEST que si la couche de transcription ne représente pas systématiquement le discours direct, celui-ci est presque systématiquement représenté au sein de la couche associée à la traduction. La couche de traduction est un moyen plus fiable pour identifier les unités d'annotation contenant du discours direct. Certains corpus possèdent plusieurs couches de transcription qui se différencient alors au niveau de leur portée. Ainsi, pour le Beja, une première couche de traduction propose une correspondance 1:1 à la segmentation en unités d'annotation alors qu'une deuxième couche de traduction englobe plusieurs unités d'annotation afin de permettre une traduction moins littérale. Enfin, en fonction des projets dans lesquels les corpus ont été produits, les transcriptions ont pu être traduites en plusieurs langues véhiculaires.

## 3.5 L'annotation morphologique

Une ou plusieurs couches d'annotation morphologique sont présentes dans chacun des corpus DoReCo-QUEST. Si les annotations morphologiques sont suffisamment formalisées d'un point de linguistique afin de pouvoir faciliement associer visuellement un morphème à sa glosse, de nombreux corpus n'ont pas été annotés de manière systématique. Cela entraîne des difficultés dans les traitements automatisés des annotations. Ainsi, dans certains corpus, les linguistes peuvent indiquer des synonymes aux termes décrits en utilisant plusieurs conventions typographiques au sein d'un même texte. Il est alors nécessaire de les identifier, voire de réduire ses différentes conventions à un seul et unque procédé lorsque nous sommes certain qu'il s'agit d'un même et unique sens.

Un autre problème est l'hétérogénéité des couches d'annotation de la morphologie. Certains corpus possèdent plusieurs couches contenant des informatiques liées à la morphologie de la langue. La comparaison de ce contenu en devient alors plus difficile car les couches d'annotation ne sont pas équivalentes les unes aux autres. La solution retenue est de créer une couche d'abstraction contenant les différentes annotations afin de pouvoir comparer les informations morphologiques d'une langue à l'autre.

## 4 Conclusion

Le portage d'une étude assistée par des traitements automatisés sur le discours direct à travers des corpus de langues orales requiert de prendre en compte les particularités de chacun de ces corpus. Il apparaît toutefois que ces particularités ne sont pas infinies et peuvent être identifiées afin de faire l'objet d'une gestion des annotations dédiées afin d'obtenir des données linguistiques comparables. C'est ce qui est mis en place à travers le module Python QUESTCorpora. Afin d'éviter de réinventer un outil qui existe déjà, la réutilisation de mutiltool, actuellement pris en charge par Delafontaine (https://github.com/DoReCo/multitool) dans le cadre du projet DoReCo, est en cours d'évaluation.
Nous conclurons sur le fait que si la reproductibilité d'une étude est un critère de validation d'une étude, lorsque cette reproductibilité est combinée avec des corpus répondant aux mêmes normes, nous avons alors la possibilité de porter les études d'un corpus à l'autre afin de procéder à des comparaisons linguistiques. Finalement, en abordant la question de la portabilité d'une étude, lorsque cette problématique est combinée à la répétabilité d'une analyse algorithmique informatisée telle qu'offerte par le logiciel Jupyter, l'objectif est alors d'arriver à une réplicabilité typologique.

Références

Aznar, Jocelyn. 2019. « Narrer une nabol : La production des textes nisvais en fonction de l’âge et de la situation d’énonciation, Malekula, Vanuatu ». Marseille: EHESS.

Berez-Kroeker, Andrea L, Lauren Gawne, Susan Smythe Kung, Barbara F Kelly, Tyler Heston, Gary Holton, Peter Pulsifer, et al. 2018. « Reproducible Research in Linguistics: A Position Statement on Data Citation and Attribution in Our Field ». De Gruyter, Linguistics, 56 (1): 18. https://doi.org/10.1515/ling-2017-0032.

Bird, Steven, et Gary F. Simons. 2003. « Seven Dimensions of Portability for Language Documentation and Description ». Language, Language, 79 (3): 557-82. https://doi.org/10/d95m65.

Drummond, Chris. 2009. « Replicability Is Not Reproducibility: Nor Is It Good Science ». Proc. of the Evaluation Methods for Machine Learning Workshop at the 26 Th ICML, 4.

McArthur, Sally L. 2019. « Repeatability, Reproducibility, and Replicability: Tackling the 3R Challenge in Biointerface Science and Engineering ». Biointerphases 14 (2): 3. https://doi.org/doi.org/10.1116/1.5093621.

Paschen, Ludger, François Delafontaine, Christoph Draxler, Susanne Fuchs, Matthew Stave, et Frank Seifart. 2020. « Building a Time-Aligned Cross-Linguistic Reference Corpus from Language Documentation Data (DoReCo) ». Proceedings of the 12th Conference on Language Resources and Evaluation (LREC 2020) 12: 2657–2666.

Rey-Coyrehourcq, Sébastien, Robin Cura, Laure Nuninger, Julie Gravier, Lucie Nahassia, et Ryma Hachi. s. d. « Vers une recherche reproductible dans un cadre interdisciplinaire: enjeux et propositions pour le transfert du cadre conceptuel et la réplication des modèles », 25.

Stodden, Victoria, Friedrich Leisch, et Roger D. Peng, éd. 2014. Implementing Reproducible Research. The R Series. Boca Raton: CRC Press.
Strunk, Jan, Florian Schiel, et Frank Seifart. 2014. « Untrained Forced Alignment of Transcriptions and Audio for Language Documentation Corpora Using WebMAUS ». *Proceedings of the Ninth International Conference on Language Resources and Evaluation*, 3940--3947.

Thomas, Kluyver, Ragan-Kelley Benjamin, P&eacute;acute;rez Fernando, Granger Brian, Bussonnier Matthias, Frederic Jonathan, Kelley Kyle, et al. 2016. « Jupyter Notebooks &ndash; a Publishing Format for Reproducible Computational Works » *.Stand Alone*, 87–90. https://doi.org/10/gf48c9.
# Language Identification of Guadeloupean Creole

William Soto

Université de Lorraine, Nancy, France

williamsotomartinez@gmail.com

## RÉSUMÉ

L'identification automatique de la langue est une étape de pré-traitement particulièrement utile lorsque l'on traite des données provenant de sources multilingues. Cette étape permet notamment de filtrer les textes en fonction de la langue utilisée et d'appliquer des traitements adéquats. Les langues peu dotées ne sont malheureusement pas toujours supportées par les outils d'identification automatique. Dans cet article, nous présentons un outil d'identification automatique du créole guadeloupéen, qui repose sur une approche à base d'apprentissage automatique pour résoudre ce manque dans une certaine mesure. L'évaluation de notre modèle montre une précision de 89,96% sur l'identification de phrases en créole guadeloupéen provenant de différentes sources, et une précision de 91,04% sur l'identification de phrases dans un corpus de 103 langues.

## ABSTRACT

### Language Identification of Guadeloupean Creole

Language Identification is a useful preprocessing step that allows filtering and processing information on the best way possible, Improving the efficiency of Language Processing tasks. Under-resourced language, however, are often left out of most off-the-shelf applications for this task. In this article we present the Guadeloupean Creole Language Identification Tool, a Machine Learning (ML) approach to solve the lack of such applications for this under-resourced language. The evaluation of our model shows an 89.96% accuracy when classifying Guadeloupean Creole sentences from different sources and a 91.04% precision on the language when classifying sentences from 103 different languages.

**MOTS-CLÉS** : Identification Automatique de Langue, Créole Guadeloupéen, Apprentissage Automatique.

**KEYWORDS** : Language Identification, Guadeloupean Creole, Machine Learning.

## 1 Introduction

Language identification (LI) consist on determining in which language a given text has been written. As Jauhiainen et al. (2019) point out, Natural Language Processing (NLP) and Information Retrieval (IR) techniques generally assume that all documents given to a system are written in the same language. Because of this, being able to correctly identify and filter out documents that do not match the system's languages is a useful preprocessing step.

When you are guaranteed to have a variety of languages as input to your system, like with social network resources, this step becomes even more relevant. Cases like the SURICATE-Nat<fnref n="1" /> project,

<footnote n="1">¹See http://www.suricatenat.fr/Suricate-Nat/ for more information</footnote>
that collects and analyzes Twitter messages to facilitate information exchange from the ground during
natural disasters, is a clear example of this. However, the LI task may not be as efficient in this kind
of real life situations since most off-the-shelf tools do not support under-resourced languages, which
in turn reduces the extent to which certain communities benefit from these projects.

Creole languages (languages that develop from the mix and simplification of other languages) are a good example of languages left out of most modern LI tools. Although these languages have been studied by linguists for centuries, many of them remain under-resourced when it comes to modern NLP applications. Their low number of speakers and a the lack of standardization are, no doubt, part of the reason behind that.

For this article we focused on one specific case that is usually not present on LI software: Guadeloupean Creole (GC, or Gwadloupéyen). This language developed from XVIII century French and a variety of West African languages (Delumeau, 2006) and accounts for around 600 000 speakers, from which close to 400 000 live in Guadeloupe (Colot and Ludwig, 2013) (a French archipelago in the Caribbean). For the most part it has been a spoken language and lacks a strong spelling standard, although there have been various attempts to change this (see Ludwig et al. (1990); Hazaël-Massieux (1993); Bernabé (2001) about the GEREC orthography). However, as Delumeau (2006) points out the language has become increasingly popular on Guadeloupe.

## 2 Related Work

Some LI off-the-shelf tools like LangDetect (Nakatani, 2010) and Compact Language Detector 2 (Sites, 2013) rely on probabilistic approaches, most specifically Naive Bayes classifiers. Some other methods, like Whatlang (Brown, 2013), rely on vector-space models. More recent methods are based on FastText (Armand et al., 2016) applying n-gram word embeddings and linear regression, like FastText's own language detection module (Joulin et al., 2016) and Whatthelang (Sangeeth, 2017).

All these methods have proven to be useful to solve LI tasks, but none of them provides support for Guadeloupean Creole. As we pointed out in the Introduction, under-resourced languages are usually excluded from modern NLP applications partially because of the lack of training data. For the case of GC, Millour and Fort (2018) mention some of the existing resources of GC and detail the state of the art regarding GC corpora. However, the existing source are rather scarce and, to our knowledge, have not been applied to modern ML tasks.

## 3 Methodology

Following the most recent approaches we decided to use FastText as the base for our classifier. Not only do FastText-based models perform very well, but they are easy to train and to deploy. Our model consists of a FastText supervised classifier, which builds text representations by averaging n-grams and then performs multiple logistics regressions over this text representations. This model allows the use of subword features, which applies the n-grams at the character level and makes it possible to get information about the structure of words as well as supporting out of vocabulary (oov) words.
# 4 Dataset

As a baseline we decided to use the Tatoeba sentence dataset which contains more than 8 million sentences of 355 different languages. Most notably it, has 2 080 GC sentences. To reduce the training time and the noise added by languages without many samples, we limited the dataset to those languages with at least 1000 sentences, which left us with a total of 103 languages. Table 1 shows the distribution of the most common and uncommon languages on the dataset as well as that of GC.

<table><caption>Table 1: Number of samples for the 10 most and less common languages in the tatoeba dataset.</caption><thead><tr><th>Most common languages</th><th>Samples</th><th>Less common languages</th><th>Samples</th></tr></thead><tbody><tr><td>English</td><td>1 319 616</td><td>Kapampangan</td><td>1 475</td></tr><tr><td>Russian</td><td>759 878</td><td>Cebuano</td><td>1 472</td></tr><tr><td>Italian</td><td>702 267</td><td>Ottoman Turkish</td><td>1 407</td></tr><tr><td>Turkish</td><td>685 782</td><td>Albanian</td><td>1 351</td></tr><tr><td>Esperanto</td><td>618 098</td><td>Picard</td><td>1 339</td></tr><tr><td>German</td><td>502 445</td><td>Khasi</td><td>1 320</td></tr><tr><td>French</td><td>425 191</td><td>Old East Slavic</td><td>1 307</td></tr><tr><td>Portuguese</td><td>358 570</td><td>Guarani</td><td>1 251</td></tr><tr><td>Spanish</td><td>317 954</td><td>Welsh</td><td>1 237</td></tr><tr><td>Hungarian</td><td>281 093</td><td>Slovenian</td><td>1 046</td></tr></tbody></table>

To improve the models' ability to identify GC, we enriched the dataset with samples of the language from a diversity of sources. We used a set of transcriptions of spoken Guadeloupean Creole (Glaude, 2013), Caterina Bonan's Corpus of Guadeloupean Creole 2018, the 2012 Simenn Kréyòl collection of texts by the Academié de la Guadeloupe, the lyrics of two Guadeloupean Songs (the LKP song "gwada sé tan nou" and the Akiyo song "Jilo") and articles from the GC Wikipedia, which increased the number of GC sample sentences from 2080 to 4894.

All the datasets were preprocessed by lowercasing all the text and removing punctuation forms in each sentence. Then they were split in training and testing sets, with a 90% of the sentences going to the training set and the other 10% going to the testing set. Table 2 shows the number of GC samples present on each dataset.

<table><caption>Table 2: Number of Guadeloupean Creole samples on each dataset.</caption><thead><tr><th>Source</th><th>Training</th><th>Testing</th><th>Total</th></tr></thead><tbody><tr><td>Tatoeba</td><td>1872</td><td>208</td><td>2080</td></tr><tr><td>Transcriptions</td><td>1354</td><td>150</td><td>1504</td></tr><tr><td>Caterina Bonan</td><td>689</td><td>78</td><td>767</td></tr><tr><td>Simmen Kréyòl</td><td>327</td><td>36</td><td>363</td></tr><tr><td>Chansons</td><td>100</td><td>11</td><td>111</td></tr><tr><td>Wikipedia</td><td>63</td><td>6</td><td>69</td></tr><tr><td>Total</td><td>4405</td><td>489</td><td>4894</td></tr></tbody></table>
# 5 Experiment and Results

When instantiating the FastText supervised classifier we tried with 3 different sizes for the word vectors (16,32 and 64 dimensions) and enabled the use of subword features by setting up the character n-grams to a minimum size of 2 and a maximum size of 4. To set the other parameters of the model we tried the autotune method included in FastText, but after some tests we saw no significant improvement over the default settings, so we kept the default values on all the other parameters with the exception of the number of training epochs which showed an improvement when we doubled it from 5 to 10 epochs.

As mentioned above, the baseline was trained exclusively on the Tatoeba training set and another model was trained on the enriched GC dataset. To evaluate them, two tasks were defined: first we measured the accuracy of the models when presented only with the GC samples from each of the different sources, then we calculated the precision, recall and F1 score of the models when presented with samples from all the languages of the enriched dataset.

Tables 3 and 4 shows the result of the first and second task respectively. When classifying just GC sentences, as expected, the baseline performs well with the Tatoeba examples but accuracy drops with the other sources. In turn, the enriched model performs very well on all the sources. For the second task, when classifying samples from all 103 languages, the precision of the baseline is always slightly higher than that of the enriched model, but this comes at the cost of a significantly lower recall and F1 score.

On the first task, the 32 dimensions model performed better although the difference between all of them was very narrow. For the second task the 64 dimensions had better results that were also slightly more significant.

<table><caption>Table 3: Accuracy of each model when classifying Guadeloupean Creole sentences from each of the sources</caption><thead><tr><th>Source</th><th>Baseline (16)</th><th>Enriched (16)</th><th>Baseline (32)</th><th>Enriched (32)</th><th>Baseline (64)</th><th>Enriched (64)</th></tr></thead><tbody><tr><td>Tatoeba</td><td>86.05%</td><td>87.98%</td><td>86.53%</td><td>88.94%</td><td>85.57%</td><td>88.94%</td></tr><tr><td>Transcriptions</td><td>57.33%</td><td>82.66%</td><td>50.00%</td><td>84.66%</td><td>52.66%</td><td>84.00%</td></tr><tr><td>Caterina Bonan</td><td>61.53%</td><td>94.87%</td><td>61.35%</td><td>94.87%</td><td>56.41%</td><td>94.87%</td></tr><tr><td>Simmen Kréyòl</td><td>66.66%</td><td>91.67%</td><td>58.33%</td><td>94.44%</td><td>63.88%</td><td>94.44%</td></tr><tr><td>Chansons</td><td>63.63%</td><td>90.90%</td><td>63.63%</td><td>90.90%</td><td>72.72%</td><td>90.90%</td></tr><tr><td>Wikipedia</td><td>83.33%</td><td>83.33%</td><td>83.33%</td><td>83.33%</td><td>83.33%</td><td>83.33%</td></tr><tr><td>All datasets</td><td>71.37%</td><td>87.73%</td><td>68.87%</td><td>88.95%</td><td>68.91%</td><td>88.75%</td></tr></tbody></table>

<table><caption>Table 4: Precision, recall and F1 score for Guadeloupean Creole of each model when classifying sentences from 103 languages from the enriched dataset</caption><thead><tr><th></th><th>Baseline (16)</th><th>Enriched (16)</th><th>Baseline (32)</th><th>Enriched (32)</th><th>Baseline (64)</th><th>Enriched (64)</th></tr></thead><tbody><tr><th>Precision</th><td>96.14%</td><td>94.07%</td><td>96.27%</td><td>91.04%</td><td>96.28%</td><td>95.59%</td></tr><tr><th>Recall</th><td>71.37%</td><td>87.73%</td><td>68.87%</td><td>88.95%</td><td>68.91%</td><td>88.75%</td></tr><tr><th>F1 score</th><td>81.92%</td><td>90.79%</td><td>80.19%</td><td>89.96%</td><td>80.33%</td><td>92.04%</td></tr></tbody></table>
# 6 Error Analysis

We extracted the most common errors made by the system. Table 5 shows which languages were most commonly assigned to real GC samples. As expected, French was the most common misclassification in all but one models, in which it was the second most common. There is no clear second nor third place but it is worth noticing the constant appearance of Austronesian languages. On the other hand, Table 6 shows which languages were most commonly misclassified as CG. In this case there is no clear first place, although Spanish seems to be the most consistent error, however the distribution among the misclassified languages seems to be more uniform.

<table><caption>Table 5: Three most common errors when classifying Guadeloupean Creole as another language and how much of the total number of errors each of them represents</caption><thead><tr><th>Model</th><th>Misclassification</th><th>Error</th><th>Misclassification</th><th>Error</th><th>Misclassification</th><th>Error</th></tr></thead><tbody><tr><td>Baseline(16)</td><td>Kapampangan</td><td>16%</td><td>French</td><td>14%</td><td>Tagalog</td><td>6%</td></tr><tr><td>Enriched (16)</td><td>French</td><td>20%</td><td>Spanish</td><td>10%</td><td>Waray</td><td>8%</td></tr><tr><td>Baseline (32)</td><td>French</td><td>18%</td><td>Kapampangan</td><td>9%</td><td>Irish</td><td>5%</td></tr><tr><td>Enriched (32)</td><td>French</td><td>24%</td><td>Waray</td><td>11%</td><td>Esperanto</td><td>11%</td></tr><tr><td>Baseline (64)</td><td>French</td><td>18%</td><td>Kapampangan</td><td>14%</td><td>Interlingue</td><td>5%</td></tr><tr><td>Enriched (64)</td><td>French</td><td>22%</td><td>Esperanto</td><td>9%</td><td>Spanish</td><td>7%</td></tr></tbody></table>

<table><caption>Table 6: Three most common errors when classifying another language as Guadeloupean Creole and how much of the total number of errors each of them represents</caption><thead><tr><th>Model</th><th>Real Language</th><th>Error</th><th>Real Language</th><th>Error</th><th>Real Language</th><th>Error</th></tr></thead><tbody><tr><td>Baseline(16)</td><td>Spanish</td><td>14%</td><td>Low Saxon</td><td>7%</td><td>French</td><td>7%</td></tr><tr><td>Enriched (16)</td><td>Spanish</td><td>15%</td><td>French</td><td>11%</td><td>Finnish</td><td>11%</td></tr><tr><td>Baseline (32)</td><td>Breton</td><td>15%</td><td>Cebuano</td><td>15%</td><td>Lojban</td><td>15%</td></tr><tr><td>Enriched (32)</td><td>Kotava</td><td>14%</td><td>Spanish</td><td>12%</td><td>Portugues</td><td>12%</td></tr><tr><td>Baseline (64)</td><td>Spanish</td><td>23%</td><td>Lojban</td><td>15%</td><td>Interlingue</td><td>15%</td></tr><tr><td>Enriched (64)</td><td>Lojban</td><td>10%</td><td>Spanish</td><td>10%</td><td>Esperanto</td><td>10%</td></tr></tbody></table>

# 7 Conclusion

We produced a reliable Language Identification tool for Guadeloupean Creole and proved that enriching the training of the model with few but diverse sources of the language helps to improve the performance. We also produced a public version of our models along with a python wrapper and a terminal tool for ease of use<fnref n="2" />. There is still much room for improvement both in the design and processing of a richer set of GC examples as well as on the settings of the classification model. We hope that this article will motivate other researchers to work on the implementation of NLP tools of under-resourced languages.

<footnote n="2">²See https://gitlab.com/williamsotomartinez/gclit/</footnote>
References

Armand, J., Grave, E., Bojanowski, P., and Tomas, M. (2016). Bag of tricks for efficient text classification. *arXiv preprint arXiv:1607.01759*.

Bernabé, J. (2001). *La graphie créole*. Ibis rouge.

Bonan, C. (2018). Online corpus of guadeoupean creole. https://caterinabonan.com/corpus-of-guadeloupean-creole/ (Visited on 18/06/2020).

Brown, R. D. (2013). Selecting and weighting n-grams to identify 1100 languages. In *International Conference on Text, Speech and Dialogue*, pages 475–483. Springer.

Colot, S. and Ludwig, R. (2013). Guadeloupean and martinican creole. In Michaelis, S. M., Maurer, P., Haspemath, M., Huber, M., and Revis, M., editors, *The Survey of Pidgin and Creole Languages: Volume 2*. Oxford University Press.

Delumeau, F. (2006). *Une description linguistique du Creole Guadeloupéen dans la perspective de la génération automatique d'enonces*. PhD thesis, Université de Nanterre - Paris.

Glaude, H. (2013). Corpus Créoloral. oai:crdo.vjf.cnrs.fr:crdo-GCF, SFL Université Paris 8 - LLL Université Orléans.

Hazaël-Massieux, M.-C. (1993). Ecrire en créole(oralité et écriture aux antilles). *Journal of French Language Studies*.

Jauhiainen, T., Lui, M., Zampieri, M., Baldwin, T., and Lindén, K. (2019). Automatic language identification in texts: A survey. *Journal of Artificial Intelligence Research*, 65:675–782.

Joulin, A., Grave, E., Bojanowski, P., Douze, M., Jégou, H., and Mikolov, T. (2016). Fasttext.zip: Compressing text classification models. *arXiv preprint arXiv:1612.03651*.

Ludwig, R., Montbrand, D., Poullet, H., and Telchid, S. (1990). Abrégé de grammaire du créole guadeloupéen. *Dictionnaire créole français (Guadeloupe), avec un abrégé de grammaire créole et un lexique françaiscréole*, pages 17–38.

Millour, A. and Fort, K. (2018). Krik: First Steps into Crowdsourcing POS tags for Kréyòl Gwadloupéyen. In *CCURL 2018*, Miyazaki, Japan.

Nakatani, S. (2010). Language detection library for java. Software available at http://code.google.com/p/language-detection/ (last updated on March 2014).

Sangeeth, K. (2017). Whatthelang. Software available at https://github.com/indix/whatthelang.

Sites, D. (2013). Compact language detector 2. Software available at https://github.com/CLD2Owners/cld2 (last updated on August 2015).
Lexical encoding of multiword expressions in XMG

Agata Savary¹ Simon Petitjean² Timm Lichte³

Laura Kallmeyer² Jakub Waszczuk²

(1) University of Tours, France

(2) Heinrich Heine Universität Düsseldorf, Germany

(3) University of Tübingen, Germany

first.last@univ-tours.fr

last@phil.uni-duesseldorf.de

first.last@uni-tuebingen.de

## ABSTRACT

Multiword expressions (MWEs) exhibit both regular and idiosyncratic properties. Their idiosyncrasy requires lexical encoding in parallel with their component words. Their (at times intricate) regularity, on the other hand, calls for means of flexible factorization to avoid redundant descriptions of shared properties. However, so far, non-redundant general-purpose lexical encoding of MWEs has not received a satisfactory solution. We offer a proof of concept that this challenge might be effectively addressed within eXtensible MetaGrammar (XMG), an object-oriented metagrammar framework. We first make an existing metagrammatical resource, the FrenchTAG grammar, MWE-aware. We then evaluate the factorization gain during incremental implementation with XMG on a dataset extracted from an MWE-annotated reference corpus. This paper is part of a larger publication to appear (Savary et al., 2020).

## RÉSUMÉ

### Codage lexical d'expressions polylexicales en XMG

Les Expressions polylexicales (EP) possèdent des propriétés à la fois régulières et idiosyncratiques. Leur idiosyncrasie requiert un codage lexical au même titre que celui des mots qui les composent. D'autre part, leur régularité (parfois complexe) nécessite des moyens de factorisation afin d'éviter des descriptions redondantes des propriétés partagées. À ce jour, il n'existe pas de solution idéale pour le codage lexical généraliste et non redondant des EP. Dans cet article nous présentons une preuve de concept que ce défi pourrait être relevé dans le cadre de XMG (eXtensible MetaGrammar), qui est un formalisme métagrammatical orienté-objet. Nous montrons comment une ressource métagrammaticale existante, FrenchTAG, peut être étendue pour couvrir les EP. Nous évaluons le gain en terme de factorisation de cette ressource lors de son développement incrémental. Cette expérience est menée sur un jeu de données extrait d'un corpus de référence annoté en EP. Cet article est extrait d'un publication plus large à venir (Savary et al., 2020).

**MOTS-CLÉS** : expressions polylexicales, métagrammaire, XMG.

**KEYWORDS** : multiword expressions, metagrammar, XMG.

Multiword expressions (MWEs) are combinations of words which encompass heterogeneous linguistic objects such as idioms (IDs : *to pull one's leg*), compounds (*a hot dog*), light verb constructions (LVCs : *to pay a visit*), inherently reflexive verbs (IRVs : *s'apercevoir* 'perceive oneself' ⇒ 'realize' in French), rhetorical figures (*as busy as a bee*), or named entities (*the Sea of Tranquility*). Their
most pervasive and challenging feature is their non-compositional semantics, i.e. the fact that their meaning cannot be deduced from the literal meanings of their components, and from their syntactic structures, in a way deemed regular for the given language. For this reason, as well as because of their pervasiveness in texts, MWEs constitute a major challenge in semantically oriented NLP applications.

But MWEs also exhibit unexpected behavior on other levels of linguistic analysis including the lexical, morphological and syntactic ones. These properties can be *defective* or *restrictive* (Lichte et al., 2019). A defective property excludes a literal interpretation of the MWE, e.g. (EN) ***a lesser yellowlegs*** ‘a shore bird species’ cannot be understood literally because of the lack of number agreement between the determiner and the head noun. A restrictive property reduces the number of possible surface realizations of the MWE with respect to the literal reading. For instance in example (3), the possessive determiner has to agree with the subject, otherwise the expression can only be understood literally as in ***#John crossed her fingers.***<fnref n="1" /> Since defective and restrictive properties help distinguish literal from idiomatic readings of MWEs, their description and processing are important both for linguistic modeling and for NLP applications, including MWE identification (Constant et al., 2017).

When characterizing MWEs, some authors (Grégoire, 2010; Przepiórkowski et al., 2014) oppose the *regular* behavior of “free” phrases (i.e. those obeying the rules of a “regular” grammar), like (1), to the *idiosyncratic* behavior of MWEs, like (2)–(4).

(1) *John broke *my* mug*

(2) *John broke *his/our* fall* 'John made his/our fall less forceful'

(3) *John crossed *his* fingers* 'John hoped for good luck'

(4) *John held *his* tongue* 'John refrained from expressing his view'

Some others point out that regularity is a matter of scale rather than a binary phenomenon (Gross, 1988; Herzig Sheinfux et al., 2015). We take the latter stand, and extend it by assuming that the degree of regularity is a feature of linguistic properties on the one hand, and of MWEs on the other hand (Lichte et al., 2019). Firstly, the more (resp. less) objects share a certain property, the more it is regular (resp. idiosyncratic). For instance, allowing a possessive determiner in a Verb-Det-Noun construction is more regular than imposing that it agrees with the subject, because the former applies to (1)–(4), while the latter is limited to (3)–(4). Still the latter is not fully irregular since it is shared by many expressions. Secondly, in (3), while the direct object of the verb *to cross* is lexicalized (has to be realized by the lexeme *finger*), the subject is not. While the noun does not admit adjectival modifiers (#He crossed his long fingers.), passivization is allowed (*fingers crossed*). While the noun has to occur in plural, the verb can be inflected freely, etc. Thus, this MWE combines more regular properties (e.g. a free subject) with more idiosyncratic ones (e.g. a lexically and morphologically fixed object). Also, the MWE in (4) has the same properties (with the number of the noun fixed to singular instead of plural) except that passivization is not allowed (#His tongue was held). Therefore, the degree of regularity of the MWE in (3) can be considered higher than of the one in (4).

Because MWEs exhibit (more or less) idiosyncratic properties, their modeling has to include lexical encoding, i.e. MWEs should become separate lexical entries, additionally to their single-word components. The main challenge is then to account for the irregularity of a MWE, while avoiding redundancy, i.e. repeated description of common properties. For instance, the subject-possessive agreement is shared by (3)–(4) and many other MWEs, so its formalization should preferably be

<footnote n="1">1. The hash symbol # signals the loss of the idiomatic reading. Lexicalized components of a MWE, i.e. those always realized by the same lexemes, are marked in boldface.</footnote>
done only once, rather than repeatedly for each MWE lexicon entry. Our state-of-the-art studies have shown that no previous work seems to have addressed this challenge in a satisfactory way.

In this work, we aim at providing a proof of concept that non-redundant lexical encoding of MWEs can be effectively achieved in an object-oriented metagrammar-based approach. We use XMG (Crabbé et al., 2013; Petitjean et al., 2016), a declarative constraint-based description language in which more or less regular tree structures are modeled via a hierarchy of classes. Higher (more abstract) classes encode more elementary and less constrained structures. Lower (more specific) classes combine higher ones and impose new constraints on these combinations. Both single-word lexemes and MWEs are then expressed as lexical entries assigned to particular low-level classes (usually leaves) of this class hierarchy. The description is independent of a particular grammatical framework but XMG comes with metagrammar compilers into several formalisms including Tree Adjoining Grammar (TAG). We therefore test our proposal on FrenchTAG (Crabbé, 2005), a pre-existing XMG resource which implements a large fragment of a reference grammar of French (Abeillé, 2002). We show how FrenchTAG can be adapted and extended so as to accommodate a small subset of verbal MWEs (VMWEs) of different syntactic structures and of varying degrees of syntactic flexibility. We evaluated the proposal on a dataset based on the PARSEME corpus of VMWEs (Savary et al., 2018). The experiment showed that adding MWE descriptions to a general grammar can be done elegantly by introducing interface constraints in pre-existing classes (to account for restrictive properties), and by adding some new classes (to account for defective properties and for various syntactic structures of lexicalized verbal arguments).

This abstract is part of a larger publication to appear (Savary et al., 2020).

Références

Abeillé, A. (2002). *Une grammaire électronique du français*. CNRS Editions.

Constant, M., Eryiğit, G., Monti, J., van der Plas, L., Ramisch, C., Rosner, M., and Todirascu, A. (2017). Multiword Expression Processing : A Survey. *Computational Linguistics*, 43(4):837–892.

Crabbé, B., Duchier, D., Gardent, C., Roux, J. L., and Parmentier, Y. (2013). XMG : extensible metagrammar. *Computational Linguistics*, 39(3):591–629.

Crabbé, B. (2005). *Représentation informatique de grammaires d'arbres fortement lexicalisées : le cas de la grammaire d'arbres adjoints*. PhD thesis, Université Nancy 2.

Grégoire, N. (2010). DuELME : a Dutch electronic lexicon of multiword expressions. *Language Resources and Evaluation*, 44(1-2):23–39.

Gross, G. (1988). Degré de figement des noms composés. *Langages*, 90:57–71. Paris : Larousse.

Herzig Sheinfux, L., Arad Greshler, T., Melnik, N., and Wintner, S. (2015). Hebrew verbal multiword expressions. In Müller, S., editor, *Proceedings of the 22nd International Conference on Head-Driven Phrase Structure Grammar, Nanyang Technological University (NTU), Singapore*, pages 122–135, Stanford, CA. CSLI Publications.

Lichte, T., Petitjean, S., Savary, A., and Waszczuk, J. (2019). Lexical encoding formats for multiword expressions : The challenge of “irregular” regularities. In Parmentier, Y. and Waszczuk, J., editors, *Representation and parsing of multiword expressions : Current trends*, pages 1–33. Language Science Press, Berlin.
Petitjean, S., Duchier, D., and Parmentier, Y. (2016). XMG 2: Describing description languages. In Amblard, M., de Groote, P., Pogodalla, S., and Retoré, C., editors, *Logical Aspects of Computational Linguistics. Celebrating 20 Years of LACL (1996-2016) - 9th International Conference, LACL 2016, Nancy, France, December 5-7, 2016, Proceedings*, volume 10054 of *Lecture Notes in Computer Science*, pages 255–272.

Przepiórkowski, A., Hajnicz, E., Patejuk, A., and Woliński, M. (2014). Extended phraseological information in a valence dictionary for NLP applications. In *Proceedings of the Workshop on Lexical and Grammatical Resources for Language Processing (LG-LP 2014)*, pages 83–91, Dublin, Ireland. Association for Computational Linguistics and Dublin City University.

Savary, A., Candito, M., Mititelu, V. B., Bejček, E., Cap, F., Čéplö, S., Cordeiro, S. R., Eryiğit, G., Giouli, V., van Gompel, M., HaCohen-Kerner, Y., Kovalevskaitė, J., Krek, S., Liebeskind, C., Monti, J., Escartín, C. P., van der Plas, L., QasemiZadeh, B., Ramisch, C., Sangati, F., Stoyanova, I., and Vincze, V. (2018). PARSEME multilingual corpus of verbal multiword expressions. In Markantonatou, S., Ramisch, C., Savary, A., and Vincze, V., editors, *Multiword expressions at length and in depth: Extended papers from the MWE 2017 workshop*, pages 87–147. Language Science Press., Berlin.

Savary, A., Petitjean, S., Lichte, T., Kallmeyer, L., and Waszczuk, J. (2020+). Object-oriented lexical encoding of multiword expressions : Short and sweet. *Lexique*, forthcoming.
# Enregistrements de longue durée: Opportunités et défis

Lucas Gautheron¹ Marvin Lavechin¹, ² Rachid Riad¹, ², ³ Camila Scaff ⁴,¹
Alejandrina Cristia¹

(1) Laboratoire de Sciences Cognitives et de Psycholinguistique, Département d'Etudes cognitives, ENS, EHESS, CNRS, PSL University, Paris, France

(2) CoML Team, INRIA, Paris, France

(3) Laboratoire de Neuropsychologie Interventionnelle, Département d'Etudes cognitives, ENS, INSERM, UPEC, PSL University, Paris, France

(4) University of Zurich, Zurich, Switzerland
alecristia@gmail.com*

## RÉSUMÉ

Bénéficiant d'améliorations technologiques récentes, des appareils audio légers et portables sont désormais capables d'enregistrer des dizaines d'heures sans interruption. Nous proposons une description générale de cette technique pour l'étude de la parole, et faisons le point sur ses avantages et inconvénients. Grâce à elle, les linguistes de terrain bénéficient d'un accès unique au langage dans un contexte plus naturel. Cependant, ces enregistrements restent difficiles à annoter manuellement ou automatiquement, en raison de leur durée, du bruit, et de la sensibilité des informations qu'ils peuvent contenir. Des outils open-source plus facilement appropriables, auxquels les spécialistes des technologies de la parole peuvent contribuer, favorisent la reproductibilité des travaux des chercheurs. En outre, de nouvelles approches aux techniques d'annotation manuelles ou automatiques rendent cette technique opérationnelle et prometteuse.

## ABSTRACT

**Longform recordings : Opportunities and challenges**

Technological developments have allowed the development of lightweight, wearable recorders that collect audio (including speech) lasting up to a whole day. We provide a general description of the technique and lay out the advantages and drawbacks when using this methodology. Field linguists may gain a uniquely naturalistic viewpoint of language use as people go about their everyday activities. However, due to their duration, noisiness, and likelihood of containing sensitive information, long-form recordings remain difficult to annotate manually. Open-source tools improve reproducibility and ease-of-use for researchers, to which end speech technologists can contribute. Additionally, new approaches to human and automated annotation make the study of speech in longform recordings increasingly feasible and promising.

**MOTS-CLÉS** : enregistrements longs ; validité écologique ; traitement automatique de la parole.

**KEYWORDS** : daylong recordings ; ecological validity ; automatic speech processing.

Recent years have seen the rise of data collection through wearable, light-weight and unobtrusive devices that collect audio for tens of hours at a time, allowing a uniquely naturalistic viewpoint of language use as people go about their everyday activities. Over nearly a decade, our team gained first-hand experience with the incredible benefits as well as the painful points of this data collection

<footnote>∗ We acknowledge ANR-16-DATA-0004 ACLEW, ANR-17-EURE-0017; and the J. S. McDonnell Foundation</footnote>
<figure><img src="image_23.png" /><figcaption>FIGURE 1 – Examples of wearable recorders. (a) Tsimané child wearing a LENA device in the front pocket of a purpose-made vest. (b) Smart watch recording audio, heart rate, and movement, adapted from Fig 1 in (Liaqat et al., 2018). (c) Body camera on a South Carolina police officer (Ryan Johnson, CC BY-SA 2.0).</figcaption></figure>

technique. By now, our lab has over 20,000 hours of audio, capturing language experiences of over 1,000 children, learning one or more of 16 typologically diverse languages. We provide a brief introduction to this technique, in the hope of allowing our colleagues to decide when it may be a useful tool to add to their kit (for detailed information, see (Casillas et al., 2019)).

# 1 Interest of the method

## 1.1 Providing decisive evidence on long-standing debates

Short recordings and controlled data elicitation provide crucial information about language perception and production, but we still know little about spontaneous language use in naturalistic environments. A new window on this was opened by daylong recordings. The technique has already proven fruitful in the field of language acquisition, from where we provide several examples.

One of the key theoretical questions in the field was whether language development is mainly driven by infants wish to communicate, or other processes. Kim Oller and colleagues have been studying development of speech in infancy for many decades, and had discovered that there are speech-like sounds, called protophones, even in young infants – but this still did not settle the question of *why* infants vocalize like this. Only recently, using infant-centered daylong recordings, Oller and colleagues were able to show that, in 6-month-olds, vocalizations were more advanced when the
infant was *not* being talked to, suggesting these vocalizations are endogeneous rather socially driven (Lee et al., 2018). Other results also contradicted prior beliefs that cries were more abundant than protophones at early stages, as the opposite was true even among preterm and fullterm newborns, suggesting in a way that infants are literally born to produce speech (Oller et al., 2019).

The interest for this technique is increasing beyond the language acquisition community. Additional applications being explored include the relationship between social interaction and well-being (Sun et al., 2019), activities among adults suffering from pulmonary diseases (Wu et al., 2018), and measurement of speech and language correlates of neurodegenerative diseases (Riad et al., 2020).

## 1.2 Drawbacks and challenges

The technique of long-form recordings also comes with its own challenges and limitations. Extracting information from the data may be challenging. The technique produces large amounts of audio which cannot be manually annotated as a whole. Automated tools are thus often required to extract sections and/or annotate the data automatically. However, there are no off-the-shelf solutions for automated annotation, which instead require active development by experts in speech and language technology. Still, even when these tools are developed, they do not have perfect accuracy, and thus it may be impossible to detect small effects. Indeed, contrary to lab-controlled experiments, the data suffer from significant background noise, and are potentially subject to a variety of soundscapes.

Furthermore, recordings might contain confidential or sensitive information, including from people who are accidentally recorded and have therefore not provided informed consent. As a result, researchers often need to ponder difficult ethical and legal questions, for which they may need advice from experts in law and ethics, who may not be familiar with long-form recordings from wearables. Storage on embedded devices or on untrustworthy third-party services such as cloud platforms might require encryption. Data transfers should be secure to prevent leaks beyond the research community.

## 1.3 When should LIFT members consider using and/or contributing to this technique ?

As with any (new) technique, one should make sure it is appropriate for its research purposes before engaging in it. For readers who are considering **collecting data** with long-form recordings from wearable, we clarify that these recordings are most valuable when (1) ecological validity is key (where e.g. elicitation is inappropriate), (2) unbiased sampling is important, and (3) the phenomenon studied occurs frequently in language use and it is robust to the presence of ambient noise (particularly if automated annotation will be used). We provide some information specifically for LIFT members here (see Casillas et al., 2019 for more examples).

We expect that field linguists in LIFT will find it particularly useful to collect data with wearables when interested in language use in situations where their presence as an observer may not allow a behavior to develop naturally, and when their informants find it hard to report on the use of a form (or their reports may not reflect actual use). To give a specific example, one of our collaborators uses the samples to study patterns of language switching in a highly multilingual community. After her informant has worn the recording device for a whole day, she extracts sections with speech randomly throughout the day, and uses them as prompts to discuss with her informants which language was
<figure><img src="image_24.png" /><figcaption>FIGURE 2 – Overview of current solutions for longform recordings, mainly applied to early language acquisition research.</figcaption></figure>

being used, by whom, and why they think that language was used rather than the others (e.g., because of who was overhearing the conversation, or because of the topic).

As for **contributing to the technique's development**, computational linguists in LIFT will find it easiest to contribute to this literature if they already have some experience working with speech, as it has so far proved difficult to use automatic speech recognition (ASR) to generate automated transcriptions. Even a recent study on typical English-speaking adults had humans transcribe the clips, rather than using ASR. But we hope this will not discourage LIFT computational linguists who are interested in this emergent field, as there are many opportunities to start dipping one's toes in, for instance via participation in public challenges (Ryant et al., 2019; Schuller et al., 2019).

# 2 Tools and ecosystem

## 2.1 LENA

The most commonly used hardware and software for automatically analysing infant's speech is the Language Environment Analysis (LENA©), a commercial lightweight recorder worn in a specially designed vest associated with a closed-source speech processing algorithm. A key strength of LENA is that it provides users with an end-to-end pipeline to collect and analyze daylong recordings, making it efficient and easy to use. LENA's recorders have been designed to be unobtrusive and easy-to-wear to improve the ecological validity of field observations by reducing observer bias. The hardware can record up to 16 hours and can only be analysed by the associated software. Their software was trained on American English input to children aged 0-4 years. It generates an automatic analysis of three key estimates of the child's environment : the number of words spoken by a nearby adult ; the number of times the child made any kind of linguistically relevant vocalization (i.e., speech or babble and
excluding vegetative noises, laughter or crying); and the number of exchanges between an adult and the child within a five seconds window, considered as “turns”. The LENA technology has been used in numerous studies (Dykstra Steinbrenner et al., 2012; Vandam et al., 2015; Ferjan Ramírez et al., 2020).

The LENA system has been found to be fairly accurate in quantifying children's language environment. A recent study comparing the algorithm automated measures to manual human transcriptions found high correlations for the two measures quantifying the number of adult and child's vocalizations and a moderate correlation for the number of turns (Cristia et al., 2020). Studies on annotations automatically extracted by the LENA speech processing pipeline did not reveal great differences in adult word count accuracy between American English and other languages including Swedish (Schwarz et al., 2017) and French (Canault et al., 2015).

However, there have also been some reports of a problematic level of performance for some of LENA's outputs (notably the key child's vocalization recall) (Cristia et al., 2019). This means researchers using LENA output are relying on a noisy analysis, which potentially hides small statistical effects.

Moreover, despite its use in many linguistic studies and its wide acceptation in the child language community, LENA imposes several limiting factors to scientific progress. There is currently no way to build upon LENA speech processing models as their software is closed source, and gathering information about design choices and their potential impact on performance remains a tedious task. Concerning the recorder, LENA designers' hardware choices cannot be revised. This has raised multiple questions that remain to be answered, mainly : Does a single-channel microphone allow us to capture the full complexity of the child's language environment ? Can alternative models provide us with more faithful metrics of this environment ? Addressing these questions must start by creating open-source alternatives to LENA.

<table><caption>TABLE 1 – Technical characteristics of various recording devices suitable for child-centered audio collection.</caption><thead><tr><th rowspan="2">Device</th><th colspan="3">Autonomy</th><th colspan="4">Audio properties</th></tr><tr><th>Battery</th><th>Storage</th><th>Channels</th><th>Sampling rate</th><th>Bit depth</th><th>Weight</th><th>Cost (US$)</th></tr></thead><tbody><tr><td>LENA</td><td>30 h</td><td>15 h</td><td>1</td><td>16 kHz<sup>1</sup></td><td>16</td><td>200 g</td><td>300</td></tr><tr><td>BabyLogger</td><td>24 h</td><td>SD<sup>2</sup></td><td>4</td><td>16 kHz</td><td>16</td><td>200 g</td><td>500</td></tr><tr><td>USB</td><td>15 h</td><td>150 h</td><td>1</td><td>16 kHz</td><td>8</td><td>50 g</td><td>20</td></tr><tr><td>Olympus</td><td>25 h</td><td>SD<sup>2</sup></td><td>1</td><td>22 kHz<sup>3</sup></td><td>32<sup>3</sup></td><td>400 g</td><td>300</td></tr></tbody></table>

## 2.2 Alternative tools

We have been leading an effort to build open-source alternatives to LENA speech processing algorithms, providing researchers with models that have similar outputs to the ones returned by LENA, as well as undertaking systematic comparisons of these models with their LENA counterpart. We released a voice type classifier (Lavechin et al., 2020) classifying audio segments into vocalizations

<footnote n="1">1. Audio undergoes a 10 kHz low-pass filter.</footnote>

<footnote n="2">2. Limited by the mini SD card the user fits in.</footnote>

<footnote n="3">3. Can be adjusted by the user.</footnote>
produced by the child wearing the recording device, vocalizations produced by other children, adult male speech, and adult female speech. Building upon this effort, a linguistic unit count estimator (Räsänen et al., 2020) has been developed, allowing users to count the number of words, syllables or phonemes produced by adult speakers. These two models have been shown to outperform their LENA counterpart. We redirect our readers to those papers for more in-depth analysis.

As for the hardware, there exist multiple lightweight recording devices available in the market that one might use to acquire speech, from body mounted cameras to digital voice recorders, each with their own hardware specification (see Fig. 1). There are fewer alternatives to specifically acquire child’s speech (Table 1) as these devices require particular safety norms and design to be wearable by young children. One interesting alternative that has been specifically designed for child data acquisition is the BabyLogger (Cao et al., 2018), using an array of four microphones, as opposed to one for LENA. The BabyLogger also performs on-the-fly encryption, protecting the privacy of the participants in case the device is lost or stolen. In the context of patient monitoring, smartwatches (1b) paired with smartphones have also been employed, allowing teletransmission of the data to a remote server at the expense of lesser audio quality (because of bandwidth limitations) and lower duty cycles (to avoid premature battery shortage) (Liaqat et al., 2018). However, more work is needed to know whether or not different hardware specifications might lead to different views on language environments.

## 2.3 Manual annotations

Because of the noisy nature of the recordings, today's classification algorithms might perform too poorly for practical analyses. Even low-level tasks such as speech detection or diarization can be hard to achieve automatically (Ryant et al., 2019).

Therefore, to evaluate these algorithms for specific corpora and for improving these machine learning models, additional manual annotations are required. In these difficult audio data, human annotations take about 40 times the audio duration. Typical datasets of daylong child recordings can contain thousands of hours of audio, and would require hundreds of thousands of work time to be fully annotated. Nonetheless, it is possible to reduce the amount of audio to annotate manually in a few ways, including by performing random sampling of the data with uniform or non-uniform priors.

We developed a manual annotation scheme to help researchers annotating daylong recordings in a systematic way, thus improving reproducibility and comparisons across studies (Casillas et al., 2017). In a nutshell, our annotation scheme allows researchers to both contribute to machine learning efforts and serve their research goals : Talkers are segmented, and certain layers of information can be added optionally, including transcription or classification into fixed classes (e.g., vocalization type : crying, laughing, canonical, non-canonical).

When adding layers of annotations on top of audio data, researchers face many challenges to handle their campaign of annotations : the problem around files management (ex : character-encoding problems, incorrect naming of files), the non-conformity of the annotations to the schema established by researchers (misuse of symbols), and the inconsistency of the annotations (not properly annotated). That is why we introduced the Seshat software (Titeux et al., 2020). It allows researchers to easily customise and standardize annotations and manage annotators. Finally, to measure how “reliable” are the annotations, we implemented an open-source version of the Gamma Agreement measure in Python (Titeux and Riad, 2020). This allows to measure inter and intra annotator agreement for the type of annotations around speech data.