It would be impractical to rely solely on experts to manually annotate such volumes of audio. Most recently, our team launched a crowd-sourcing project on Zooniverse asking citizens' help to solve simple classification tasks on short audio chunks drawn from the daylong recordings, which proved quite accurate and will allow data annotation at a much larger scale (Semenzin et al., 2020).

# 3 Conclusion

Despite the many challenges that data from wearables bring, we believe this is a technique fitting to the 21st century, and merits our colleagues' attention as a potential tool in their kit. We highly recommend it to those who are particularly concerned by ecological validity of their observations, and who are interested in phenomena that is common and can be studied from surface (acoustic) features. This is a field in expansion, with at least one speech technology challenge on average over the last 3 years, which is ideal for promoting interactions between speech technologists and field linguists.

# Références

Canault, M., Normand, M.-T. L., Foudil, S., Loundon, N., and Thai-Van, H. (2015). Reliability of the language ENvironment analysis system (LENA™) in european french. *Behavior Research Methods*, 48(3):1109–1124.

Cao, X.-N., Dakhlia, C., Del Carmen, P., Jaouani, M.-A., Ould-Arbi, M., and Dupoux, E. (2018). Baby Cloud, a technological platform for parents and researchers. In *LREC 2018 - 11th edition of the Language Resources and Evaluation Conference, Proceedings of LREC 2018*, Miyazaki, Japan.

Casillas, M., Bergelson, E., Warlaumont, A. S., Cristia, A., Soderstrom, M., VanDam, M., and Sloetjes, H. (2017). A new workflow for semi-automatized annotations : Tests with long-form naturalistic recordings of childrens language environments. In *Proc. Interspeech 2017*, pages 2098–2102.

Casillas, M., Cristia, A., Zwaan, R., and Dingemanse, M. (2019). A step-by-step guide to collecting and analyzing long-format speech environment (LFSE) recordings. *Collabra : Psychology*, 5(1). 24.

Cristia, A., Bulgarelli, F., and Bergelson, E. (2020). Accuracy of the language environment analysis system segmentation and metrics : A systematic review. *Journal of Speech, Language, and Hearing Research*, 63(4):1093–1105.

Cristia, A., Lavechin, M., Scaff, C., Soderstrom, M., Rowland, C., Räsänen, O., Bunce, J., and Bergelson, E. (2019). A thorough evaluation of the language environment analysis (lena) system. *Behavior Research Methods*.

Dykstra Steinbrenner, J., Sabatos-DeVito, M., Irvin, D., Boyd, B., Hume, K., and Odom, S. (2012). Using the language environment analysis (lena) system in preschool classrooms with children with autism spectrum disorders. *Autism : the international journal of research and practice*, 17.

Ferjan Ramírez, N., Lytle, S. R., and Kuhl, P. K. (2020). Parent coaching increases conversational turns and advances infant language development. *Proceedings of the National Academy of Sciences*, 117(7).

Lavechin, M., Bousbib, R., Bredin, H., Dupoux, E., and Cristia, A. (2020). An open-source voice type classifier for child-centered daylong recordings. *Interspeech*.
Lee, C.-C., Jhang, Y., Relyea, G., Chen, L.-m., and Oller, D. K. (2018). Babbling development as seen in canonical babbling ratios: A naturalistic evaluation of all-day recordings. *Infant Behavior and Development*, 50:140–153.

Liaqat, D., Wu, R., Gershon, A., Alshaer, H., Rudzicz, F., and de Lara, E. (2018). Challenges with real-world smartwatch based audio monitoring. In *Proceedings of the 4th ACM Workshop on Wearable Systems and Applications*, WearSys ’18, page 54–59, New York, NY, USA. Association for Computing Machinery.

Oller, D. K., Caskey, M., Yoo, H., Bene, E. R., Jhang, Y., Lee, C.-C., Bowman, D. D., Long, H. L., Buder, E. H., and Vohr, B. (2019). Preterm and full term infant vocalization and the origin of language. *Scientific Reports*, 9(1):14734.

Räsänen, O., Seshadri, S., Lavechin, M., Cristia, A., and Casillas, M. (2020). Alice: An open-source tool for automatic measurement of phoneme, syllable, and word counts from child-centered daylong recordings. *Behavior Research Methods*, pages 1–18.

Riad, R., Titeux, H., Lemoine, L., Montillot, J., Bagnou, J. H., Cao, X. N., Dupoux, E., and Bachoud-Lévi, A.-C. (2020). Vocal markers from sustained phonation in huntington’s disease. *Interspeech*.

Ryant, N., Church, K., Cieri, C., Cristia, A., Du, J., Ganapathy, S., and Liberman, M. (2019). The second dihard diarization challenge: Dataset, task, and baselines. *arXiv preprint arXiv:1906.07839*.

Schuller, B. W., Batliner, A., Bergler, C., Pokorny, F. B., Krajewski, J., Cychosz, M., Vollmann, R., Roelen, S.-D., Schnieder, S., Bergelson, E., et al. (2019). The INTERSPEECH 2019 Computational Paralinguistics Challenge: Styrian Dialects, Continuous Sleepiness, Baby Sounds & Orca Activity. In *Interspeech*, pages 2378–2382.

Schwarz, I.-C., Botros, N., Lord, A., Marcusson, A., Tidelius, H., and Marklund, E. (2017). The LENA system applied to swedish: Reliability of the adult word count estimate. In *Interspeech 2017. ISCA*.

Semenzin, C., Hamrick, L., Seidl, A., Kelleher, B., and Cristia, A. (2020). Towards large-scale data annotation of audio from wearables: Validating zooniverse annotations of infant vocalization types. (Accessed on 11/25/2020).

Sun, J., Harris, K., and Vazire, S. (2019). Is well-being associated with the quantity and quality of social interactions? *Journal of Personality and Social Psychology*.

Titeux, H. and Riad, R. (2020). *pygamma-agreement: Gamma γ measure for inter/intra-annotator agreement in Python*.

Titeux, H., Riad, R., Cao, X.-N., Hamilakis, N., Madden, K., Cristia, A., Bachoud-Lévi, A.-C., and Dupoux, E. (2020). Seshat: A tool for managing and verifying annotation campaigns of audio data. In *LREC 2020 - 12th Language Resources and Evaluation Conference*, Marseille, France.

Vandam, M., Oller, D. K., Ambrose, S., Gray, S., Richards, J., Gilkerson, J., Silbert, N., and Moeller, M. (2015). Automated vocal analysis of children with hearing loss and their typical and atypical peers. *Ear and hearing*, 36.

Wu, R., Liaqat, D., de Lara, E., Son, T., Rudzicz, F., Alshaer, H., Abed-Esfahani, P., and Gershon, A. S. (2018). Feasibility of using a smartwatch to intensively monitor patients with chronic obstructive pulmonary disease: Prospective cohort study. *JMIR mHealth and uHealth*, 6(6):e10046.
# Modèles d'annotations morphologiques pour le traitement de données multivariées de l'arménien

Chahan Vidal-Gorène¹ Victoria Khurshudyan² Anaïd Donabédian²

(1) École Nationale des Chartes-PSL, 65 rue Richelieu, 75002 Paris, France

(2) SeDyL, UMR8202, INALCO, CNRS, IRD, 65 rue des Grands Moulins, 75013 Paris, France

chahan.vidal-gorene@chartes.psl.eu, victoria.khurshudyan@inalco.fr, anaid.donabedian@inalco.fr

## RÉSUMÉ

L'arménien est une langue comprenant de multiples variantes très inégales en termes de ressources disponibles en TAL. Nous avons entraîné un RNN pour réaliser l'annotation morphologique de différentes variantes de l'arménien, afin d'en comparer les résultats avec une approche par règles. Plusieurs tests ont permis d'évaluer la réutilisation d'un modèle non spécialisé de lemmatisation et de POS-tagging pour des variétés linguistiques sous représentées. Notre recherche s'est concentrée sur trois dialectes et a été étendue à l'arménien occidental, avec une précision moyenne de 94,00% en lemmatisation et 97,02% en POS-tagging, ainsi que sur une éventuelle réutilisation des modèles pour couvrir différentes autres variétés de l'arménien (jusqu'à 81% en POS-tagging). Nous montrons qu'une approche par RNN peut être une alternative valable à une approche par règles dans le cas d'une langue peu dotée et multivariées, en tenant compte de facteurs tels que la rapidité de traitement, la réutilisabilité pour différentes variétés d'une langue, et du gain qualitatif significatif en annotation morphologique.

## ABSTRACT

### Morphological Annotation Models for Armenian Multivariational Data Processing

Armenian is a language with significant variation and unevenly distributed NLP resources for different varieties. An attempt is made to process an RNN model for morphological annotation on the basis of different Armenian data and to compare the annotation results of RNN and rule-based models. Different tests were carried out to evaluate the reuse of an unspecialized model of lemmatization and POS-tagging for under-resourced language varieties. The research focused on three dialects and further extended to Western Armenian with a mean accuracy of 94,00% in lemmatization and 97,02% in POS-tagging, as well as a possible reusability of models to cover different other Armenian varieties (up to 81% in POS-tagging). It is argued that an RNN-based model can be a valid alternative to a rule-based one giving consideration to such factors as time-consumption, reusability for different varieties of a target language and significant qualitative results in morphological annotation results.

**MOTS-CLÉS** : variation linguistique, linguistique de corpus, arménien, RNN, règles-dictionnaire, étiquetage morphologique.

**KEYWORDS:** linguistic variation, corpus linguistics, Armenian, RNN, rule-based, morphological tagging.
# 1 Introduction

Le renouvellement des ressources du traitement automatique des langues (TAL) au moyen de diverses ressources d'intelligence artificielle et réseaux de neurones (comme les réseaux de neurones récurrents, ci-après RNN) ainsi que le traitement de la variation linguistique présente un défi considérable en linguistique et en TAL pour les langues peu dotées. L'article explore et compare les différentes approches et méthodologies de lemmatisation et d'annotation linguistique pour un corpus multivariationnel, plus particulièrement pour un corpus combinant une variation diachronique et une variation synchronique<fnref n="1" />. L'annotation d'un corpus peut être réalisée via deux approches :

1. une approche classique dite par règles-dictionnaires, qui fait appel à un ensemble de règles pré-établies associées à un dictionnaire des formes annotées. Cette approche nécessite un temps de développement très important et les règles créées sont propres à un état de langue, sur lequel elle est très performante (Dereza, 2018);

2. une approche avec des réseaux de neurones, entraînés sur des corpus déjà annotés et qui peuvent réaliser des prédictions sur un nouveau corpus. Les RNN permettent en particulier de réaliser des annotations sur des tokens inconnus, qui sont prédominants dans le cas de corpus très différents, et de proposer des annotations contextuelles (Dereza, 2018). Il s'agit d'une approche gourmande en ressources et en données, mais qui, dans le cas de langues peu dotées, peut constituer une alternative intéressante et efficace à l'approche par règles-dictionnaires.

Jusqu'à présent, l'annotation linguistique (lemmatisation, POS-tagging, annotation morphologique et lexicale) des différentes variétés de l'arménien a principalement été réalisée avec des approches par règles-dictionnaires. Ces approches ont prouvé leur efficacité lorsque le système descriptif est suffisamment complet (dictionnaire), précis (règles) et le corpus traité homogène du point de vue de la variation linguistique (Khorshudyan et al., 2021) [pour l'arménien oriental], mais elles s'avèrent vite limitées et perturbées par différents facteurs identifiés (Vidal-Gorène and Kindt, 2020) [pour l'arménien classique]. Bien que souvent pertinentes, les approches par règles-dictionnaires souffrent de l'important temps de développement, et donc de ressources humaines, qu'elles nécessitent et de leur manque de polyvalence, en particulier pour des variations d'une même langue. Constituer des corpus annotés des différentes variations de l'arménien est en enjeu essentiel pour l'étude de cette langue, mais les annoter à la main ou créer un système de règles-dictionnaire pour chacun d'entre eux est difficilement envisageable.

La présente recherche vise donc à explorer une alternative reposant sur des RNN pour annoter des variantes de l'arménien avec un même modèle. Cette approche a été favorisée pour sa flexibilité et son déploiement rapide, aussi bien linguistiquement que structurellement, sur des datasets variés. Les RNN permettent en particulier de réaliser des annotations sur des tokens inconnus, qui sont prédominants dans le cas de corpus multi-variantes, et de proposer des annotations contextuelles (Dereza, 2018). Des alternatives reposant sur des RNN ont déjà été testées pour l'arménien oriental (Arakelyan et al., 2018; Yavrumyan, 2019), et pour l'arménien classique (Vidal-Gorène and Kindt, 2020), et obtiennent des résultats très variables selon la spécialisation du registre du texte annoté, la taille de la base de données d'apprentissage et le pourcentage de tokens inconnus. Une tentative d'annotation morphologique de différentes ressources en arménien (issues de corpus morphologiquement annotés ou non) est ainsi

<footnote n="1">1. Les analyses de l'article reprennent partiellement les résultats d'une plus grande recherche visant à créer un corpus unifié diachronique et variationnel de la langue arménienne et plus particulièrement centrée sur le traitement des dialectes arméniens (Vidal-Gorène et al., 2020).</footnote>
réalisée dans une démarche comparative avec les approches précédentes, afin d'évaluer le possible
réemploi d'un modèle spécifique de lemmatisation et de POS-tagging sur des variantes linguistiques
diverses et peu dotées, et les conditions d'une telle réutilisation.

2 La langue arménienne et état de l'art de ses ressources TAL

L'arménien est une langue indo-européenne à alignement nominatif-accusatif. Dans ses variantes modernes, la langue est morphologiquement dotée d'un système nominal essentiellement agglutinant et d'un système verbal plus fusionnel. Syntaxiquement, c'est une langue à tête finale, dont l'ordre des mots est flexible au niveau de la proposition (SVO / SOV).

La langue arménienne connaît d'importantes variations, que l'on peut schématiquement représenter
par un axe horizontal diachronique allant de l'arménien classique (Vᵉ-XIIᵉ siècles) et l'arménien
moyen (XIᵉ-XVIIᵉ siècles) à l'arménien moderne (XVIIᵉ siècle – aujourd'hui), et par un cercle
décrivant le continuum synchronique arménien composé des deux standards de l'arménien moderne
(oriental et occidental, standardisés au 19ᵉ siècle), de nombreux dialectes et variétés vernaculaires
[pour plus d'informations sur la variation linguistique de l'arménien et son contexte géographique
voir (Donabédian, 2018; Donabédian and Sitaridou, 2021)].

L'intercompréhension entre les variétés concernées peut varier d'une intelligibilité partielle à nulle. Ainsi, l'arménien classique est une langue flexionnelle avec une riche morphologie (presque totale-ment inintelligible pour le locuteur contemporain non-initié), l'arménien moyen est intermédiaire entre l'arménien classique et les variantes modernes, et se caractérise par une prolifération des paradigmes morphologiques, ainsi que l'abondance de lexique emprunté (presque totalement inintelli-gibles pour le locuteur contemporain), et enfin l'arménien occidental moderne et l'arménien oriental moderne et les trois dialectes choisis ont certains traits convergents, notamment une morphologie plus agglutinante, mais si l'intercompréhension entre les deux standards est relativement importante, a fortiori à l'écrit, les dialectes restent largement incompréhensibles pour les locuteurs des standards.

Bien que doté d'une tradition écrite multiséculaire, l'arménien manque significativement de ressources
numériques. Plusieurs projets importants se consacrent au développement de ressources TAL pour
des variétés arméniennes spécifiques participant d'une dynamique générale ascendante.

Les ressources existantes sont hétérogènes en termes d'accessibilité, de formatage et d'arrière-plan
linguistique, lorsqu'elles existent pour une variante, elles ne la couvrent que très partiellement (à
l'exception de l'EANC, qui vise à l'exhaustivité pour l'arménien oriental moderne), la majorité des
variantes de l'héritage linguistique arménien sont totalement absentes, et les ressources de base du
TAL sont encore plus rare.

Arménien classique : Les ressources les plus importantes de l'arménien classique comprennent la Bibliothèque numérique de littérature arménienne (Digital Library of Armenian Literature - Digilib) 2 avec une base de données textuelle simple, sans annotations linguistiques; le corpus de la Bible (environ 630 000 tokens avec 60 000 tokens uniques et 12 000 lexèmes) avec annotation morphologique complète et alignement anglais réalisé par la fondation Arak29 3 ; un corpus linguistique plus modeste (66 812 tokens avec 16 000 tokens uniques) spécialisé dans les textes hellénophiles classiques

<footnote n="2">2. www.digilib.am</footnote>

<footnote n="3">3. www.arak29.am</footnote>
arméniens (6ème-7ème siècles) établi par le projet GREgORI (UCLouvain)<fnref n="4" />, le projet Calfa avec sa plateforme complète de dictionnaire de référence d'arménien classique en ligne (1,3 million de tokens, 190 000 tokens uniques)<fnref n="5" />, et plusieurs autres bases de données d'arménien classique (projet TITUS<fnref n="6" />, Leiden Armenian Lexical Textbase<fnref n="7" />).

*Arménien moyen*: Aucun corpus dédié à l'arménien moyen et à l'arménien occidental moderne n'est actuellement disponible.

*Arménien moderne occidental*: Digilib possède la plus importante base de données en texte brut de fiction et de textes historiques de l'arménien occidental moderne des XIXᵉ et XXᵉ siècles.

*Arménien moderne oriental*: La plus grande ressource pour l'arménien oriental est le Corpus national de l'arménien oriental (EANC)<fnref n="8" />, un corpus exhaustif en libre accès avec environ 110 millions de tokens (du milieu du XIXᵉ siècle à aujourd'hui) et une annotation morphologique complète utilisant une approche fondée sur des règles. Le laboratoire YerevaNN et les UD<fnref n="9" /> fournissent un échantillon annoté de l'arménien oriental moderne sous la forme d'une banque complète d'arbres de dépendance (53 000 tokens).

*Dialectes arméniens*: Le seul corpus dialectal<fnref n="10" /> accessible en ligne a été conçu dans le cadre du projet de recherche EANC (environ 40 heures d'enregistrements et 250 000 tokens).

## 3 Datasets, expériences et méthodologies

Cinq principaux datasets<fnref n="11" /> ont été constitués pour nos expérimentations : trois sur des variantes dialectales documentées et transcrites dans le cadre du projet de recherche EANC, et deux correspondant à chacun des standards de l'arménien moderne. Trois datasets mixtes ont été établis pour évaluer les gains potentiels en combinant les ressources. Ces données proviennent de la base de données de EANC.

1. **D-Ab**: Ce dataset est composé de transcriptions orales (15 heures, 16 informants) du dialecte d'Arcvaberd (Shamshadin, région de Tavush). Il comprend 120 258 wordforms (14 405 uniques) annotées manuellement. Il s'agit du dataset dialectal le plus important mais aussi le moins varié, avec seulement 4 120 lemmes uniques. **D-Ab** comporte de très nombreuses formes ambiguës, c'est-à-dire dont l'annotation définitive nécessite un arbitrage en fonction du contexte.

2. **D-Ga**: Ce dataset est composé de transcriptions orales (15 heures, 26 informants) du dialecte de Gusana (Maralik, région de Shirak). Il est composé de 100 352 wordforms (20 647 uniques) annotées manuellement. Avec un volume équivalent à **D-Ab**, il est beaucoup plus varié avec 9 087 lemmes uniques. En conséquence, nous trouvons beaucoup plus de tokens inconnus dans l'ensemble des tests qui lui est associé et **D-Ga** constitue donc un repère intéressant pour

<footnote n="4">4. www.gregoriproject.com</footnote>

<footnote n="5">5. www.calfa.fr</footnote>

<footnote n="6">6. www.titus.uni-frankfurt.de/indexe.htm</footnote>

<footnote n="7">7. www.sd-editions.com/LALT/home.html</footnote>

<footnote n="8">8. www.eanc.net</footnote>

<footnote n="9">9. www.universaldependencies.org/treebanks/hy_armtdp/index.html</footnote>

<footnote n="10">10. www.web-corpora.net/EANC_dialects/search</footnote>

<footnote n="11">11. Pour décrire les résultats, nous définissons les acronymes suivants : **D-** pour dataset, associé à la langue concernée (p. ex. **D-MEA**). De même, les modèles créés sont nommés par : **m-** pour le modèle, associé à la langue concernée (p. ex. **m-MEA**).</footnote>
l'évaluation des prédicitions sur des tokens inconnus.

3. **D-Shn** : Ce dataset, composé de transcriptions orales (15 heures, 18 informants) du dialecte de Shenavan (Aparan, région de Aragatsotn), est le plus réduit des trois datasets. Il est composé de 89 632 wordforms (17 940 uniques) annotées manuellement. Il s'agit proportionnellement du dataset le plus varié, avec 7 568 lemmes uniques, et donc de nombreuses formes ambiguës et inconnues.

4. **D-MEA** : Il s'agit du dataset de référence de cet article, en arménien moderne oriental, sous-ensemble de EANC. Il est composé de 5 111 614 wordforms (201 710 uniques). Les phrases sont issues de sources hétérogènes, de la presse arménienne (2 037 629 wordforms), de fictions (1 453 894 wordforms) et de non-fictions (2 031 055 wordforms). **D-MEA** est représentatif de l'arménien moderne oriental.

5. **D-MWA** : Il s'agit d'un dataset expérimental en arménien moderne occidental, destiné à évaluer la pertinence de la réutilisation et reproductibilité des modèles. Il est composé de 3 531 wordforms (1 788 uniques).

Trois datasets mixtes ont été créés: **D-Ab+MEA**, composé de **D-Ab** et augmenté d'un tiers de son volume avec des données variées de **D-MEA**, ainsi que **D-Ga+MEA** et **D-Shn+MEA** augmentés selon le même procédé.

Enfin, trois autres datasets externes ont été considérés pour la création de modèles: les Universal Dependencies (**D-UD**) pour l'arménien oriental, et les données de GREgORI (**D-CA1**) et d'Arak29 (**D-CA2**) pour l'arménien classique.

Les annotations pour **D-Ab**, **D-GA** et **D-Shn** sont réalisées hors contexte (application d'une simple correspondance entre la liste des wordforms et le corpus), contrairement à **D-UD**, **D-CA1** et **D-CA2**. Par ailleurs, le paramètre de la graphie intervient dans la performance des annotations: **D-Ab**, **D-Ga**, **D-Shn**, **D-MEA**, **D-UD** utilisent une orthographe réformée, tandis que **D-MWA**, **D-CA1** et **D-CA2** l'orthographe classique. Des conversions orthographiques ont été réalisées pour permettre l'évaluation: si elles s'avèrent précises au niveau des mots, certaines constructions verbales n'existant pas dans toutes les variations, il en résulte parfois la création de bruit supplémentaire. De plus, **D-Ab**, **D-GA**, et **D-Shn** ont été transcrits en prenant en compte certaines spécificités phonologiques, ce qui ajoute une divergence graphique supplémentaire et affecte l'évaluation des différents modèles.

<table><caption>TABLE 1 – Composition des principaux datasets</caption><thead><tr><th></th><th>D-MEA</th><th>D-Ab</th><th>D-Ga</th><th>D-Shn</th><th>D-MWA</th></tr></thead><tbody><tr><td>Mots</td><td>5 111 614</td><td>120 258</td><td>100 352</td><td>89 632</td><td>3 531</td></tr><tr><td>Tokens uniques</td><td>201 710</td><td>14 405</td><td>20 647</td><td>17 940</td><td>1 788</td></tr><tr><td>Lemma uniques</td><td>-</td><td>4 120</td><td>9 087</td><td>7 568</td><td>1 311</td></tr><tr><td>Tokens ambigus</td><td>-</td><td>18 584</td><td>12 883</td><td>14 844</td><td>250</td></tr><tr><td>Tokens inconnus (test dataset)</td><td>13 145</td><td>364</td><td>1 968</td><td>1 810</td><td>1 080</td></tr></tbody></table>

Trois types de réseaux ont été entraînés et évalués:

1. modèle RNN univariationnel pour une variété ciblée;

2. modèle mixte (modèle 2/3 dialecte +1/3 arménien oriental moderne);

3. modèle RNN univariationnel pour une variété non-ciblée.
L'architecture RNN utilisée repose sur Pie (Manjavacas et al., 2019), qui offre une architecture très modulaire particulièrement adaptée au traitement des langues anciennes et variées, ce qui est majoritairement le cas ici et déjà éprouvée avec succès sur l'arménien classique (Vidal-Gorène and Kindt, 2020), dont nous reprenons l'essentiel du processus. Nous avons limité la capacité d'apprentissage de Pie — qui exploite pleinement le contexte d'une phrase pour améliorer les tâches de lemmatisation et de POS-tagging, en particulier en cas de token ambigu (Eger et al., 2016; Sprugnoli et al., 2020) — en raison de l'ambiguïté non levée des annotations dans **D-Ab**, **D-Ga** et **D-Shn**. Le RNN réalise donc par défaut une prédiction de toutes les analyses possibles pour un mot. La sélection de l'analyse la plus probable intervient seulement dans un second temps avec un modèle de langue.

Concernant le POS-tagging, le décodeur linéaire avait produit des résultats meilleurs sur l'arménien classique, mais nous avons néanmoins de nouveau comparé avec le décodeur CRF fourni par MarMoT et LEMMING (Mueller et al., 2013; Müller et al., 2015) et qui a fait ses preuves sur des datasets équivalents lors de la dernière Evalatin Evaluation Campaign (Sprugnoli et al., 2020; Stoeckel et al., 2020).

Enfin, pour que la comparaison soit complète, nous avons évalué la pertinence de l'architecture utilisée sur une langue standard (arménien oriental moderne - MEA), sur deux datasets (**D-MEA** et **D-UD**). Entraîné avec **D-UD** 2.3, COMBO (Rybak and Wróblewska, 2018) est efficace à 88,05% en lemmatisation et 85,07% en POS-tagging (Arakelyan et al., 2018; Yavrumyan, 2019). Entraînée avec **D-UD** 2.6, l'architecture décrite ici obtient 91,56% en lemmatisation (74,35% pour les tokens ambigus et 61,85% pour les tokens inconnus) et 92,54% en POS-tagging (87,81% ambigus et 83,56% inconnus).

Nous avons obtenu les résultats suivants en lemmatisation (voir annexes figure 2).

**Modèles spécialisés** : Pour la lemmatisation générale de tous les tokens des dialectes, les résultats varient entre 92,05% et 97,69%. Dans le cas des tokens inconnus, ceux-ci varient grandement, de 46,52% à 66,87%. Le modèle **m-Ab** (entraîné avec **D-Ab** qui contient le plus de tokens) s'avère être le plus performant dans la tâche générale, mais le manque de variété de tokens et de lemmes conduit à de mauvaises prédictions sur des tokens inconnus, là où **m-Ga** et **m-Shn** s'avèrent plus robustes. La matrice de confusion montre que **m-Ab** échoue majoritairement sur les formes verbales qui ne présentent pas de particularité phonétique (dans la transcription). **m-Ga** et **m-Shn** génèrent quant à eux beaucoup plus de formes fautives pour un même token, en plus d'être pénalisés par la grande variété de prononciations reproduites dans les corpus. **m-MEA** est quant à lui très robuste mais souffre de l'ambiguïté de ses données. Conséquence : le modèle s'avère plus performant quand on lui demande de générer toutes les analyses possibles plutôt que d'une seule (contrairement à **m-UD**). Il est néanmoins efficace à 94,34% sur **D-UD**.

**Modèles mixtes** : L'ajout de données de **D-MEA** à **D-Ab**, **D-Ga** et **D-Shn** en apprentissage entraîne un gain certain pour le dialecte d'Arcvaberd (+ 0,64% en accuracy, mais surtout +4,4% en précision et recall), y compris pour la prédiction sur des tokens inconnus qui passe de 46,52% à 51,10%. En revanche, cela pénalise les dialectes de Gusana et Shenavan (voir infra Modèles non-spécialisés pour une piste d'explication).

**Modèles non-spécialisés** : Un modèle strictement entraîné sur l'arménien oriental (**m-MEA** et **m-UD**) ne permet pour l'instant pas une lemmatisation des dialectes. Il en est de même pour des modèles entraînés sur l'arménien classique (**m-CA1** et **m-CA2**). Néanmoins, ces résultats sont à nuancer, puisque **D-Ab**, **D-Ga** et **D-Shn** sont transcrits très différemment et en orthographe réformée.
De nouvelles expérimentations doivent être réalisées après une uniformisation des annotations. Linguistiquement proches, les dialectes Arcvaberd et Gusana n'atteignent pas les 50% de bonne lemmatisation (respectivement 49,47% et 46,38%), ce qui reste néanmoins meilleur que l'annotation de **D-Ab** par **m-Shn** (42,90%). **m-Shn** annote correctement **D-Ga** à 58,45%, tandis que **m-Ga** annote **D-Shn** à 52,32%. On remarque un gain lors de l'utilisation de modèles mixtes.

Compte tenu des limites exposées dans la lemmatisation, les résultats en POS-tagging sont beaucoup plus réguliers (voir annexes figure 3). Il n'a pas été possible de réaliser toutes les évaluations de POS-tagging en raison de la trop grande variation d'annotation des corpus (étiquettes utilisées et caractérisation). Ce dernier point constitue un enjeu important pour des expérimentations ultérieures.

**Modèles spécialisés** : Nous obtenons de très bons modèles de POS-tagging (> 95%) pour chacun des dialectes, y compris dans le cas de tokens inconnus. **m-Ab** reste peu robuste face à la diversité. Plus de deux tiers des erreurs sont localisés sur une confusion entre nom et adjectif, qui peut s'expliquer par l'absence de contexte.

**Modèles mixtes** : En POS-tagging, l'ajout de MEA aux dialectes apporte un vrai gain dans l'annotation, en particulier pour les tokens inconnus.

**Modèles non spécialisés** : La réutilisation des modèles d'un dialecte à un autre apparaît clairement possible ici, en particulier pour les dialectes Gusana et Shenavan, qui n'appartient pourtant pas à la même branche linguistique, avec une couverture de 82,22% de **D-Ga** par **m-Shn+MEA**. Par ailleurs, même seulement efficace à 66,27% (**m-Ga** sur **D-Ab**), cela peut apporter une bonne base pour l'annotation plus rapide de corpus dialectaux.

Le modèle **m-MEA** propose une lemmatisation correcte à 88,79% et un POS-tagging correct à 87,33% d'un corpus en arménien occidental moderne. Le parser de EANC obtient respectivement 74,09% et 68,57% sur ce même corpus.

# 4 Conclusion

Nous avons réalisé différentes expérimentations qui illustrent pour la première fois l'annotation automatique de variantes dialectales de l'arménien, et la réutilisation possible de modèles non-spécialisés pour la constitution rapide de corpora.

La précision moyenne d'annotation des RNN est de 94% en lemmatisation et 97,02% en POS-tagging. Ils ont notamment montré une grande polyvalence pour traiter différentes variétés linguistiques autres que leur base d'apprentissage, au contraire des systèmes traditionnels. Les tests réalisés mettent notamment en évidence une reproductibilité des modèles de l'ordre de 74%. Mais il a toutefois fallu les entraîner avec une base d'apprentissage préalablement annotée contenant plus de 5 millions de tokens. Entraînés sur des corpus plus modestes (60 000 tokens), les RNN proposent des résultats parfois en-deça des systèmes règles-dictionnaires (précision moyenne de 92%), bien que restant meilleurs sur les tokens inconnus (Vidal-Gorène and Kindt, 2020). En particulier, la comparaison d'un modèle RNN entraîné sur de l'arménien oriental et d'un modèle règles-dictionnaire en arménien oriental appliqués à de l'arménien occidental moderne montre un gain significatif de 19% en annotation. Le modèle RNN couvre en effet 88,79% d'un petit ensemble de données hétérogènes en arménien occidental, modèle qui pourrait donc être un point de référence pour l'annotation massive de corpus dans ce standard linguistique.
Nous soutenons ainsi qu’un modèle reposant sur des RNN peut être une alternative probante à une approche par règles, compte tenu de facteurs comme le temps de traitement, la réutilisation d’un même modèle sur différentes variétés d’une langue donnée, et les gains en annotation morphologique pour des langues peu dotées. Cela est d’autant plus pertinent dans le cadre d’une langue peu dotée, car il permet de construire rapidement une base d’apprentissage suffisante pour établir un RNN polyvalent. Les différentes études conduites, en complément de la mise à disposition des architectures neuronales ou hybrides construites, servent de point de repère pour l’annotation de langues peu dotées à graphies non latines. Une nouvelle approche, hybride, devrait pouvoir concilier rapidité d’application et couverture maximale de l’annotation. La présente recherche montre une possibilité de réutiliser des modèles pour couvrir d’autres variétés linguistiques, même partiellement.

Des recherches futures permettront d'étendre le corpus multivariationnel afin d'inclure autant de variantes linguistiques arméniennes que possible (des corpus visant à l'exhaustivité pour l'arménien classique, l'arménien moyen et l'arménien occidental moderne, ainsi que des dialectes arméniens et des variantes vernaculaires) et de tester et évaluer les modèles existants sur les nouvelles données.

Jusqu'à présent, la distance variationnelle entre variantes linguistiques a été calculée sur la base d'un faisceau de traits linguistiques. La question de la distance linguistique entre deux variétés est particulièrement pertinente dans la classification généalogique des langues du monde et dans le cadre de la classification des dialectes. Dans la tradition dialectologique arménienne, on a eu recours pour la classification des dialectes à divers critères linguistiques et extra-linguistiques (géographique, morphologique, phonologique, multiparamétrique, etc.). Appliquer le modèle d'annotation morphologique RNN d'une variété particulière sur d'autres variétés typologiquement proches (dychroniquement ou synchroniquement) et évaluer la distance variationnelle entre deux variétés sur la base de différents paramètres formels permettrait de formuler des hypothèses nouvelles et de revoir les classifications existantes.

Les variétés linguistiques ont généralement une vitalité fragile en l'absence de prestige social et / ou de renouvellement des locuteurs natifs. C'est en particulier le cas pour les dialectes arméniens qui souffrent d'un déficit de reconnaissance par rapport à la langue standard avec laquelle ils coexistent. Par conséquent, la documentation et l'annotation de ces variétés linguistiques sont d'un enjeu majeur en TAL mais aussi et surtout dans des perspectives linguistiques, anthropologiques et sociales.

Références

Arakelyan, G., Hambardzumyan, K., and Khachatrian, H. (2018). Towards JointUD : Part-of-speech Tagging and Lemmatization using Recurrent Neural Networks. In *Proceedings of the CoNLL 2018 Shared Task : Multilingual Parsing from Raw Text to Universal Dependencies*, pages 180–186, Brussels, Belgium. Association for Computational Linguistics.

Dereza, O. (2018). *Lemmatization for Ancient Languages : Rules or Neural Networks?*, pages 35–47. Springer International Publishing, Cham.

Donabédian, A. (2018). Middle East and Beyond - Western Armenian at the crossroads : A sociolinguistic and typological sketch. In Bulut, C., editor, *Linguistic minorities in Turkey and Turkic-speaking minorities of the periphery*, volume 111 of *Turcologica*, pages 89–148. Harrazowitz Verlag, Wiesbaden, Allemagne.

Donabédian, A. and Sitaridou, I. (2021). Anatolia. In Adamou, E. and Matras, Y., editors, *The Routledge Handbook of Language Contact*, pages 404–433. Routledge, London, England.
Eger, S., Gleim, R., and Mehler, A. (2016). Lemmatization and Morphological Tagging in German and Latin: A comparison and a survey of the state-of-the-art. In *Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16)*, pages 1507–1513, Portorož, Slovenia. European Language Resources Association (ELRA).

Khurshudyan, V., Arkhangelskiy, T., Daniel, M., Levonian, D., Plungian, V., Polyakov, A., and Rubakov, S. (2021). Introduction to Eastern Armenian National Corpus: www.eanc.net. *Études arméniennes contemporaines*. submitted.

Manjavacas, E., Ákos, K., and Mike, K. (2019). Improving Lemmatization of Non-Standard Languages with Joint Learning. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)*, pages 1493–1503, Minneapolis, Minnesota, USA. Association for Computational Linguistics.

Mueller, T., Schmid, H., and Schütze, H. (2013). Efficient Higher-Order CRFs for Morphological Tagging. In *Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing*, pages 322–332, Seattle, Washington, USA. Association for Computational Linguistics.

Müller, T., Cotterell, R., Fraser, A., and Schütze, H. (2015). Joint Lemmatization and Morphological Tagging with Lemming. In *Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing*, pages 2268–2274, Lisbon, Portugal. Association for Computational Linguistics.

Rybak, P. and Wróblewska, A. (2018). Semi-Supervised Neural System for Tagging, Parsing and Lematization. In *Proceedings of the CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies*, pages 45–54, Brussels, Belgium. Association for Computational Linguistics.

Sprugnoli, R., Passarotti, M., Cecchini, F. M., and Pellegrini, M. (2020). Overview of the EvaLatin 2020 Evaluation Campaign. In *Proceedings of LT4HALA 2020 - 1st Workshop on Language Technologies for Historical and Ancient Languages*, pages 105–110, Marseille, France. European Language Resources Association (ELRA).

Stoeckel, M., Henlein, A., Hemati, W., and Mehler, A. (2020). Voting for POS tagging of Latin texts: Using the flair of FLAIR to better Ensemble Classifiers by Example of Latin. In *Proceedings of LT4HALA 2020 - 1st Workshop on Language Technologies for Historical and Ancient Languages*, pages 130–135, Marseille, France. European Language Resources Association (ELRA).

Vidal-Gorène, C., Khurshudyan, V., and Donabédian, A. (2020). Recycling and comparing morphological annotation models for Armenian diachronic-variational corpus processing. In *Proceedings of the 7th Workshop on NLP for Similar Languages, Varieties and Dialects*, pages 90–101, Barcelona, Spain (Online). International Committee on Computational Linguistics (ICCL).

Vidal-Gorène, C. and Kindt, B. (2020). Lemmatization and POS-tagging process by using joint learning approach. Experimental results on Classical Armenian, Old georgian, and Syriac. In *Proceedings of LT4HALA 2020 - 1st Workshop on Language Technologies for Historical and Ancient Languages*, pages 22–27, Marseille, France. European Language Resources Association (ELRA).

Yavrumyan, M. (2019). Tokenization and Word Segmentation in the UD ARMENIAN-ArmTDP Treebank. *Banber Erewani hamalsarani*, pages 52–65.
# 5 Annexes

<figure><img src="image_25.png" /></figure>

FIGURE 1 – Proportion par langue des ressources annotées et en open access, utilisées dans le cadre de cette étude.

<figure><img src="image_26.png" /></figure>

FIGURE 2 – Évaluation des modèles simples et mixtes de lemmatisation sur tous les tokens (accuracy) répartition des résultats. La valeur 0 indique que le modèle n'a pu être appliqué sur le dataset concerné, en raison des limites évoquées dans l'article.
<figure><img src="image_27.png" /><figcaption>FIGURE 3 – Évaluation des modèles simples et mixtes de POS-tagging sur tous les tokens (accuracy) et répartition des résultats. La valeur 0 indique que le modèle n'a pu être appliqué sur le dataset concerné, en raison des limites évoquées dans l'article.</figcaption></figure>
# Ouvrir aux linguistes «de terrain» un accès à la transcription automatique

Guillaume Wisniewski¹, Alexis Michaud², Benjamin Galliot², Laurent Besacier³, Séverine Guillaume², Katya Aplonova⁴ et Guillaume Jacques⁵

(1) Laboratoire de linguistique formelle (LLF), CNRS-Université de Paris, France

(2) Langues et civilisations à tradition orale (LACITO), CNRS-Sorbonne Nouvelle, France

(3) Laboratoire d'informatique de Grenoble (LIG), CNRS-Université Grenoble Alpes, France

(4) Langage, langues et cultures d'Afrique (LLACAN), CNRS-INALCO, France

(5) Centre de recherches linguistiques sur l'Asie orientale (CRLAO), CNRS-EHESS, France
guillaume.wisniewski@u-paris.fr, alexis.michaud@cnrs.fr,
b.g01lyon@gmail.com, laurent.besacier@univ-grenoble-alpes.fr,
severine.guillaume@cnrs.fr, {aplooon|rgyalrongskad}@gmail.com

## RÉSUMÉ

Le traitement automatique de la parole commence à réaliser son fort potentiel pour la documentation des langues en danger. Notre objectif est de mettre à la portée des linguistes «de terrain» des outils de transcription automatique à la pointe des avancées technologiques. Une interface graphique conviviale, Elpis, donne désormais accès à Kaldi et ESPnet, deux bibliothèques de pointe pour le traitement automatique de la parole. Une *recette* ESPnet à utiliser dans Elpis donne d'excellents résultats, aussi bien sur deux jeux de données précédemment utilisés pour entraîner des modèles acoustiques (langues na et chatino) qu'avec deux nouveaux jeux de données (japhug et bashkir). L'interface utilisateur d'Elpis a en outre été dotée de traductions. L'installation est facilitée par *conteneurisation* (en utilisant le logiciel libre Docker), et l'entraînement des modèles est accéléré par l'utilisation de processeurs graphiques (à l'aide de la bibliothèque CUDA).

## ABSTRACT

### User-friendly automatic transcription of low-resource languages

Natural Language Processing now begins to deliver on its promise for language documentation. This paper reports on progress integrating the speech recognition toolkit ESPnet into Elpis, a web front-end originally designed to provide access to the Kaldi automatic speech recognition toolkit. The goal of this work is to make end-to-end speech recognition models available to language workers via a user-friendly graphical interface. Encouraging results are reported on (i) developing an ESPnet recipe for use in Elpis, with preliminary results on data sets previously used for training acoustic models with the Persephone toolkit along with two new data sets that had not previously been used in speech recognition, and (ii) incorporating ESPnet into Elpis along with user interface enhancements and a CUDA-supported dockerfile.

**MOTS-CLÉS:** documentation linguistique, documentation linguistique assistée par ordinateur, reconnaissance automatique de la parole, science ouverte, linguistique de terrain.

**KEYWORDS:** Language documentation, Computational Language Documentation, Automatic Speech Recognition, Open Science, linguistic fieldwork.
# 1 Introduction

La transcription de la parole constitue une dimension importante de la documentation linguistique, en particulier s'agissant de langues et civilisations à tradition orale. Des progrès spectaculaires ont été réalisés en matière de reconnaissance automatique de la parole au cours de la dernière décennie (Hinton et al., 2012; Hannun et al., 2014; Zeyer et al., 2018; Hadian et al., 2018; Ravanelli et al., 2019; Zhou et al., 2020), y compris de grandes réussites pour des langues peu documentées, pour lesquelles peu de ressources numériques sont disponibles (Besacier et al., 2014; Blokland et al., 2015; Lim et al., 2018; van Esch et al., 2019; Hjortnaes et al., 2020). Néanmoins, les technologies de transcription automatique ne sont pas encore exploitées à grande échelle par les linguistes «de terrain» et leurs collaborateurs et collaboratrices. Les logiciels de reconnaissance de la parole sont souvent des prototypes de recherche pour lesquels il n'existe pas d'interface graphique et qui exigent des compétences informatiques peu répandues parmi les utilisateurs potentiels, à commencer par une familiarité avec l'utilisation de la ligne de commande.

L'enjeu pour la documentation linguistique est de taille. En effet, la mise en œuvre, dans le cadre d'archives ouvertes telles que la collection Pangloss (Michailovsky et al., 2014), d'outils de pointe en traitement automatique des langues naturelles apporte une forte impulsion à l'enrichissement des ressources hébergées par ces archives. Le dépôt en archive ouverte, auquel les chercheurs ont accès dans le cadre du dispositif mis en place sous l'égide d'Huma-Num (Jacobson et al., 2015), présente des avantages décisifs en termes de pérennité, mais nombre de chercheurs sont (de façon bien compréhensible) plus sensibles aux enjeux de recherche, à court et moyen terme, qu'aux questions qui concernent la postérité lointaine. L'existence de traitements automatisés pour les corpus déposés dans les archives sonores encouragerait chez les linguistes de terrain un changement d'attitude, dans le sens d'un passage à l'*archivage progressif*. En effet, des archives bien outillées en logiciels de TAL ne prêteraient plus le flanc au soupçon de devenir des «cimetières de données» (*data graveyards* : Gippert et al., 2006, 4, 12-13). Elles deviendraient plutôt des «cliniques de données» (*data clinics*)<fnref n="1" />, qui offrent aux déposants un soutien technologique dans l'enrichissement de leurs données. (Un exemple en est fourni par les réalisations présentées aux présentes Journées scientifiques par Cécile Macaire, voir sa communication *Alignement temporel entre transcriptions et audio de données de langue japhug*.) Cela encouragerait les dépôts, parce qu'il y aurait à la clef un fort potentiel d'amélioration des transcriptions et annotations (gloses, traductions). De la sorte, nombre de déposants potentiels seraient portés à franchir le pas et engager une démarche d'archivage, plutôt que remettre à plus tard. Le fait de reporter l'archivage, dans l'attente d'un degré de perfection que les corpus n'atteignent souvent jamais, aboutit en effet à une très forte déperdition de données de langues rares.

Elpis<fnref n="2" /> est précisément un outil conçu pour permettre aux linguistes et à leurs collaboratrices et collaborateurs d'avoir accès à un outil de reconnaissance automatique de la parole. Il permet d'entraîner son propre modèle acoustique pour la reconnaissance vocale et de transcrire automatiquement des fichiers audio, au moyen d'une interface graphique (Foley et al., 2018, 2019; Adams et al., 2021). Le premier moteur de reconnaissance automatique de la parole «historique» auquel donnait accès Elpis était Kaldi<fnref n="3" /> (Povey et al., 2011). Kaldi est une bibliothèque libre, très utilisée dans la communauté de traitement de la parole, qui repose sur une architecture qui hybride modèles de Markov cachés et réseaux de neurones profonds. Elle a permis d'obtenir des résultats à la pointe du progrès dans

<footnote n="1">1. L'expression est d'un relecteur anonyme pour le colloque Comput-EL4: *Workshop on the Use of Computational Methods in the Study of Endangered Languages*.</footnote>

<footnote n="2">2. https://github.com/CoEDL/elpis</footnote>

<footnote n="3">3. https://github.com/kaldi-asr/kaldi</footnote>
nombre de tâches de reconnaissance de la parole. Dans ce travail, nous décrivons le processus par lequel une autre bibliothèque de reconnaissance de la parole, plus récente, ESPnet<fnref n="4" /> (Watanabe et al., 2018), a été ajoutée à Elpis, aux côtés de Kaldi. La raison pour intégrer ESPnet à Elpis est qu'il s'agit d'un outil largement utilisé, qui rassemble une communauté grandissante et fait l'objet d'un développement logiciel soutenu. Mais surtout, ESPnet implémente une architecture de reconnaissance de la parole plus récente reposant uniquement sur des réseaux de neurones : c'est une approche pouvant être qualifiée de bout en bout (*end-to-end*). Le choix entre plusieurs moteurs (*back-ends*) peut permettre d'obtenir de meilleures performances selon la nature du jeu de données. En effet, nombre de locuteurs, nature des documents, rapport signal/bruit, débit de parole... diffèrent considérablement d'un corpus de langue rare à l'autre, de sorte qu'une grande flexibilité des outils est souhaitable.

Nous commencerons par décrire les changements apportés au logiciel Elpis pour y intégrer le moteur ESPnet et le développement d'une recette ESPnet adaptée aux corpus de langues rares. Une recette est un ensemble de scripts et de fichiers de configuration qui permet de faciliter les différentes étapes de la reconnaissance automatique (préparation des données, extraction de traits, entraînement du modèle, etc.), regroupés dans un script enrobeur (*wrapper*) dans lequel il est aisé de spécifier l'architecture du modèle et ses différents hyperparamètres. Nous décrirons ensuite la mise en œuvre de cette recette pour quatre langues. Enfin, nous discuterons des perspectives pour l'avenir de ce projet.

# 2 Aperçu des outils et des résultats

## 2.1 Développements réalisés

L'interface d'Elpis permet de charger des fichiers : voir la Fig. 1. Cette interface a été dotée d'une version française ; il est prévu d'ajouter d'autres langues, en collaboration avec des linguistes de terrain qui ont collecté et transcrit des corpus. Au fil de l'entraînement d'un modèle acoustique (Fig. 2), puis de la transcription de nouveaux fichiers audio (Fig. 3), l'interface montre le journal (*log*). Même si le détail des messages n'est pas intelligible aux utilisateurs, ils peuvent du moins s'assurer que le processus (qui peut durer jusqu'à plusieurs jours) suit son cours et ne s'est pas bloqué. Si l'outil est déployé par une équipe qui possède des compétences en apprentissage automatique, le journal peut être utilisé pour affiner les paramètres en vue d'améliorer les résultats.

Elpis affiche en outre la liste des mots qui apparaissent dans les fichiers utilisés comme corpus d'entraînement, et indique le nombre d'occurrences : voir Fig. 4.

Une image Docker a en outre été réalisée afin de faciliter l'utilisation du logiciel. Cette image est un conteneur isolé comprenant le logiciel ainsi que toutes ses dépendances (bibliothèques, autres programmes, données, etc.), elle peut être téléchargée ou construite localement (selon une suite d'étapes automatisées). Cette image permet notamment de tirer parti des processeurs graphiques (GPU) afin d'accélérer l'entraînement des modèles grâce à l'utilisation d'une bibliothèque de calcul adaptée (CUDA).

La recette ESPnet, développée spécifiquement pour des corpus de petite taille, est librement disponible en ligne, de même que l'ensemble des outils et données<fnref n="5" />. Les données na et japhug, hébergées

<footnote n="4">4. https://github.com/espnet/espnet</footnote>

<footnote n="5">5. https://github.com/persephone-tools/espnet/commit/1c529eab738cc8e68617aebbae520f7c9c919081</footnote>
<table><caption>Ajouter des fichiers</caption><thead><tr><th>Moteur</th></tr></thead><tbody><tr><td>Enregistrements</td></tr><tr><td>Fichiers</td></tr><tr><td>Liste de mots</td></tr><tr><td>Apprentissage</td></tr><tr><td>Paramètres</td></tr><tr><td>Entraînement</td></tr><tr><td>Résultats</td></tr><tr><td>Nouvelles transcriptions</td></tr></tbody></table>

<figure><img src="image_28.png" /><figcaption>FIG. 1: Interface d'Elpis. On notera, en haut à droite, le choix de moteur : Kaldi ou ESPnet.</figcaption></figure>

<figure><img src="image_29.png" /><figcaption>FIG. 2: Affichage pendant que l'entraînement est en cours.</figcaption></figure>

dans la collection Pangloss, sont converties au format ELAN (seul format d'entrée considéré par Elpis pour le moment) à l'aide d'un script XSLT, baptisé Pangloss-Elpis⁶.
Transcrire de l'audio

Session d'entraînement actuelle : m

Dictionnaire de prononciation utilisé : null

Enregistrements actuels : ds

Sélectionnez une session d'entraînement à utiliser

m

Téléversez votre fichier ici (glisser-déposer possible)

Téléverser

crdo-NRU_F4_DEM_CL2.wav téléversé

Transcrire

<figure><img src="image_30.png" /></figure>

transcription en cours...

<caption>FIG. 3 : Transcription de nouveaux documents audio.</caption>

## 2.2 Résultats

Un bilan des résultats pour quatre langues (cinq jeux de données au total) est présenté dans le tableau 1 ; *taille* désigne la taille du corpus d'entraînement. La figure 5 montre, pour la langue japhug, la baisse du taux d'erreur dans l'identification des phonèmes – ou plus précisément des caractères – selon la taille du corpus d'entraînement, jusqu'à 170 minutes. Des tests sont en cours pour déterminer dans quelle mesure des améliorations sont possibles en utilisant un corpus d'entraînement plus étendu.

Le travail sur le corpus bashkir en est à ses toutes premières étapes et le résultat n'est pas encore pro-
bant. Le nombre élevé de locuteurs (36, contre un seul pour les autres corpus : na, chatino et japhug)
y est certainement pour beaucoup : le passage du mono-locuteur au multi-locuteurs est une difficulté
bien connue pour les systèmes de reconnaissance automatique de la parole, au vu des importantes
différences inter-individuelles dans la prononciation. Néanmoins, dans l'ensemble, les résultats ob-
tenus sont encourageants et montrent qu'il est envisageable, dès aujourd'hui, d'utiliser des méthodes
de reconnaissance automatique pour faciliter le travail des linguistes de terrain.

Il faut toutefois noter que la qualité des prédictions varie fortement en fonction des langues. Il reste à déterminer dans quelle mesure ces variations tiennent aux propriétés intrinsèques à la langue (taille de l'inventaire phonémique, complexité phonotactique, phénomènes de réduction phonétique liés à la morphosyntaxe, à la structure de l'information...) et dans quelle mesure elles sont liées à des propriétés du corpus (qualité d'enregistrement du signal audio, genres de documents recueillis, nombre de locuteurs). Ce travail prolongera les tests réalisés à ce jour (Adams et al., 2017, 2018; Michaud et al., 2018, 2019), qui permettent déjà certaines généralisations (Wisniewski et al., 2020; Michaud et al., 2020b,a). De même, des expériences supplémentaires seront nécessaires pour déterminer si une même recette permet d'obtenir des résultats optimaux pour toutes les langues ou s'il sera néces-
<figure><img src="image_31.png" /><figcaption>FIG. 4: Liste des mots du corpus d'entraînement avec mention de leur fréquence d'occurrence.</figcaption></figure>

saire d'adapter l'architecture du réseau de neurones et les hyperparamètres aux spécificités de chaque langue.

<figure><img src="image_32.png" /><figcaption>FIG. 5: Taux d'erreur des graphèmes (Character Error Rate) pour le corpus japhug en fonction de la taille du corpus d'entraînement. Moteur: ESPnet.</figcaption></figure>
<table><caption>TAB. 1 : Résultats de la recette ESPnet sur quatre langues. Les performances sont évaluées par le taux d'erreur des graphèmes (Character Error Rate).</caption><thead><tr><td>Langue</td><td>Nb locuteurs</td><td>Type</td><td>Taille (mn)</td><td>CER (%)</td></tr></thead><tbody><tr><td>Na</td><td>1</td><td>Récits spontanés</td><td>273</td><td>14.5</td></tr><tr><td>Na</td><td>1</td><td>Expressions élicitées</td><td>188</td><td>4.7</td></tr><tr><td>Chatino</td><td>1</td><td>Parole lue</td><td>81</td><td>23.5</td></tr><tr><td>Japhug</td><td>1</td><td>Récits spontanés</td><td>170</td><td>12.8</td></tr><tr><td>Bashkir</td><td>36</td><td>Récits spontanés</td><td>273</td><td>33</td></tr></tbody></table>

## 3 Discussion : place d'outils de reconnaissance automatique de la parole dans la documentation linguistique

Un cadre pour une discussion générale au sujet du rôle que peuvent jouer des outils de reconnaissance automatique de la parole dans la documentation linguistique nous est opportunément fourni par l'un des locuteurs invités de la précédente édition des Journées scientifiques du Groupement de recherche LIFT (Orléans, 2019). Dans son exposé, dont une forme développée est sous presse dans la revue Computational Linguistics à l'heure où nous écrivons (automne 2020), Steven Bird relève les problèmes que pourrait poser une approche dans laquelle on s'imposerait de généraliser, dans la documentation des langues en voie de disparition, des chaînes de traitement d'outils désormais classiques en reconnaissance de la parole, mais qui seraient mal adaptées aux conditions réelles sur le terrain. La critique de Steven Bird s'adresse notamment à l'emploi d'un modèle acoustique. Passer par l'étape d'une transcription exhaustive en phonèmes (ou autre représentation segmentale), au sein de laquelle il faut ensuite identifier les mots, ce serait se créer une difficulté supplémentaire: dans la parole, on ne retrouve pas les phonèmes dans leur réalisation canonique, qui apparaîtraient en une succession sagement linéaire. L'oral est au contraire caractérisé par la variation, les hésitations et reprises, et l'inventivité constante. Steven Bird relève également la diversité des environnements de travail concernés, et des compétences disponibles au sein des groupes qui travaillent à des tâches de documentation linguistique et de sauvegarde des langues. Il préconise une méthode moins linéaire, qu'il dénomme « transcription clairsemée » (« sparse transcription »): annoter ce qui peut l'être aisément, en tirant le meilleur parti des diverses sources d'information disponibles (notamment des traductions), sans s'astreindre d'emblée à une transcription exhaustive et linéaire (Bird, 2020).

Ces réflexions offrent l'occasion de préciser la place qu'occupe un outil tel qu'Elpis dans le paysage des méthodes computationnelles pour la documentation linguistique. Personne ne conteste qu'il serait bien utile de disposer d'une transcription phonémique automatique. En revanche, la question de son intégration dans les chaînes de traitement mérite à l'évidence d'être posée. Steven Bird s'oppose spécifiquement à l'idée selon laquelle la transcription phonémique constituerait une bonne base de départ pour la transcription et l'annotation.

Assurément, la transcription phonémique n'est pas une fin en soi et l'équipe du projet Elpis ne se satisfait pas de parvenir à une transcription en phonèmes: là n'est pas le produit final. L'objectif est évidemment de reconnaître mots et phrases: tel est l'enjeu de la reconnaissance automatique de la parole. Mais il importe de mesurer que transcription phonémique et reconnaissance automatique de la parole ne s'opposent pas: dans les systèmes de reconnaissance purement statistiques de bout en
bout («end-to-end artificial neural networks»), dont fait partie ESPnet, la distinction n'existe pas au plan technique. C'est là une différence importante, qui distingue ESPnet d'un outil tel que Kaldi. Les méthodes de transcription automatique que nous explorons ne sont pas cantonnées à la reconnaissance d'unités du niveau phonémique. Le fonctionnement du logiciel ESPnet est tout à fait compatible avec un auto-apprentissage (*self-supervised training*) sur des données audio non transcrites, affiné par un ajustement à la langue-cible sur un ensemble de données transcrites (corpus de linguistes tels que ceux utilisés dans notre travail). Or il ne paraît pas absurde, au vu des résultats les plus récents, de penser qu'un outil comme wav2vec 2.0 puisse atteindre des performances remarquables en reconnaissance de la parole (reconnaissance de mots) par un processus d'ajustement qui ne repose que sur quelques dizaines de minutes d'enregistrements transcrits de référence, ce qui constitue un ordre de grandeur que savent atteindre les linguistes de terrain. Certes, beaucoup d'expériences ont lieu sur l'anglais, mais il ne nous paraît pas y avoir lieu de douter du potentiel d'extension des mêmes méthodes aux langues rares qui constituent notre objet (voir en particulier Conneau et al., 2020)<fnref n="7" />.

En outre, lorsqu'on pèse les avantages respectifs de diverses chaînes de traitement, il est de bonne méthode de tenir compte non seulement des performances actuelles des outils logiciels, mais également de leur potentiel de perfectionnement à court et moyen terme. Avant de conclure qu'il faut se détourner de la chaîne de traitement classique en reconnaissance automatique de la parole (entraînement sur corpus de référence puis application à la transcription exhaustive de données audio), il paraît avisé de prendre la mesure des souplesses qu'elle autorise en pratique. Au vu des récents succès de systèmes de reconnaissance de la parole pour des langues en danger (voir en particulier Partanen et al., 2020), il ne paraît pas y avoir lieu de craindre que les chaînes de traitement de la reconnaissance automatique de la parole enferment les linguistes dans une impasse méthodologique.

Clairement, Elpis n'est pas destiné à une utilisation lors des premières étapes de documentation d'une langue. Le choix d'une annotation «clairsemée» («sparse transcription») paraît particulièrement pertinent dans la situation dans laquelle on se trouve lorsque la langue à décrire n'a pas encore fait l'objet d'une analyse linguistique selon les méthodes de la linguistique de terrain, telles que décrites dans des travaux déjà anciens qui conservent leur actualité (Bouquiaux and Thomas, 1971). Des outils de reconnaissance tels que ceux auxquels Elpis donne accès peuvent en revanche être d'une grande utilité lorsqu'on dispose d'un corpus ciselé par un linguiste qui a atteint un certain degré de certitude dans l'analyse de la langue (processus d'analyse qui est toujours en devenir).

En outre, nous faisons l'hypothèse selon laquelle le seuil de taille de corpus à partir duquel une langue peut bénéficier d'outils de traitement automatique de grande qualité va continuer à s'abaisser, de sorte que le cercle des langues pour lesquelles des outils de reconnaissance automatique de la parole puissent être déployé va s'élargir rapidement. Nous pensons que ces progrès pourront être mis à profit quelles que soient les chaînes de traitement adoptées. À mesure du déploiement d'Elpis, nous aurons à cœur de veiller à ce que les utilisateurs ne se trouvent pas enfermés dans le carcan d'une méthode unique, mais que leurs réflexions au fil des expériences contribue au contraire à orienter la manière dont les outils s'adaptent pour répondre aux besoins.

<footnote n="7">7. L'équipe qui développe l'outil ESPnet étudie actuellement les modalités d'implémentation de ces avancées: voir, par exemple, https://github.com/espnet/espnet/issues/2609.</footnote>
# 4 Conclusion et perspectives

Les perspectives de déploiement de l'outil paraissent prometteuses. Les projets en cours concernent l'amélioration de la recette et l'amélioration de l'interface. Par ailleurs, des tests sont en cours sur un nouveau jeu de données. En outre, une perspective qui paraît hautement souhaitable serait de proposer Elpis sous forme de service web, sur le modèle de WebMAUS<fnref n="8" />. Les outils développés par l'archive bavaroise de la parole, *Bavarian Speech Archive* (Kisler et al., 2017), ont traité plus de dix millions de fichiers multimédias depuis leur passage en production en 2012, ce qui constitue un modèle de réussite de déploiement à grande échelle d'outils de traitement automatique de la parole.

## Remerciements

Le travail décrit ici est réalisé en collaboration par une équipe internationale de chercheurs qui se sont rassemblés au fil du temps autour du projet commun de faciliter les tâches de documentation et description des langues en voie de disparition. Le format du présent document ne permettait pas de faire justice à la liste réelle des contributeurs. Il s'agit au premier chef d'Oliver Adams (qui a identifié ESPnet comme un outil prometteur, et a réalisé son intégration dans Elpis), et de l'équipe du projet Elpis : Nicholas Lambourne, Ben Foley, Rahasya Sanders-Dwyer, Janet Wiles. Nous remercions également Christopher Cox, qui a réalisé un greffon (*plugin*) de transcription automatique pour le logiciel Elan ; Nick Evans, Nick Thieberger, Steven Morey, qui jouent un rôle important dans la coordination internationale du projet Elpis et sa diffusion auprès des linguistes ; et Hilaria Cruz, Martine Adda, Graham Neubig et Nathan Hill pour leur appui. Faute d'espace pour faire figurer tous les collègues qui mériteraient, à divers titres, d'apparaître parmi les auteurs, nous avons fait le choix de ne retenir comme auteurs du présent exposé en français que les participants au groupement de recherche LIFT, organisateur de l'événement. Choix quelque peu arbitraire, mais qui a à tout le moins recueilli le consentement des autres collaborateurs.

Un grand merci aux collègues et amis consultants des langues concernées par les expériences rapportées ici : pour la langue na, il s'agit en particulier de Mme Latami Dashilame et son fils Latami Dashi ; pour la langue japhug, de Tshendzin (Chen Zhen) ; pour la langue tsuut'ina, remerciements particuliers au Bureau du Commissaire à la langue tsuut'ina.

Nous remercions l'Institut des langues rares (ILARA) de l'École Pratique des Hautes Études, l'Université du Queensland et l'Australian Research Council Centre of Excellence for the Dynamics of Language pour le soutien financier apporté au développement d'outils de transcription automatique pour la documentation linguistique. Le présent travail est en outre une contribution au projet Labex «Fondements empiriques de la linguistique» (ANR-10-LABX-0083) ainsi qu'au projet «La documentation computationnelle des langues à l'horizon 2025» (ANR-19-CE38-0015-04).

## Références

Adams, O., Cohn, T., Neubig, G., Cruz, H., Bird, S., and Michaud, A. (2018). Evaluating phonemic transcription of low-resource tonal languages for language documentation. In Proceedings of LREC

<footnote n="8">8. https://clarin.phonetik.uni-muenchen.de/BASWebServices/interface</footnote>
2018 (Language Resources and Evaluation Conference), pages 3356–3365, Miyazaki. https://halshs.archives-ouvertes.fr/halshs-01709648.

Adams, O., Cohn, T., Neubig, G., and Michaud, A. (2017). Phonemic transcription of low-resource tonal languages. In *Proceedings of the 2017 Australasian Language Technology Association Workshop (ALTA 2017)*, pages 53–60, Brisbane, Australia. https://halshs.archives-ouvertes.fr/halshs-01656683.

Adams, O., Galliot, B., Wisniewski, G., Lambourne, N., Foley, B., Sanders-Dwyer, R., Wiles, J., Michaud, A., Guillaume, S., Besacier, L., Cox, C., Aplonova, K., Jacques, G., and Hill, N. (2021). User-friendly automatic transcription of low-resource languages: plugging ESPnet into Elpis. In *Proceedings of ComputEL-4: Fourth Workshop on the Use of Computational Methods in the Study of Endangered Languages*, Hawai'i. https://halshs.archives-ouvertes.fr/hals hs-03030529.

Besacier, L., Barnard, E., Karpov, A., and Schultz, T. (2014). Automatic speech recognition for under-resourced languages: A survey. *Speech Communication*, 56:85–100.

Bird, S. (2020). Sparse transcription. *Computational Linguistics*, pages 1–50.

Blokland, R., Fedina, M., Gerstenberger, C., Partanen, N., Rießler, M., and Wilbur, J. (2015). Language documentation meets language technology. In *Proceedings of the First International Workshop on Computational Linguistics for Uralic Languages - Septentrio Conference Series*, pages 8–18. http://septentrio.uit.no/index.php/SCS/article/view/3457/3386.

Bouquiaux, L. and Thomas, J. (1971). *Enquête et description des langues à tradition orale. Voûlume I: l'enquête de terrain et l'analyse grammaticale*. Société d'études linguistiques et anthropologiques de France, Paris, 2nd edition 1976 edition. 3 volumes.

Conneau, A., Baevski, A., Collobert, R., Mohamed, A., and Auli, M. (2020). Unsupervised cross-lingual representation learning for speech recognition. https://arxiv.org/abs/2006.13979.

Foley, B., Arnold, J., Coto-Solano, R., Durantin, G., and Ellison, T. M. (2018). Building speech recognition systems for language documentation: the CoEDL Endangered Language Pipeline and Inference System (ELPIS). In *Proceedings of the 6th Intl. Workshop on Spoken Language Technologies for Under-Resourced Languages (SLTU)*, 29-31 August 2018, pages 200–204, Gurugram, India. https://www.isca-speech.org/archive/SLTU_2018/pdfs/Ben.pdf.

Foley, B., Rakhi, A., Lambourne, N., Buckeridge, N., and Wiles, J. (2019). Elpis, an accessible speech-to-text tool. In *Proceedings of Interspeech 2019*, pages 306–310, Graz. https://www.isca-speech.org/archive/Interspeech_2019/pdfs/8006.pdf.

Gippert, J., Himmelmann, N., and Mosel, U. (2006). Language documentation: What is it and what is it good for. In *Essentials of language documentation*, volume 178, pages 1–30. Walter de Gruyter, Berlin.

Hadian, H., Sameti, H., Povey, D., and Khudanpur, S. (2018). End-to-end speech recognition using lattice-free MMI. In *Interspeech*, pages 12–16. https://danielpovey.com/files/2018_interspeech_end2end.pdf.
Hannun, A., Case, C., Casper, J., Catanzaro, B., Diamos, G., Elsen, E., Prenger, R., Satheesh, S., Sengupta, S., Coates, A., et al. (2014). Deep speech: Scaling up end-to-end speech recognition. *arXiv preprint arXiv:1412.5567*. https://arxiv.org/abs/1412.5567.

Hinton, G., Deng, L., Yu, D., Dahl, G. E., Mohamed, A.-r., Jaitly, N., Senior, A., Vanhoucke, V., Nguyen, P., Sainath, T. N., and Others (2012). Deep neural networks for acoustic modeling in speech recognition: The shared views of four research groups. *Signal Processing Magazine, IEEE*, 29(6):82–97.

Hjortnaes, N., Partanen, N., Rießler, M., and Tyers, F. M. (2020). Towards a speech recognizer for Komi, an endangered and low-resource Uralic language. In *Proceedings of the Sixth International Workshop on Computational Linguistics of Uralic Languages*, pages 31–37, Wien. Association for Computational Linguistics. https://www.aclweb.org/anthology/2020.iwclul-1.5/.

Jacobson, M., Larrousse, N., and Massol, M. (2015). La question de l’archivage des données de la recherche en SHS (Sciences Humaines et Sociales). In *Archives et données de la recherche (ICA/SUV 2014)*, Paris. http://halshs.archives-ouvertes.fr/halshs-01025106.

Kisler, T., Reichel, U., and Schiel, F. (2017). Multilingual processing of speech via web services. *Computer Speech & Language*, 45:326–347. ISBN: 0885-2308 Publisher: Elsevier.

Lim, K., Partanen, N., and Poibeau, T. (2018). Multilingual dependency parsing for low-resource languages: Case studies on North Saami and Komi-Zyrian. In *Proceedings of LREC (International Conference on Language Resources and Evaluation)*, Miyazaki. https://hal.archives-ouvertes.fr/hal-01856178.

Michailovsky, B., Mazaudon, M., Michaud, A., Guillaume, S., François, A., and Adamou, E. (2014). Documenting and researching endangered languages: the Pangloss Collection. *Language Documentation and Conservation*, 8:119–135. https://halshs.archives-ouvertes.fr/halshs-01003734.

Michaud, A., Adams, O., Cohn, T., Neubig, G., and Guillaume, S. (2018). Integrating automatic transcription into the language documentation workflow: experiments with Na data and the Persephone toolkit. *Language Documentation and Conservation*, 12:393–429. http://hdl.handle.net/10125/24793.

Michaud, A., Adams, O., Cox, C., and Guillaume, S. (2019). Phonetic lessons from automatic phonemic transcription: preliminary reflections on Na (Sino-Tibetan) and Tsuut'ina (Dene) data. In *Proceedings of ICPhS XIX (19th International Congress of Phonetic Sciences)*, Melbourne. http://halshs.archives-ouvertes.fr/halshs-02059313.

Michaud, A., Adams, O., Cox, C., Guillaume, S., Wisniewski, G., and Galliot, B. (2020a). La transcription du linguiste au miroir de l'intelligence artificielle: réflexions à partir de la transcription phonémique automatique. *Bulletin de la Société de Linguistique de Paris*, 116(1). https://halshs.archives-ouvertes.fr/halshs-02881731/.

Michaud, A., Adams, O., Guillaume, S., and Wisniewski, G. (2020b). Analyse d'erreurs de transcriptions phonémiques automatiques d'une langue « rare » : le na (mosuo). In *Benzitoun, C.*, *Braud, D.*, Eds. In *Bibliothèque de la Société de Linguistique de Paris*, 116 (1920), p. 1–16.
C., Huber, L., Langlois, D., Ouni, S., Pogodalla, S., and Schneider, S., editors, *Actes de la 6e conférence conjointe Journées d’Études sur la Parole, Traitement Automatique des Langues Naturelles, Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues*, pages 451–462, Nancy, France. ATALA. https://hal.archives-ouvertes.fr/hal-02798572.

Partanen, N., Hämäläinen, M., and Klooster, T. (2020). Speech recognition for endangered and extinct Samoyedic languages. In *Proceedings of the 34th Pacific Asia Conference on Language, Information and Computation*.

Povey, D., Ghoshal, A., Boulianne, G., Burget, L., Glembek, O., Goel, N., Hannemann, M., Motlicek, P., Qian, Y., Schwarz, P., Silovsky, J., Stemmer, G., and Vesely, K. (2011). The Kaldi speech recognition toolkit. In *IEEE 2011 Workshop on Automatic Speech Recognition and Understanding*. IEEE Signal Processing Society. https://infoscience.epfl.ch/record/192584/files/Povey_ASRU2011_2011.pdf.

Ravanelli, M., Parcollet, T., and Bengio, Y. (2019). The pytorch-kaldi speech recognition toolkit. In *ICASSP 2019-2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)*, pages 6465–6469. IEEE. https://arxiv.org/abs/1811.07453.

van Esch, D., Foley, B., and San, N. (2019). Future directions in technological support for language documentation. In *Proceedings of the Workshop on Computational Methods for Endangered Languages*, volume 1, Honolulu, Hawai‘i. https://computel-workshop.org/wp-content/uploads/2019/02/CEL3_book_papers_draft.pdf#page=26.

Watanabe, S., Hori, T., Karita, S., Hayashi, T., Nishitoba, J., Unno, Y., Soplin, N. E. Y., Heymann, J., Wiesner, M., and Chen, N. (2018). ESPnet: End-to-end speech processing toolkit. *arXiv preprint arXiv:1804.00015*. https://arxiv.org/abs/1804.00015.

Wisniewski, G., Guillaume, S., and Michaud, A. (2020). Phonemic transcription of low-resource languages: To what extent can preprocessing be automated? In Beermann, D., Besacier, L., Sakti, S., and Soria, C., editors, *Proceedings of the 1st Joint SLTU (Spoken Language Technologies for Under-resourced languages) and CCURL (Collaboration and Computing for Under-Resourced Languages) Workshop*, pages 306–315, Marseille, France. European Language Resources Association (ELRA). https://halshs.archives-ouvertes.fr/hal-02513914.

Zeyer, A., Irie, K., Schlüter, R., and Ney, H. (2018). Improved training of end-to-end attention models for speech recognition. https://arxiv.org/abs/1805.03294.

Zhou, W., Michel, W., Irie, K., Kitza, M., Schlüter, R., and Ney, H. (2020). The RWTH ASR system for TED-LIUM Release 2: Improving Hybrid HMM with SpecAugment. https://arxiv.org/abs/2004.00960.
# RefCo: An initiative to develop a set of quality criteria for fieldwork corpora

Jocelyn Aznar¹, Frank Seifart¹

(1) ZAS, Leibniz-Zentrum Allgemeine Sprachwissenschaft (ZAS)
Schützenstr. 18, 10117 Berlin, Allemagne
aznar@leibniz-zas.de, seifart@leibniz-zas.de

## RÉSUMÉ

**RefCo: une initiative pour développer un ensemble de critères de qualité pour les corpus de terrain.**

RefCo est une initiative issue du projet QUEST dont l'objet est de s'assurer de la qualité des corpus issus de terrains en linguistique. L'objectif est d'établir des critères pour s'assurer que les corpus soient réutilisables, en particulier dans le cadre de recherches comparatives. L'initiative porte à la fois sur les corpus existants, par la mise en place d'un label de qualité, et sur les futurs corpus, par l'élaboration de recommandations et des guides de bonnes pratiques. Le label RefCo est décomposable en deux volets : les métadonnées pour la comparaison linguistique et la documentation du corpus. Enfin, un système de production de citations est également développé afin de faciliter la citation des corpus.

## ABSTRACT

RefCo is an initiative of the QUEST project which aims at ensuring the quality of corpora from linguistic fieldwork. The objective is to establish criteria for reusable corpora, especially for comparative linguistic research. The initiative addresses both existing corpora, through the implementation of a quality label, and future corpora, through guidelines for best practices. RefCo's label is currently composed of two panels: the metadata for cross-linguistic corpora, and the Corpus Documentation. Besides, a system producing citations is also developed in order to facilitate corpus citation.

**MOTS-CLÉS** : réutilisation, archivage, normalisation, critères de qualité, comparaison linguistique, langues orales, documentation linguistique, corpus de terrain

**KEYWORDS:** reusability, archive, standards, quality criteria, cross-linguistics, oral languages, linguistic documentation, fieldwork corpora.

## 1 Introduction

At least since Hale et al.'s (1992) acknowledgment of language endangerment and extinction as a scientific issue, many small languages around the world have been documented in one way or another. These documentations are potentially valuable sources of knowledge about human language and linguistic diversity. But, as the number of language documentations increased, the difficulties for reusing those materials are also becoming more apparent (e.g., Thieberger et al. 2016). In fact, of the vast materials held in repositories such as the Endangered Languages Archive (ELAR), The Language Archive (TLA), or PANGLOSS, only little has been used in linguistics research so far, especially by linguists other than the corpus creators themselves.
To enhance the reusability of such data, the QUEST project (https://cutt.ly/quest-project), funded by the German Ministry of Science from 2019 to 2022, proposes to develop, promote and validate good practices and standards for language documentation corpora through consultation with the research community. The QUEST consortium, as a whole, deals with different types of linguistic data, including multimodal and multilingual data. The project develops generic quality criteria as well as specific recommendations applicable for certain re-use scenarios. These quality criteria will be the basis for a data quality label, which QUEST develops as a mid-term goal, and as guidelines for ongoing and future data collection. Furthermore, QUEST develops a Web interface as a tool to make the QUEST label testing process accessible to a wider audience (Arkhangelskiy, Hedeland, and Riaposov 2020).

The QUEST component RefCo (Reference Corpora) targets research carried out on fieldwork corpora<fnref n="1" />, especially comparative research, as one of the QUEST re-use scenarios. By 'fieldwork corpora' we mean sets of monological narratives, both audio and audiovisual, that are typically collected in the context of language documentation projects. These projects could aim at cultural preservation for multiple users, including speech communities, and thus might contain additional data not relevant for RefCo like song recordings. RefCo's objective is to ensure that such fieldwork corpora can be re-used, especially in cross-linguistic studies.

As a first step, QUEST RefCo carries out consultation with stakeholder in the field, including fieldworkers and researchers who carry out comparative research using fieldwork corpora (e.g., Bender et al. 2013; Haig & Schnell 2016; Mettouchi, Frajzyngier & Chanard 2017; Stave et al. 2020). On the basis of that, it develops a set of quality criteria for re-usability which will be implemented as (i) guidelines for fieldworkers, and (ii) as basis for a certificate of cross-linguistic re-usability that can be awarded to corpora based on an evaluation carried out by an expert committee. RefCo thus aims to be relevant to both already existing corpora as well as future documentation projects. Additionally, QUEST RefCo carries out case studies to test the re-usability of data that meets the proposed criteria. As with other QUEST components, RefCo criteria are conceived as standards that are currently accepted by the relevant research community: they can and must be amended and changed when standards of the field evolve. The aim is to define a minimum set of quality criteria, not an extensive one. RefCo criteria focus primarily on the quality of annotations and of metadata, both at the level of individual files and at the level of corpora and to improve the findability of the resources. To achieve this objective, QUEST policy is to promote and facilitate the application of standardized good practices on a dataset, not to enforce the use of as many as possible metadata or annotations. QUEST criteria align standards for fieldwork corpora with internationally accepted standards for research data, including the FAIR principles (Wilkinson et al. 2016), Dublin Core Terms, Schema.org, FOAF, SKOS as well as OLAC (Bird and Simons 2001), a metadata specification dedicated to language resources. To further enhance data reuse, RefCo, as part of the QUEST label, provides bibliographical references which follows the Austin principles (Berez-Kroeker et al. 2018), to ensure that corpus creators are properly credited for their work.

<footnote n="1">¹ In this article, we interchangeably use the terms "dataset" and "corpus" to refer to the data submitted to RefCo. Within QUEST, a "dataset" is a more abstract concept that allows encompassing the various deposit scenario: a field linguist submitting a corpus on an oral language, a set of legacy recordings, a teacher providing annotated documents. In the case of RefCo, both terms are equivalent as the deposit are mostly fieldwork corpora.</footnote>
# 2 RefCo Curation Standards

The RefCo component is a subproject of the QUEST initiative. As such, it inherits the quality criteria defined within the QUEST project for assessing the submitted datasets. In this section, we will focus solely on the quality criteria and process associated with fieldwork corpora and thus RefCo.

## 2.1 Metadata for Cross-Linguistic Corpora

The Quality Standards for Audiovisual Corpora developed by the QUEST initiative focus primarily on a comprehensive set of metadata for linguistic datasets. Within this set, the RefCo subcomponent defines the 'RefCo module', a set of basic metadata that is currently considered minimal standard by research community of field workers and linguists carrying out comparative research on fieldwork data (e.g. Bowern 2008: 47–62; Thieberger and Berez 2011: 105-109; Meakins, Green, and Turpin 2018: 73-78). This includes Glottocode language identification codes for the languages documented as well as the language in which translation and glosses are provided, date and location of recording, speaker age and sex, and that a license for re-use is specified. RefCo explicitly allows for approximate, rather than exact time and age information to bridge archivists' desire for complete and precise metadata with the realities the corpus creators face during fieldwork.

A corpus submitted to RefCo has to be licenced with a Creative Common licence which enables the scientific re-use of the corpus<fnref n="2" />. This is a requirement for corpora that are intended to be used in cross-linguistic studies.

The metadata are to be specified at two levels: the corpus, called dataset in QUEST, which is the entity corresponding to a whole coherent submission by a data creator, typically on one language. A dataset is composed of datapackages, also called sessions or bundles, an abstract entity typically referring in the case of the RefCo to one monological narrative, including media and annotation files. The abstraction of datapackage allows to handle case of a texts distributed over various files, or a file containing various texts.

As many research questions require a minimal amount of data, the number of words that have been transcribed and translated, and of the number of words that are morphologically annotated, have to be specified at the dataset level. We are aware that the number of words is a rough estimate of corpus size, given differences in morphological type and in definitions of words, but we consider that this is a useful approximation.

## 2.2 Documenting a Corpus and its Conventions

Annotating data with interlinear glossing is a standard practice for linguists working on oral languages that was popularized by Boas (1922). The process is now assisted by using software like ELAN, EXMARaLDA or Anvil and has been the object of some conventions, in particular the Leipzig Glossing Rules. Still, there are considerable variations in the interlinear glossing practices of linguists, as apparent in corpora we are currently processing for RefCo. Therefore, RefCo requires that the information relevant for re-use but that cannot be gleaned which explicitly from the corpus

<footnote n="2">² It includes thus the six derivated licenses associated with Creative Commons, including the non commercial and non derivative work which will still allow comparative researches to be made. Other Open or Free licenses will be evaluated on the demand of a corpus submitter.</footnote>
itself or the metadata to be provided in a set of separate documents that we call "Corpus Documentation"<fnref n="3" />. The redaction of this Corpus Documentation involves both the corpus creator and the RefCo component into checking the coherency of the annotation. Crucially, RefCo does not require the use of one of the other glossing convention, but explicit description of the specific glossing conventions used, including, e.g., abbreviations used in glossing and punctuation.

The Corpus Documentation must start with an *Overview* section which provides information about the types of files present in the corpus and their format. It also asks about the number of items present (texts, transcription units, tokens, glosses and POS tags). The following section, *Annotation levels*, specifies whether all the files in the corpus respect or not the same conventions, the authors has to provide information concerning the tiers and their names, the way they were segmented and in which language they are written. QUEST requires identification of the (anonymous) speaker IDs. Regarding the *Transcription*, the author of the corpus has to provide first a table associating each grapheme with their phonological value. If employed, it is important as well to specify all the particular strategies used to transcribe noise, cough, laugh or other paralinguistical speech. The language used for the *Translation* has to be specified as well as whether the translation was provided by a native speaker of the destination language, a more vehicular language. If relevant, a glossary explaining the untranslated words in the corpus should be provided. The *Morphemes* section is dedicated to the description of choices made to handle morpheme boundaries and non-linear morphology, that is if Leipzig Glossing Rules were applied and which morpheme separators were used. In the *Glosses*, if the punctuation was used in that tier, its meaning has to be described. The grammatical abbreviations are explicited here as well. If the corpus contains a layer dedicated to the annotation of Part-of-Speech POS, their meaning has to be provided here. Finally, if the corpus providers find it relevent, in the *Other* section, they can provide additional information and comments.

# 3 Benefits of using RefCo

Submitting a corpus to RefCo is, for the corpus creator, a consequent effort. Still, we believe that the RefCo label provides substantial benefits to the corpus submitter and the other different stakeholder in the field, which will incentivize the submission of data sets.

## 3.1 For the Corpus Submitter

One of the first incentise comes from the submission process itself. As the QUEST RefCo supports field workers by guiding them through consistency and completeness checks of their metadata and annotations, the quality of their work is be positively affected.

Making the corpus available to the public through the QUEST labelling process adds to the accountability of the fieldworker's research by allowing for replication of results (Riesberg 1998). Publication of datasets on which results are based is increasingly viewed as important and enforced by publication outlets in linguistics, following practices in other sciences. It facilitates fair recognition of the efforts invested by the fieldworker by facilitating proper use and citation of the data. It also facilitates future re-use of the data by the fieldworker herself, as it implies fully and consistently processing and properly archiving data.

<footnote n="3">³ The Corpus Documentation and its template, which explains how to write the document, were designed by Kilu von Prince.</footnote>
## 3.2 Funding organizations

From a funding organization's perspective, RefCo provides a yardstick for the success of a project that involves data collection. First, there is a growing consensus that the public has certain access rights regarding the re-use of public funded researches and their results (Wilkinson et al. 2016). Existing private funding schemes for fieldwork projects, like ELDP, have implemented schemes to enforce best practices for ELDP-funded fieldworkers and require their grantees to implement those, or the funding would not be resumed (Holton & Seyfeddinipur 2018).

## 3.3 To the Linguistic Community

As it has been stated many times, every language offers a unique window into the puzzle of the human intellectual capacity. In this sense, making fieldwork data on under-described languages accessible contributes to basing linguistic theorizing on a greater sample than the relatively few, well-described languages that most current theories rely on (Hale et al. 1992; Anand, Chung & Wagers 2015; Norcliffe, Harris & Jaeger 2015). One of the primary concern of QUEST is to render linguistic corpora available to other linguists as well as the scientific community in general. The RefCo QUEST criteria focus on information are of particular relevance to re-use for typology. However, consistently described, coherent, and accessible datasets resulting from RefCo labelling process will render these accessible also for anthropologists and social scientist in general.

## 3.4 The Speech Community

Finally, for a speech community which have been subject of a documentation project labelled by RefCo, the process ensures its sustainability by making them findable and accessible. It raises the visibility of the language contributes at the conservation of the cultural heritage, in particular in case of languages that are endangered of becoming extinct, as a whole or with respect to certain traditional genres (Mosel 2006).

# 4 Conclusion

The QUEST project is an implementation of the current standards and good practices coming from the archiving and linguistics communities. As multiplying metadata and recommendations regarding language documentation corpora adds to the difficulties encountered by corpus creator during the production of their data, the perspective we adopted is to facilitate their application by data creator. To do so, we provide guidelines for describing the corpus The quality criteria and metadata we have seen in this article associated with RefCo, a subproject of QUEST dedicated to the problematic of corpora for cross-linguistics. The position adopted by RefCo is to ease the production of a corpus first by limiting to the minimum the quality criteria and metadata the dataset creators have to provide, second by accompanying them during that application by providing support and guidelines.

## References

Anand, Pranav, Sandra Chung & Matthew Wagers. 2015. *Widening the Net: Challenges for Gathering Linguistic Data in the Digital Age*. Paper submitted to the National Science Foundation as part of its SBE 2020 planning activity.
https://www.nsf.gov/sbe/sbe_2020/2020_pdfs/Wagers_Matthew_121.pdf.
Bender, Emily M., Michael Wayne Goodman, Joshua Crowgey & Fei Xia. 2013. Towards Creating Precision Grammars from Interlinear Glossed Text: Inferring Large-Scale Typological Properties. In *Proceedings of the 7th Workshop on Language Technology for Cultural Heritage, Social Sciences, and Humanities*, 74–83. Sofia, Bulgaria: Association for Computational Linguistics. https://www.aclweb.org/anthology/W13-2710.

Bender, Emily M., Michael Wayne Goodman, Joshua Crowgey & Fei Xia. 2013. Towards Creating Precision Grammars from Interlinear Glossed Text: Inferring Large-Scale Typological Properties. *Proceedings of the 7th Workshop on Language Technology for Cultural Heritage, Social Sciences, and Humanities*, 74–83. Sofia, Bulgaria: Association for Computational Linguistics. https://www.aclweb.org/anthology/W13-2710.

Berez-Kroeker, Andrea L, Lauren Gawne, Susan Smythe Kung, Barbara F Kelly, Tyler Heston, Gary Holton, Peter Pulsifer, et al. 2018. ‘Reproducible Research in Linguistics: A Position Statement on Data Citation and Attribution in Our Field’. *De Gruyter*, Linguistics, 56 (1): 18. https://doi.org/10.1515/ling-2017-0032.

Bowern, Claire. 2008. *Linguistic Fieldwork - A Practical Guide*. New York: Palgrave MacMillan.

Haig, Geoffrey & Stefan Schnell. 2016. The discourse basis of ergativity revisited. *Language* 92(3). 591–618. doi:10.1353/lan.2016.0049.

Hale, Ken, Michael Krauss, Lucille J. Watahomigie, Akira Y. Yamamoto, Colette Craig, LaVerne Masayesva Jeanne & Nora C. England. 1992. Endangered languages. *Language* 68(1). 1–42. https://doi.org/10.1353/lan.1992.0052.

Holton, Gary & Mandana Seyfeddinipur. 2018. Reflections on funding to support documentary linguistics. In Bradley McDonnell, Andrea L. Berez-Kroeker & Gary Holton (eds.), *Reflections on Language Documentation 20 Years After Himmelmann 1998* (Language Documentation & Conservation Special Publication 15), 100–109. Honolulu: University of Hawai'i Press. http://hdl.handle.net/10125/24812 (17 December, 2019).

Meakins, Felicity, Jennifer Green & Myfany Turpin. 2018. *Understanding Linguistic Fieldwork*. London, New York: Routledge.

Mettouchi, Amina, Zygmunt Frajzyngier & Christian Chanard (eds.). 2017. *Corpus-based cross-linguistic studies on Predication (CorTypo)*. http://cortypo.huma-num.fr/Publication (3 November, 2018).

Mosel, Ulrike. 2006. Fieldwork and community language work. In Jost Gippert, Nikolaus P. Himmelmann & Ulrike Mosel (eds.), *Essentials of Language Documentation*, 67–85. Berlin: Mouton de Gruyter.

Norcliffe, Elisabeth, Alice C. Harris & T. Florian Jaeger. 2015. Cross-linguistic psycholinguistics and its critical role in theory development: early beginnings and recent advances. *Language, Cognition and Neuroscience* 30(9). 1009–1032. https://doi.org/10.1080/23273798.2015.1080373.
Stave, Matthew, Ludger Paschen, François Pellegrino & Frank Seifart. 2020. Optimization of morpheme length: a cross-linguistic assessment of Zipf's and Menzerath's laws. To appear in *Linguistic Vanguard*.

Thieberger, Nicholas & Andrea L. Berez. 2011. Linguistic Data Management. In Nicholas Thieberger (ed.), *The Oxford Handbook of Linguistic Fieldwork*, 90–118. Oxford, New York: Oxford University Press.

Thieberger, Nick, Anna Margetts, Stephen Morey & Simon Musgrave. 2016. Assessing annotated corpora as research output. Australian Journal of Linguistics 36(1). 1–21. https://doi.org/10.1080/07268602.2016.1109428.

Vasile, Aurelia, Séverine Guillaume, Mourad Aouini & Alexis Michaud. 2020. *Le Digital Object Identifier, une impérieuse nécessité ? L’exemple de l’attribution de DOI à la Collection Pangloss, archive ouverte de langues en danger*. I2D - Information, données & documents. https://halshs.archives-ouvertes.fr/halshs-02870206.

Wilkinson, Mark D., Michel Dumontier, IJsbrand Jan Aalbersberg, Gabrielle Appleton, Myles Axton, Arie Baak, Niklas Blomberg, et al. 2016. The FAIR Guiding Principles for scientific data management and stewardship. *Scientific Data* 3(1). 1–9. https://doi.org/10.1038/sdata.2016.18.
<figure><img src="image_33.png" /></figure>