# Vers un repérage automatique des discontinuités dans le discours pathologique du sujet schizophrène

Barrouillet Vincent-Thomas¹ Michel Musiol¹,² Maxime Amblard²

(1) Universite de Lorraine, CNRS, ATILF, F-54000 Nancy, France

(2) Universite de Lorraine, CNRS, Inria, LORIA, F-54000 Nancy, France
vincent-thomas.barrouillet@univ-lorraine.fr

## RESUME

Le discours du sujet schizophrène en phase aiguë présente de multiples bizarreries. Un sous-ensemble de ces dernières a été modélisé en tant que « ruptures ». En étude systématique de corpus, on dégage 27 séquences comportant 47 ruptures dans des entretiens entre des patients et des psychologues. Nous définissons un modèle qui vise à retrouver de façon *in fine* automatique ces ruptures. À partir de la segmentation en actes des tours de parole, nous définissons les actes pertinents pour chaque interactant au moyen de règles de décision non ambiguës. Enfin, un calcul algorithmique permet de repérer les ruptures attendues. Nous obtenons une F-mesure de 88.9 % et une exactitude de 96.2 %. L'analyse qualitative des données montre que les 40 vrais positifs et les 3 faux positifs relèvent d'une même catégorie, les « ruptures thématiques », tandis que le système échoue à repérer les autres catégories de ruptures.

## ABSTRACT

### Toward an automatic identification of discontinuities in the pathological discourse of patient with schizophrenia

Pathological discourse of schizophrenics in acute phase presents multiple oddities. A subset of them was modeled as “discontinuities”. Here, 27 sequences with 47 discontinuities were manually identified in our corpus of interviews between a patient and a psychologist. We aim to find these discontinuities *in fine* automatically. From the segmentation of the turns into acts, we precise all the relevant acts for each interactant and each turn, thanks to unambiguous decision rules. Finally, an algorithm identifies the discontinuities. We achieve a F-measure of 88.9% and an accuracy of 96.2%. By analyzing the data, we point out that the 40 true positives and the 3 false positives fall into the same category, “thematic discontinuity”, while the system fails to identify all other categories of discontinuities.

**MOTS-CLES** : discours, discours pathologique, schizophrénie, corpus

**KEYWORDS** : discourse, pathological discourse, schizophrenia, corpus

<figure><img src="image_29.png" /></figure>
# 1 Contextualisation

Le discours pathologique du sujet schizophrène est parsemé de bizarreries que l’on repère intuitivement. Un sous-ensemble de ces bizarreries a été formalisé sous la forme de ruptures, qui sont des discontinuités pragmatiques dans le discours. Un modèle général a ainsi émergé identifiant quatre types de ruptures (Musiol, 2009) qui sont le débrayage conversationnel et la défectuosité de l’initiative conversationnelle d’une part, et les ruptures inter et intra d’autre part. Les deux premières sont prédites par un modèle adapté de la SDRT (Asher & Lascarides, 2003; Rebuschi et al., 2014). Ici, nous nous intéressons plus particulièrement à la partie du modèle prévoyant les deux dernières catégories : les ruptures inter, i.e. ayant lieu entre deux tours de parole, et les ruptures intra, i.e. ayant lieu à l’intérieur d’un tour de parole. Ces ruptures sont objectivement et manuellement mises à jour au moyen de la modélisation hiérarchique (Roulet et al., 2001), mais nous cherchons à les identifier par un système *in fine* automatique qui ne passe plus par la modélisation hiérarchique.

# 2 Présentation du corpus

Le corpus est constitué d'entretiens qui se sont tenus à l'hôpital psychiatrique de Rouen en 2005 et à l'hôpital de Tizi-Ouzou, en Algérie, en 2019. Nous avons obtenu un CPP (« Comité de Protection de la Personne ») pour le corpus de Rouen, mais l'absence de comité d'éthique à Tizi Ouzou ne nous a pas permis d'en présenter un. Aussi, afin de garantir la qualité de la méthodologie appliquée, nous avons réemployé un protocole pour lequel nous avions obtenu un accord la même année auprès du CHRU d'Aix-En-Provence. Le protocole consiste en la réalisation d'un ou deux entretiens non directifs, sans but explicite, permettant au sujet d'élaborer sur son environnement et sa vie quotidienne. Les entretiens sont conduits par plusieurs psychologues ayant reçu les formations nécessaires.

Le corpus, qui rassemble 26 heures d'entretiens, a ensuite été retranscrit manuellement par quatre transcripteurs entraînés. Un guide de transcription a été élaboré pour normaliser la production, et les deux transcripteurs ont été entraînés sur des données parallèles afin de contrôler leur production. Nous n'avons pas calculé le Kappa de Cohen car leur entraînement conjoint a été fait sur un volume réduit de données. Le matériel textuel obtenu est désidentifié des noms de personne, de ville, d'institution, etc., et augmenté de balises *ad hoc* telles que <rire> <chuchotement> <claquement de porte>, etc.

Une étude manuelle par deux spécialistes différents des transcripteurs a été effectuée, en application du modèle de (Roulet et al., 2001), pour identifier l'ensemble exhaustif des séquences où les ruptures apparaissent. L'étude a permis d'identifier 27 séquences de ruptures. Les séquences sont composées de plusieurs tours de parole que nous segmentons
en actes de langage (Searle & Vanderveken, 1985). Comme il n'existe pas de système automatique ayant les performances suffisantes, la segmentation est réalisée par un annotateur, et le résultat est corrigé et validé par un second annotateur.

## 3 Méthodologie

Notre méthode est basée sur la notion de « mise à jour ». Nous assumons qu'un acte est mis à jour, au sens large, par un acte d'un tour ultérieur du même interactant si le second a explicitement besoin du premier pour exister, comme dans un couple question / réponse, ou dans le cas d'une reformulation, d'une reprise, d'une élaboration, ou encore d'une répétition. Nous envisageons l'un après l'autre l'ensemble des actes d'un tour pour l'un puis pour l'autre des interactants et nous formalisons 5 règles explicitant les traitements à appliquer à chaque acte. Si un acte n'est pas mis à jour par la suite, il n'est pas retenu comme acte pertinent (règle A1). S'il est mis à jour par la suite pour le même interactant, il est retenu comme acte pertinent de tour en tour pour cet interactant (règle A3) jusqu'à sa mise à jour où il n'est plus pertinent (règle A4). L'ensemble des autres règles s'applique pour statuer sur la pertinence éventuelle de l'acte qui acte met à jour le précédent. Et il n'y a aucun acte pertinent dans le dernier tour de parole de la séquence (règle A5).

Toutes les règles font l'objet d'une description formelle, mais la règle A2 reste la plus complexe d'un point de vue conceptuel. Chaque tour de parole possède un et un seul acte dit "prévalent". L'acte prévalent est l'acte « le plus important » du tour de parole qui se calcule comme celui dont les autres actes dépendent. Il est toujours possible de retirer soit un, soit un groupe d'actes secondaires, mais la suppression de l'acte prévalent dans le tour de parole lui retire la possibilité de faire sens.

Ce concept est une modélisation de l'« acte principal » défini dans le modèle hiérarchique de (Roulet et al., 2001) et des travaux en cours visent à automatiser le calcul de l'acte prévalent, afin de se libérer totalement de la modélisation hiérarchique dans la détection automatique les ruptures. La règle A2 stipule que l'acte prévalent d'un interlocuteur est forcément pertinent pour le tour en cours et pour l'interlocuteur concerné. Et s'il n'est pas mis à jour par la suite, il n'apparaîtra qu'une fois dans le tour de parole qu'il structure.

Nous utilisons un tableau à deux entrées contenant les tours de parole pour les deux interactants. Dans chaque case se trouvent les actes pertinents à échéance d'un tour de parole pour le patient ou le psychologue. Les actes pertinents en vertu de la règle A3 portent en indice le numéro de l'acte qui le mettra à jour, et les actes pertinents en vertu de la règle A2 ne portent pas d'indice, car ils n'apparaissent qu'une fois.

Par la suite, un algorithme détermine parmi les actes pertinents ceux qui ne doivent pas être pris en compte dans le calcul des ruptures, et qu'il faut retirer — ces actes sont appelés « actes fantômes ». Enfin, si les deux ensembles d'actes restants, patient et psychologue, ne
sont pas identiques pour un tour de parole donné, le système repère une rupture à échéance
de ce tour.

4 Pseudo-code de l’algorithme de détection des ruptures

Dans cette section, nous proposons une description algorithmique de l'étape finale de la
détection des ruptures. Nous commençons par les notations initiales.

R := [R0, R1, ..., Rk] # le tableau complet R se compose des tours de parole R0 à Rk

Ri := [Ri0, Ri1] # le tour Ri se compose des cases du patient (0) et du psychologue (1)

Rij := [A0, A1, ...] # la case Rij se compose d'une liste d'actes A0, A1, ...

An := [corps, indice] # l'acte An se définit comme un corps et un indice

corps := étiquette # le corps d'un acte est une étiquette qui en donne le numéro (A, B, C...)

indice := rien ou étiquette # l'indice d'un acte est l'étiquette de l'acte qui le mettra à jour. Il n'y a pas d'étiquette en cas d'application de la règle A2

Nous poursuivons par la définition d'une fonction supprimant les éléments non pertinents.

fonction Rij_sans_fantôme(i, j): # retirer les actes fantômes de R(i, j)

. liste_fantômes est initialisé comme liste vide

. pour tous les actes A de R(i, j)

. . pour tous les actes B de R(i, 1 - j)

. . . si A = B :

. . . . alors : passer au A suivant

. . . . sinon : pour tous les actes C de R(i - 1, 1 - j)

. . . . . . si (corps de A = corps de C) et (corps de B = indice de C) alors :

. . . . . . . A est placé dans liste_fantômes

. pour tous les actes de R(i, j), retirer les fantômes et renvoyer le résultat

fin de la fonction

Enfin, nous abordons la fonction qui identifie les ruptures.

fonction trouver_rupture(k): # k est le nombre de tours

. pour i allant de 0 à k # pour chaque tour i

. . pour les deux valeurs de j # les deux interactants
... R(i, j) prend la valeur de Rij_sans_fantome(i, j)

... si R(i, 0) différent de R(i, 1), alors, il y a rupture à échéance du tour i fin de la fonction

# 5 Exemple : Voyage & Incontinence

Nous développons dans la suite un exemple complet d'analyse d'une rupture.

<table><thead><tr><th>Actes de langage par tour de parole</th><th>Interactant S<br>R<sub>i,0</sub></th><th>Interactant P<br>R<sub>i,1</sub></th></tr></thead><tbody><tr><td><strong>S<sub>0</sub></strong><br>A = J'ai toujours une belle-mère et un beau-père.<br><strong>B</strong> = Mon beau-père, depuis qu'il est à la retraire, s'absente neuf mois...<br>C = Et quand il revient, il est violent.</td><td><strong>R<sub>0,0</sub></strong><br>{B<sub>M</sub> ; C<sub>O</sub>}</td><td><strong>R<sub>0,1</sub></strong><br>{B<sub>D</sub> ; C<sub>D</sub>}</td></tr><tr><td><strong>P<sub>0</sub></strong><br><strong>D</strong> = Il va où pendant ces neuf mois ?</td><td><strong>R<sub>1,0</sub></strong><br>{<strong>B</strong><sub>M</sub> ; <strong>C</strong><sub>O</sub> ; D<sub>E</sub>}</td><td><strong>R<sub>1,1</sub></strong><br>{D<sub>F</sub>}</td></tr><tr><td><strong>S<sub>1</sub></strong><br><strong>E</strong> = Oh, je ne sais pas où il va, puisque je ne l'ai jamais accompagné...</td><td><strong>R<sub>2,0</sub></strong><br>{<strong>B</strong><sub>M</sub> ; <strong>C</strong><sub>O</sub> ; E}</td><td><strong>R<sub>2,1</sub></strong><br>{E<sub>F</sub> ; D<sub>F</sub>}</td></tr><tr><td><strong>P<sub>1</sub></strong><br><strong>F</strong> = Il vous dit pas ?</td><td><strong>R<sub>3,0</sub></strong><br>{<strong>B</strong><sub>M</sub> ; <strong>C</strong><sub>O</sub>}</td><td><strong>R<sub>3,1</sub></strong><br>{<strong>F</strong><sub>I</sub>}</td></tr><tr><td><strong>S<sub>2</sub></strong><br><strong>G</strong> = Il est incontinent.<br>H = Hachem.<br>I = Il est incontinent mon beau-père.<br>J = Mon beau-père est incontinent comme un bébé.<br>K = Ou un petit garçon jusqu'à trois ans.</td><td><strong>R<sub>4,0</sub></strong><br>{<strong>B</strong><sub>M</sub> ; <strong>C</strong><sub>O</sub> ; <strong>C</strong>}</td><td><strong>R<sub>4,1</sub></strong><br>{<strong>F</strong><sub>I</sub>}</td></tr><tr><td><strong>P<sub>2</sub></strong><br><strong>L</strong> = Et du coup, il s'absente 9 mois ?</td><td><strong>R<sub>5,0</sub></strong><br>{<strong>B</strong><sub>M</sub> ; <strong>C</strong><sub>O</sub> ; L<sub>M</sub>}</td><td><strong>R<sub>5,1</sub></strong><br>{L}</td></tr><tr><td><strong>S<sub>3</sub></strong><br><strong>M</strong> = Depuis qu'il est à la retraite, oui, il voyage.</td><td><strong>R<sub>6,0</sub></strong></td><td><strong>R<sub>6,1</sub></strong></td></tr></tbody></table>
<table><tr><td>N = Il s'absente 9 mois</td><td>Ø</td><td>Ø</td></tr><tr><td>O = Et quand il revient, il est violent.</td><td></td><td></td></tr><tr><td>...</td><td></td><td></td></tr><tr><td>U = Et je suis tombée.</td><td></td><td></td></tr><tr><td>V = Et j'ai saigné.</td><td></td><td></td></tr></table>

Les Ri,j du tableau sont l'ensemble des actes pertinents au regard des règles de décision. L'algorithme donné ci-dessus calcule les actes fantômes qui sont représentés ici en vert. Lorsque Ri,0 et Ri,1 ne sont pas identiques, après le retrait des actes fantômes, la rupture est repérée, ici pour i = 3 et pour i = 4, ce qui signifie qu'il y a une rupture, ici inter, à échéance de ces tours de paroles. Le tour de la patiente noté S2 est donc encadré par deux ruptures thématiques et se constitue donc une sorte d'ilot isolé du reste de l'interaction.

# 6 Résultats et discussion

Parmi les 27 séquences du corpus, le système repère 40 vrais positifs et 213 vrais négatifs, ainsi que 3 faux positifs et 7 faux négatifs. On obtient donc une exactitude de 96,2 % et une F-mesure de 88,9 %, ce qui est un bon résultat au vu de la complexité de la tâche. Plus finement, le système a une précision de 93.0 % et un rappel un peu inférieur, à 85.1 %.

L'analyse qualitative des résultats conduit à plusieurs remarques. Dans l'interaction, les ruptures peuvent être de nature différente : ruptures thématiques ou argumentatives. L'ensemble des positifs (vrais et faux) sont des ruptures thématiques, contrairement à l'ensemble des faux négatifs. Le système ne reconnait aucune rupture argumentative, et se focalise sur les ruptures thématiques, y compris les 3 fausses. Nous disposons ainsi d'un système formel permettant d'établir la présence de ruptures thématiques avec un très bon niveau de performance. Mais si ces ruptures sont les plus nombreuses dans le corpus, le système nécessite une adaptation plus fine pour identifier les autres types de ruptures qui apparaissent au niveau de l'interaction.

# 7 Conclusion

Les « ruptures », dans le discours pathologique du sujet schizophrène, sont des points de discontinuité pragmatique que l'on peut mettre au jour objectivement et manuellement au moyen de la modélisation hiérarchique (Roulet et al., 2001). Dans le cadre d'un corpus d'entretiens patients et psychologue, et afin d'automatiser le repérage des ruptures dans le but de se passer de la modélisation hiérarchique, nous proposons un système fondé sur la notion de « mise à jour » : nous assumons qu'un acte de langage est mis à jour par un acte postérieur si le second a besoin du premier pour exister (e.g. un couple question / réponse).
Cinq règles formelles décident pour chaque acte de chaque tour de parole, pour le patient et le psychologue, si l'acte est « pertinent » ou pas. Si c'est le cas, l'acte se retrouve dans une case Ri,j d'un tableau à deux entrée, i étant le numéro du tour et j valant 0 pour le patient, 1 pour le psychologue. Un algorithme, dont nous avons donné le pseudocode, calcule alors les ruptures dans la séquence, et nous obtenons sur les 27 séquences du corpus, comportant 47 ruptures, une exactitude de 96,2 % et une F-mesure de 88,9 %, soit de bons résultats au regard de la complexité de la tâche.

Références

ASHER N. & LASCARIDES A. (2003) Logics of conversation. *Cambridge University Press*.

MUSIOL M. (2009) Chapitre 13. Incohérence et formes psychopathologiques dans l'interaction verbale schizophrénique in *Psychose, langage et action. Louvain-la-Neuve*, pp. 217-238. De Boeck Supérieur (Neurosciences & cognition).

REBUSCHI M., AMBLARD M. & Musiol, M. (2014) Using SDRT to analyze pathological conversations: Logicality, rationality, and pragmatic deviances in *Interdisciplinary works in logic, epistemology, psychology and linguistics*, pp. 343–368. Springer.

Roulet E. et al (2001) Un modèle et un instrument d'analyse de l'organisation du discours, vol 62. Peter Lang Gmbh, collection « *Sciences pour la communication* ». Berne.

SEARLE J.R. & VANDERVEKEN D. (1985) Foundations of illocutionary logic. *CUP Archive*.
Troisième partie

Session dédiée aux ressources et
application
# A Semi-supervised Dialogue Discourse Parsing Pipeline

Chuyuan Li¹ Maxime Amblard¹ Chloé Braud²

(1) LORIA, UMR 7503, Université de Lorraine, CNRS, Inria, 54000 Nancy, France
lisa27chuyuan@gmail.com, maxime.amblard@loria.fr

(2) IRIT, Université de Toulouse, CNRS, ANITI, Toulouse, France
chloe.braud@irit.fr

RÉSUMÉ

## Analyse semi-supervisée du discours dans les dialogues

L'analyse du discours joue un rôle crucial dans le Traitement Automatique des Langues (TAL) et a démontré son utilité dans diverses applications telles que le résumé et les systèmes de questions-réponses. Dans cet article, nous abordons ce problème difficile en raison de la rareté des données annotées : l'analyse du discours dans les dialogues. Notre approche de l'analyse du discours comporte deux étapes : tout d'abord, nous prédisons la structure du discours, puis nous identifions les relations au sein de la structure. En utilisant seulement 50 exemples comme données d'entraînement, nos méthodes obtiennent des résultats compétitifs par rapport à l'état de l'art supervisé dans le même domaine et de bien meilleures performances inter-domaines, avec également une meilleure stabilité.

ABSTRACT

Discourse analysis plays a crucial role in Natural Language Processing (NLP) and has demonstrated its usefulness in various downstream applications like summarization and question answering. In this work, we study discourse in dialogues : an under-explored setting due to significant data scarcity challenge. We conduct discourse parsing within a pipeline : first, we predict the discourse structure, and then we identify the relations within the structure. Using only 50 examples as gold training data, our methods achieve competitive results compared to supervised state-of-the-art in-domain and much stronger performance cross-domain, with also better stability.

MOTS-CLÉS : Analyse du discours, apprentissage automatique, dialogue.

KEYWORDS: Discourse analysis, machine learning, dialogue.

# 1 Introduction

Discourse analysis aims to uncover the inherent structure of documents and has been shown useful for many applications, from sentiment analysis or fake news detection (Bhatia et al., 2015; Karimi & Tang, 2019), to summarization or machine translation (Chen & Yang,

<figure><img src="image_30.png" /></figure>
<figure><img src="image_31.png" /><figcaption>FIGURE 1 – An SDRT graph structure (left) of a dialogue (right) in STAC corpus (s2-leagueM-game4). *e* are EDUs. QAP : *question answer pair*; Ack : *acknowledgment*; Q-Elaboration : *question elaboration*. Graphic extracted from Li (2023).</figcaption></figure>

2021; Chen et al., 2020). In recent years, the availability of accurate transcription methods and the increase in online communication have led to a tremendous rise in dialogue data, necessitating the development of automatic analysis systems. However, simple surface-level features are oftentimes not sufficient to extract valuable information from conversations (Qin et al., 2017). Rather, we need to understand the semantic and pragmatic relationships organizing the dialogue, for example through the use of discourse information.

Discourse parsing task consists of retrieving a structure from documents, where spans of text are linked by semantic-pragmatic relations (such as *Explanation*, *Acknowledgment*, *Contrast*...). It is a hard task, with low performance especially for multi-party dialogues involving intricate relations between speakers. Hence, on the English chat corpus STAC (Asher et al., 2016) (board game) – annotated under the Segmented Discourse Representation framework (Asher & Lascarides, 2003) with graph structures and 16 relations –, State-Of-The-Art (SOTA) supervised parser Structured-Joint (Chi & Rudnicky, 2022) reports 59.6 at best on the full structure, with a drop of about 20 points for cross-domain when testing on the Molweni corpus (Li et al., 2020) (Ubuntu forum). A main challenge in discourse parsing is data scarcity, along with limitations of supervised approaches in cross-domain scenarios (Liu & Chen, 2021) or incomplete parsing that overlooks the important relation information (Badene et al., 2019; Huber & Carenini, 2022; Li et al., 2023). In this work, we propose the first semi-supervised full discourse parsing pipeline that sequentially conducts parsing tasks. We show that with minimal supervision, our pipeline can achieve comparable results to supervised models both in in-domain and cross-domain scenarios.

# 2 Preliminaries

## 2.1 Segmented Discourse Representation Theory

The Segmented Discourse Representation Theory (SDRT) (Asher, 1993; Lascarides & Asher, 1993; Asher & Lascarides, 2003) is a dynamic representation theory of discourse. In SDRT,
<table><caption>TABLE 1 – Statistics in STAC and Molweni corpora. Numbers of discourse units per document (DU/doc), tokens per sentence (tok/sent), tokens per document (tok/doc), speakers per document (spk/doc) are given. Both corpora have the same relation types.</caption><thead><tr><th rowspan="2">Dataset</th><th colspan="3">Split</th><th colspan="2">#DU/doc</th><th colspan="2">#Tok/sent</th><th colspan="2">#Tok/doc</th><th colspan="2">#Spk/doc</th><th rowspan="2">Rel<br>type</th></tr><tr><th>train</th><th>dev</th><th>test</th><th>max</th><th>avg</th><th>max</th><th>avg</th><th>max</th><th>avg</th><th>max</th><th>avg</th></tr></thead><tbody><tr><td>STAC</td><td>947</td><td>105</td><td>109</td><td>105</td><td>13.0</td><td>13</td><td>4.4</td><td>607</td><td>50</td><td>6</td><td>3.0</td><td>16</td></tr><tr><td>Molweni</td><td>9,000</td><td>500</td><td>500</td><td>14</td><td>8.8</td><td>17</td><td>11.9</td><td>208</td><td>105</td><td>9</td><td>3.5</td><td>16</td></tr></tbody></table>

the basic elements of analysis are clause-like text spans, known as Discourse Units (DUs). The smallest units of DUs are Elementary Discourse Units (short in EDUs). The coherence of a document is obtained via a structure – oftentimes tree-like or graph-like – of rhetorically connected discourse units. Figure 1 gives an SDRT-annotated example where nodes and edges represent EDUs and relations, respectively.

## 2.2 Discourse Datasets

We utilize two English dialogue corpora in this study, both annotated under the SDRT framework. Some key statistics are shown in Table 1.

The Strategic Conversations corpus (STAC) (Asher et al., 2016) is currently the most commonly used dialogue corpus to train SDRT-style parsers. It contains 45 online multi-party strategic chat logs during the board game *The Settlers of Catan*, where players discuss and exchange resources to build roads and cities. The vocabulary in this corpus is thus special, with a high frequency of words such as *sheep*, *clay*, *wood*. The corpus is manually annotated and divided into 1161 sub-documents. We follow the split in Shi & Huang (2019) : 947 for training, 105 for validation, and 109 for testing.

The Molweni Corpus (Li et al., 2020) is derived from the Ubuntu Chat Corpus (Lowe et al., 2015), where 10,000 short multi-party technical chat logs are annotated for discourse analysis and machine reading comprehension. Despite its large size, a large portion of the documents are highly repetitive. The original annotation suffers from quality issues such as inconsistency, making the results less reliable. Therefore, we revised the annotation of a small subset (50 documents) to ensure a more robust evaluation (test only).

# 3 Proposition and Experiments

## 3.1 A Pipeline Design

A standard discourse parsing involves three tasks : EDU segmentation, link attachment, and relation prediction. Most previous work in dialogue discourse parsing starts with gold-
<figure><img src="image_32.png" /><figcaption>FIGURE 2 – Semi-supervised discourse parsing pipeline proposition. *s* are utterances; *e* are EDUs; *r* are rhetorical relations. DisCoDisCo model is proposed in Gessler *et al.* (2021). BART+SO-STAC is BART model fine-tuned on Sentence Ordering task (Li *et al.*, 2023). BERT-FT is BERT model fine-tuned with self-training for relation prediction.</figcaption></figure>

standard EDU annotations and applies a *structure-then-relation* approach (Afantenos *et al.*, 2015; Shi & Huang, 2019; Liu & Chen, 2021; Wang *et al.*, 2021). We follow this pipeline by first predicting naked structures and then providing relations, as depicted in Figure 2. Remarkably, we train the system using only 50 documents in STAC, with an average of 13 EDUs per document, making it the first semi-supervised discourse parsing system for dialogues.

Although most previous work begins with gold EDUs, we consider it crucial to evaluate
in a deployed scenario where the parser performs segmentation first. We thus integrate an
off-the-shelf segmenter DisCoDisCo (Gessler et al., 2021) – a straightforward sequence
tagging model – to perform EDU segmentation. DisCoDisCo achieves an F₁ score of 94.8%.

Next, the predicted EDUs are put into a fine-tuned BART model (Lewis *et al.*, 2020) for **Structure Attachment**. BART is fine-tuned with dialogue-tailored Sentence Ordering task (Barzilay & Lapata, 2008) to enhance the pair-wise, inter-speech block, and inter-speaker discourse information. We hypothesize that the location of discourse information in the network may vary, possibly influenced by the length and complexity of the dialogues. Therefore, we investigate each attention head individually. In one attention head, the attention values among EDUs can be seen as edge weights (Liu & Lapata, 2018). Thus, by using Maximum Spanning Tree algorithms such as Eisner (Eisner, 1996), we obtain a discourse tree structure. For the key issue on choosing the best attention head, we use a small validation set of {10, 30, 50} annotated documents. We find that with just 50 examples, the optimal attention head can be consistently located.

The last step is **Relation Prediction** : with predicted EDU pairs, the goal is to assign a rhetorical relation among 16 candidates. Here we choose BERT model (Devlin et al., 2019) as backbone as it has shown superior performance in discourse-related classification tasks (Chen et al., 2019; Atwell et al., 2021). We prepare the input relation pairs by following the Next Sentence Prediction pattern in BERT, inspired by Shi & Demberg (2019) : a [CLS]
<table><caption>TABLE 2 – Semi-supervised parsing results with the reproduction of SOTA supervised parser Structured Joint (SJ) and our semi-supervised pipeline. Scores are average micro-F₁ over 10 runs. In 50 train setup, best scores are in bold. - not applicable.</caption><thead><tr><th>Model</th><th>#Train</th><th>Segment</th><th>Link</th><th>Relation</th><th>Full</th></tr></thead><tbody><tr><td>SJ (Chi &amp; Rudnicky, 2022)</td><td>1000</td><td>-</td><td>70.7<sub>0.5</sub></td><td>77.3<sub>1.2</sub></td><td>54.6<sub>0.7</sub></td></tr><tr><td>SJ (Chi &amp; Rudnicky, 2022)</td><td>50</td><td>-</td><td>55.1<sub>3.5</sub></td><td>61.1<sub>2.1</sub></td><td>33.6<sub>2.2</sub></td></tr><tr><td>Ours w gold EDU &amp; link</td><td>50</td><td>-</td><td>-</td><td>58.4<sub>1.3</sub></td><td>-</td></tr><tr><td>Ours w gold EDU</td><td>50</td><td>-</td><td><b>59.3</b><sub><b>0.7</b></sub></td><td><b>62.0</b><sub><b>1.1</b></sub></td><td><b>38.6</b><sub><b>0.7</b></sub></td></tr><tr><td>Ours w pred EDU</td><td>50</td><td>94.8</td><td>52.2<sub>0.4</sub></td><td>61.2<sub>1.6</sub></td><td>32.8<sub>0.9</sub></td></tr></tbody></table>

token begins the sequence, followed by the first EDU, [SEP], and the second EDU. We loosely translate the output probabilities in BERT model as its predictive confidence, enabling sorting predicted pairs. We select the top *k* pairs of most confident pseudo-labeled data in each relation type, in which way we maintain the label ratios. This is a simple yet effective sample selection criterion. Through iterative self-training, our classifier is enhanced with the combination of gold and pseudo-labeled data.

## 3.2 Full Parsing Results

The full parsing results on STAC test set are displayed in Table 2. For comparison, we replicate the SOTA supervised model Structured Joint (SJ) (Chi & Rudnicky, 2022) which uses RoBERTa-base model (Liu et al., 2019) as backbone and employs 3-dimension attention to encode links and relations jointly. In the upper part of the Table, we show SJ performance with 1000 and 50 training data. In the lower part, we detail relation prediction results (gold EDU & link), parsing with gold segmentation (gold EDU), and parsing with predicted segments (pred EDU). Anecdotally, the extracted structures on STAC corpus are found to be similar to the gold SDRT-graphs, achieving an F₁ score of 59.3 and outperforming a strong baseline by 3 points (Li et al., 2023). For relation prediction, our self-trained BERT classifier achieves an accuracy of 58.4% at best. When applying the deployed pipeline, we obtain 32.8% micro-F₁, as displayed in the last line of Table 2. Under the same training size, our pipeline exhibits much better performance compared to SJ model in both link attachment (59.3% vs. 55.1%) and relation prediction (62.0% vs. 61.1%) tasks, bringing a noteworthy improvement of 5 points in full parsing.

In order to test the generalizability of our proposal, we apply SJ model and our pipeline in a cross-domain setup: training on 50 documents from STAC and evaluate on 50 re-annotated dialogues in Molweni test set (Molweni-clean). Preliminary results on Molweni-clean show that our pipeline achieves superior performance on all tasks, surpassing SJ model on link (+24%), relation (+8%), and full parsing (+14%). On relation prediction, SJ considers the
tree structure and relation jointly, while our approach focuses on individual relation pairs. As documents across different genres exhibit diverse structures, our method, despite being more localized, is better suited for general applicability. Moreover, our model exhibits greater stability, whereas the SJ model is heavily biased towards one domain.

# 4 Conclusion

In this work, we propose a versatile pipeline for sequentially addressing all tasks in discourse parsing. In conformity with real-world situations with limited labeled data, we leverage information from Pre-trained Language Models such as BART and BERT and utilize semi-supervised techniques. Our method shows strong performance in both in-domain and cross-domain settings.

For future work, we intend to improve the derived discourse structures and explore the use of more, possibly out-of-domain raw data, and investigate other bootstrapping approaches for relation prediction. We would also like to evaluate our pipeline on different kinds of data such as transcribed spoken dialogues and another discourse-annotated framework such as the Rhetorical Structure Theory.

# Acknowledgements

The authors thank the anonymous reviewers for their insightful comments and suggestions. This work was supported by the PIA project "Lorraine Université d'Excellence", ANR-15-IDEX-04-LUE, as well as the CPER LCHN (Contrat de Plan État- Région - Langues, Connaissances et Humanités Numériques). It was partially supported by the ANR (ANR-19-PI3A-0004) through the AI Inter-disciplinary Institute, ANITI, as a part of France's "Investing for the Future — PIA3" program, and through the project AnDiAMO (ANR-21-CE23-0020). We would like to thank the Grid'5000 community (https://www.grid5000.fr/).

# Références

AFANTENOS S., KOW E., ASHER N. & PERRET J. (2015). Discourse parsing for multi-party chat dialogues. In *Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing*, p. 928–937, Lisbon, Portugal : Association for Computational Linguistics. DOI : 10.18653/v1/D15-1109.

ASHER N. (1993). *Reference to abstract objects in discourse*, volume 50. Springer Science & Business Media.
ASHER N., HUNTER J., MOREY M., FARAH B. & AFANTENOS S. (2016). Discourse structure and dialogue acts in multiparty dialogue : the STAC corpus. In *Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16)*, p. 2721–2727, Portorož, Slovenia : European Language Resources Association (ELRA).

ASHER N. & LASCARIDES A. (2003). *Logics of conversation*. Cambridge University Press.

ATWELL K., LI J. J. & ALIKHANI M. (2021). Where are we in discourse relation recognition? In *Proceedings of the 22nd Annual Meeting of the Special Interest Group on Discourse and Dialogue*, p. 314–325.

BADENE S., THOMPSON K., LORRÉ J.-P. & ASHER N. (2019). Data programming for learning discourse structure. In *Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics*, p. 640–645, Florence, Italy : Association for Computational Linguistics. DOI: 10.18653/v1/P19-1061.

BARZILAY R. & LAPATA M. (2008). Modeling local coherence : An entity-based approach. *Computational Linguistics*, **34**(1), 1–34.

BHATIA P., JI Y. & EISENSTEIN J. (2015). Better document-level sentiment analysis from RST discourse parsing. In *Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing*, p. 2212–2218, Lisbon, Portugal : Association for Computational Linguistics. DOI: 10.18653/v1/D15-1263.

CHEN J., LI X., ZHANG J., ZHOU C., CUI J., WANG B. & SU J. (2020). Modeling discourse structure for document-level neural machine translation. In *Proceedings of the First Workshop on Automatic Simultaneous Translation*, p. 30–36.

CHEN J. & YANG D. (2021). Structure-aware abstractive conversation summarization via discourse and action graphs. In *Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies*, p. 1380–1391, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2021.nacl-main.109.

CHEN M., CHU Z. & GIMPEL K. (2019). Evaluation benchmarks and learning criteria for discourse-aware sentence representations. In *Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)*, p. 649–662.

CHI T.-C. & RUDNICKY A. (2022). Structured dialogue discourse parsing. In *Proceedings of the 23rd Annual Meeting of the Special Interest Group on Discourse and Dialogue*, p. 325–335.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). BERT : Pre-training of deep bidirectional transformers for language understanding. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 4171–4186, Minneapolis, Minnesota : Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423.
EISNER J. (1996). Three new probabilistic models for dependency parsing : An exploration. In *COLING 1996 Volume 1 : The 16th International Conference on Computational Linguistics*.

GESSLER L., BEHZAD S., LIU Y. J., PENG S., ZHU Y. & ZELDES A. (2021). Discodisco at the disrpt2021 shared task : A system for discourse segmentation, classification, and connective detection. In *Proceedings of the 2nd Shared Task on Discourse Relation Parsing and Treebanking (DISRPT 2021)*, p. 51–62.

HUBER P. & CARENINI G. (2022). Towards understanding large-scale discourse structures in pre-trained and fine-tuned language models. In *Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics*.

KARIMI H. & TANG J. (2019). Learning hierarchical discourse-level structure for fake news detection. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 3432–3442.

LASCARIDES A. & ASHER N. (1993). Temporal interpretation, discourse relations and commonsense entailment. *Linguistics and philosophy*, **16**(5), 437–493.

LEWIS M., LIU Y., GOYAL N., GHAZVININEJAD M., MOHAMED A., LEVY O., STOYANOV V. & ZETTLEMOYER L. (2020). BART : Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 7871–7880, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2020.acl-main.703.

LI C. (2023). *Facing Data Scarcity in Dialogues for Discourse Structure Discovery and Prediction*. Thèse de doctorat, Université de Lorraine.

LI C., HUBER P., XIAO W., AMBLARD M., BRAUD C. & CARENINI G. (2023). Discourse structure extraction from pre-trained and fine-tuned language models in dialogues. In *Findings of the Association for Computational Linguistics : EACL 2023*, p. 2517–2534.

LI J., LIU M., KAN M.-Y., ZHENG Z., WANG Z., LEI W., LIU T. & QIN B. (2020). Molweni : A challenge multiparty dialogues-based machine reading comprehension dataset with discourse structure. In *Proceedings of the 28th International Conference on Computational Linguistics*, p. 2642–2652, Barcelona, Spain (Online) : International Committee on Computational Linguistics. DOI: 10.18653/v1/2020.coling-main.238.

LIU Y. & LAPATA M. (2018). Learning structured text representations. *Transactions of the Association for Computational Linguistics*, **6**, 63–75. DOI: 10.1162/tacl_a_00005.

LIU Y., OTT M., GOYAL N., DU J., JOSHI M., CHEN D., LEVY O., LEWIS M., ZETTLEMOYER L. & STOYANOV V. (2019). Roberta : A robustly optimized bert pretraining approach. *arXiv preprint arXiv:1907.11692*.

LIU Z. & CHEN N. (2021). Improving multi-party dialogue discourse parsing via domain integration. In *Proceedings of the 2nd Workshop on Computational Approaches to Discourse*, p. 122–127, Punta Cana, Dominican Republic and Online : Association for Computational Linguistics. DOI: 10.18653/v1/2021.codi-main.11.
LOWE R., POW N., SERBAN I. & PINEAU J. (2015). The Ubuntu dialogue corpus : A large dataset for research in unstructured multi-turn dialogue systems. In *Proceedings of the 16th Annual Meeting of the Special Interest Group on Discourse and Dialogue*, p. 285–294, Prague, Czech Republic : Association for Computational Linguistics. DOI : 10.18653/v1/W15-4640.

QIN K., WANG L. & KIM J. (2017). Joint modeling of content and discourse relations in dialogues. In *Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 974–984, Vancouver, Canada : Association for Computational Linguistics. DOI : 10.18653/v1/P17-1090.

SHI W. & DEMBERG V. (2019). Next sentence prediction helps implicit discourse relation classification within and across domains. In *Proceedings of the 2019 conference on empirical methods in natural language processing and the 9th international joint conference on natural language processing (EMNLP-IJCNLP)*, p. 5790–5796.

SHI Z. & HUANG M. (2019). A deep sequential model for discourse parsing on multi-party dialogues. In *Proceedings of the AAAI Conference on Artificial Intelligence*, volume 33, p. 7007–7014.

WANG A., SONG L., JIANG H., LAI S., YAO J., ZHANG M. & SU J. (2021). A structure self-aware model for discourse parsing on multi-party dialogues. In *Proceedings of the Thirtieth International Conference on International Joint Conferences on Artificial Intelligence*.
# Can LLMs be used to understand clinical notes better?

Aman Sinha¹,²,⁴ Cristina Garcia Holgado³

Marianne Clausel¹ Mathieu Constant² Xavier Coubez⁴

(1) IECL, Université de Lorraine, Nancy, France

(2) ATILF, Université de Lorraine, Nancy, France

(3) Université de Poitiers, France (4) ICANS, Strasbourg, France

aman.sinha@univ-lorraine.fr

## ABSTRACT

Clinical narrative plays important role to understand the patient’s history and is instrumental for the clinicians to take decisions. Clinical text as general language reflects diverse author demographics and backgrounds. The variation found in the clinical narrative can lead the models to pick up on undesirable learning signals. Recently, large language models (LLMs) have demonstrated impressive capabilities at clinical knowledge. Although, they remain inferior to clinicians, LLMs show exciting potential applications in medicine, including knowledge retrieval, clinical decision support, etc. In this work, we are investigating the use of LLMs to overcome the impact of writing variation in clinical notes for contextual classification of clinical events.

## RÉSUMÉ

### Les LLMs peuvent-ils être utilisés pour mieux comprendre les notes cliniques ?

Le récit clinique joue un rôle important dans la compréhension de l'histoire du patient et aide les cliniciens à prendre des décisions. Le texte clinique, en tant que langage général, reflète la diversité de la démographie et des antécédents des auteurs. La variation observée dans le récit clinique peut conduire les modèles à capter des signaux d'apprentissage indésirables. Récemment, les LLMs ont démontré des capacités impressionnantes, notamment en matière de connaissances cliniques. Bien qu'ils restent inférieurs aux cliniciens, les LLMs présentent des applications potentielles intéressantes en médecine, notamment pour la recherche de connaissances, l'aide à la décision clinique, etc. Dans ce travail, nous étudions l'utilisation des LLMs pour surmonter l'impact de la variation de l'écriture dans les notes cliniques pour la classification contextuelle des événements cliniques.

**MOTS-CLÉS** : Notes cliniques ; LLMs ; Traitement du langage naturel.

**KEYWORDS** : Clinical Notes ; LLMs ; Natural Language Processing.

## 1 Introduction

Clinical notes help clinicians in answering prognostic inquiries and are essential for identifying the confounding interactions between disease progression and interventions (Pham

<figure><img src="image_33.png" /></figure>
<figure><img src="image_34.png" /><figcaption>FIGURE 1 – Visual illustration for explanation generation via LLMs. Bottom-left box is an example of a text-prompt for a **target medicine** in the underlined **sentence** in a clinical note.</figcaption></figure>

et al., 2017). As the narrative found in clinical notes is influenced by the writing style of the clinical staff, the variation found in clinical narrative can lead models to pick up on patterns that do not generalize to other author-demographics, or to rely on undesirable word-demographics relationships (Shah et al., 2020). Such variations can be characterized by various cues such as the use of subject, shorthand descriptors, formulation of complex sentences, etc. Recently, LLMs have shown exciting assisting applications in various fields and they show great promise for applications in medicine (Singhal et al., 2023) such as clinical decision support systems. In this work, we investigate the use of LLMs as an explanation agent to help the model to better understand clinical notes for context classification of medication change event.

# 2 Methodology

## 2.1 Experimental Setup

**Dataset** The CMED (Mahajan et al., 2022) dataset was constructed using the 2014 i2b2/UTHealth NLP shared task corpus. The clinical notes for this corpus consists of patients who were admitted for the Type II Diabetes (T2D). It contains 500 clinical notes which were annotated for medication extraction and for context annotations.

**Contextual Classification Task** We consider the context classification task from the n2c2 challenge 2022¹ for identifying the contextual information associated to any medication

<footnote n="1">1. https://n2c2.dbmi.hms.harvard.edu/2022-track-1</footnote>
<table><caption>TABLE 1 – Sample linguistic cues in sentences containing target medicine (in **bold**)</caption><thead><tr><th>Sentences (CMED)</th><th>linguistic feature</th><th>LLM generated explanation</th></tr></thead><tbody><tr><td>...she is amenable to a trial of tapering off the <b>Dilantin</b>. <br> <b>Pravachol</b> 40 mg.</td><td>has_subj: Yes<br>has_subj: No</td><td>-<br><b>The doctor</b> prescribed <b>Pravachol</b> 40 mg. at bedtime. She is tolerating the Pravachol well.</td></tr><tr><td><b>nitroglycerin</b> yesterday, today relieved after 20 minutes with 1 ..<br>Started on <b>oxygen</b>, <b>lasix</b>, <b>combivent nebs</b>.</td><td>context_meds: 0<br>context_meds: 2</td><td>-<br>Oxygen: Patient was started on <b>oxygen</b> therapy. Lasix (furosemide): Patient was started on Lasix, a diuretic, to help remove excess fluid from the body. Combivent nebs: Patient was started on Combivent nebulizers, a bronchodilator, to help open up the airways and improve breathing.</td></tr><tr><td>A UA was found to be positive and the pt was started on <b>Levo</b>.<br>..stay and resumption of <b>warfarin</b> if there are no contraindications</td><td>complex_sent: No<br>complex_sent: Yes</td><td>-<br>If there are no contraindications, stay and resume <b>warfarin</b>.</td></tr></tbody></table>

change mentioned in the clinical note. For example, in the sentence “.. *He will not take his Glyburide the night before the surgery and the morning of ..*”, for the underlined target medicine (i.e. Glyburide) we are interested to answer the following questions : Action (*What is the change being discussed*? : [Start, Stop, Increase, Decrease, OtherChange, UniqueDose, Unknown]); Negation (*Is the change being discussed negated*? : [Negated, NotNegated]); Temporality (*When is this change intended to occur*? : [Past, Present, Future, Unknown]); Certainty (*How likely is this change to have occured/will occur*? : [Certain, Hypothetical, Conditional, Unknown]); and, Actor (*Who initiated the change*? : [Physician, Patient, Unknown])

**Contextual Classification Model** We consider cme2net model (Sinha et al., 2022) to analyze the sensitivity of the model for context classification task when trained on different linguistic cues explanation datasets. The cme2net model comprises of two encoders namely, static embeddings and PLM-based embeddings modules, a feature concatenation layer and two linear HEAD layers. The model is trained jointly with an additive weighted cross-entropy for NER+Event classification and context classification. As we are only interested in the context classification task, we use disable the first HEAD, use the annotations for NER+Event classification and only retrain the second HEAD for our study.

**LLM as a helper** We generate explanations for target medicine with respect to any linguistic cue by providing a pre-designed text-prompt along with the sentence and the context associated to the target medicine. In Figure 1, we show a sample of the text-prompt (in purple box, top left) for LLM based chat assistants (such as ChatGPT/Google Bard). The actual prompt is given in the gray box (left bottom) in which the sentence containing the target medicine is underlined and the target medicine is put in bold. On the right, we show the explanation responses obtained from the two LLM agents and a manual response.

In Table 1, we provide examples of generated explanations for different linguistic cues such as `has_subj` (if the subject associated to the target medicine is mentioned in the sentence), `context_meds` (if there are other medicines mentioned around the target medicine) and
complex_sent (if the sentence containing the target medicine is complex in nature). We use publicly accessible GPT-3.5 Turbo (OpenAI, 2023) API as the explanation agent in our study and create explanation datasets for each linguistic cues separately.

## 2.2 Our approach

For any sentence *s* with a target medicine *m*, and the context *c* we examine a linguistic feature *l* ∈ L = {Ø, *l*₁, *l*₂, ..} in a dataset denoted by D. We refer to *cme2net* (Sinha *et al.*, 2022) which is the context classification model as CC and LLMs (OpenAI, 2023) (such as ChatGPT) as *llm*. We perform the steps below for our study:

1. Firstly, train *cme2net* model on original dataset (*D*(Ø) ≡ *D*). Collect *P*<sub>*D*(Ø)</sub> ≡ *P*<sub>Ø</sub> which refers to test predictions for no *modified* linguistic feature.

2. For each $l \in L \setminus \{\emptyset\}$:

(a) Divide dataset into two parts : *D*(*l*) and *D*(¬*l*) (read *D* w/o linguistic feature *l*)

(b) For *D*(¬*l*), generate *llm* explanations, and create *D*<sup>llm</sup> such that it contains *l*.

(c) Obtain cme2net* model trained on *D*(*l*)+*D*<sup>llm</sup>. Collect test predictions *P*<sub>*l*</sub>

(d) Compare $Q(P_{\emptyset})$ and $Q(P_l)$, where $Q(.)$ is the distribution.

3. Calculate *overall* statistical significance to verify if *L* has an impact on CC.

# 3 Discussion & Future Work

**Preliminary Evidence** The overview (Mahajan et al., 2023) summarizes various scenarios where the different participant models fail on context classification task. These cases include (i) when target medicine is associated with more than one set of contexts, (ii) use of shorthand descriptors such as AC (i.e., before meal), Qd (i.e., daily), medications with short names (such as Ca, K, O2, EPO, etc.), (iii) when target medicine is associated to Conditional/Hypothetical where longer textual cues are needed, and (iv) no action verb is mentioned associated to target medicine.

**Our analysis** We conducted our analysis on the predictions obtained from *cme2net* model and found that out of 328, model struggled in 195 cases where there was no clear person mentioned associated to the target medicine. Further, out of a total 328 cases, the model struggled in 273 cases where the sentence was complex (ambiguous).

**Future Work** Our analysis clearly in line with the observation made by (Mahajan et al., 2023) about model's behaviour sensitivity when subjected to certain linguistic cues (for eg. presence of subject, listing of medicines). Further, we would like to apply our LLM based approach to examine model's sensitivity towards different linguistic cues and explore model's sensitivity towards them.
Références

MAHAJAN D., LIANG J. J. & TSOU C.-H. (2022). Toward Understanding Clinical Context of Medication Change Events in Clinical Narratives. *AMIA Annual Symposium Proceedings*, **2021**, 833-842.

MAHAJAN D., LIANG J. J., TSOU C.-H. & UZUNER Ö. (2023). Overview of the 2022 n2c2 shared task on contextualized medication event extraction in clinical notes. *Journal of Biomedical Informatics*, p. 104432.

OPENAI (2023). Gpt-4 technical report. ArXiv, abs/2303.08774.

PHAM T., TRAN T., PHUNG D. & VENKATESH S. (2017). Predicting healthcare trajectories from medical records : A deep learning approach. *Journal of biomedical informatics*, **69**, 218-229.

SHAH D. S., SCHWARTZ H. A. & HOVY D. (2020). Predictive biases in natural language processing models : A conceptual framework and overview. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 5248–5264, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2020.acl-main.468.

SINGHAL K., AZIZI S., TU T., MAHDAVI S. S., WEI J., CHUNG H. W., SCALES N., TANWANI A., COLE-LEWIS H., PFOHL S. et al. (2023). Large language models encode clinical knowledge. *Nature*, **620**(7972), 172–180.

SINHA A., VISHWAKARMA A., CLAUSEL M. & CONSTANT M. (2022). Cme² net : Contextual medical event extraction network for clinical notes. *Proceedings of the 19th International Conference on Natural Language Processing (ICON) : Workshop on Context-aware NLP in eHealth*, p. 1–7.
# Création semi-automatique d'un lexique bilingue langue des signes française (LSF) / français pour l'annotation de vidéos de LSF

Julie Lascar Annelies Braffort Michèle Gouiffès

Université Paris-Saclay, CNRS, LISN

Campus Universitaire Bat 507, rue du Belvédère, 91405 Orsay, France

prenom.nom@lisn.upsaclay.fr

## RÉSUMÉ

Cet article présente nos contributions sur la constitution de ressources et le traitement automatique au service de l'analyse de vidéos de langue des signes française (LSF) et plus particulièrement de l'annotation automatique des unités lexicales. À ce jour, nous avons pu constituer de manière semi-automatique un lexique bilingue comportant 88 entrées et utilisé pour élaborer un classificateur qui a permis d'annoter automatiquement des unités lexicales sur le corpus Mediapi-rgb.

## ABSTRACT

### Semi-automatic creation of a bilingual French sign language (LSF) / French lexicon for annotating LSF videos

This article presents our contributions to the constitution of resources and automatic processing for the analysis of French sign language (LSF) videos, and more specifically the automatic annotation of lexical units. To date, we have been able to build a bilingual lexicon containing 88 entries in a weakly supervised manner. This lexicon has been used to build a classifier, used to automatically annotated lexical units on the Mediapi-rgb corpus.

**MOTS-CLÉS** : Langue des signes française, lexique bilingue, annotation automatique.

**KEYWORDS:** French sign language, bilingual lexicon, automatic annotation.

## 1 Introduction

Les Langues des Signes (LS) sont des langues naturelles pratiquées au sein des communautés de Sourds et la Langue des Signes Française (LSF) est celle pratiquée en France. À ce jour, les LS sont encore très peu dotées et les recherches sur ces langues sont assez récentes, en particulier dans le domaine du traitement automatique. Nos projets actuels ont pour objectif de contribuer à la constitution de ressources et de traitements automatiques au service de l'analyse de vidéos de LSF. Cet article présente un point d'étape sur nos contributions autour de l'annotation automatique.

<figure><img src="image_35.png" /></figure>
<figure><img src="image_36.png" /><figcaption>FIGURE 1 – Capture d'écran du site Média'Pi !</figcaption></figure>

## 2 Constitution d'un lexique bilingue

Il n'existe pas à l'heure actuelle de lexique bilingue en contexte exploitable pour le traitement automatique de la LSF. D'une manière générale, les ressources de LSF utilisables pour le traitement automatique sont peu nombreuses (Braffort, 2022). Une précédente étude (Bull, 2023) a permis de constituer un jeu de données utilisable pour le traitement automatique. Il a été constitué à partir du corpus Mediapi-rgb, comportant 86h de vidéos en LSF produites par des journalistes ou présentateurs sourds du média bilingue en ligne Média'Pi !<fnref n="1" />, accompagnées de sous-titrage en français (figure 1).

À partir de ce jeu de données, nous avons constitué un premier lexique bilingue avec une approche faiblement supervisée :

* nous avons sélectionné une liste de mots présents dans les sous-titres de telle sorte que : 1) à part quelques exceptions, ils possèdent peu, ou pas de synonymes et 2) leur équivalent en LSF varie peu en fonction du contexte. Nous avons ainsi opté pour les jours, les mois, certaines villes et pays ainsi que du vocabulaire lié à l'actualité de l'époque (masque, chômage, gilet jaune...);

* pour chaque mot, nous avons sélectionné toutes les vidéos pour lesquelles le sous-titre contient ce mot, puis nous avons calculé la similarité entre paires de vidéos (méthode de la similarité cosinus);

* dans chaque vidéo, on retient les numéros d'images pour lesquelles la similarité dépasse un certain seuil (empiriquement fixé à 0.6) sur un nombre consécutif d'au moins 4 images.

<footnote n="1">1. https://www.media-pi.fr/</footnote>
<figure><img src="image_37.png" /><figcaption>FIGURE 2 – Exemple de matrice de similarité entre deux vidéos pour le mot « village ».</figcaption></figure>

La figure 2 illustre une matrice de similarité entre deux vidéos dont les sous-titres comportent le mot « village ». La zone plus claire est celle pour laquelle la similarité est la plus forte.

Certains signes peuvent présenter des variantes de forme qui dépendent du locuteur. Par exemple quelques signes représentant les mois sont réalisés par des locuteurs avec une main et par d'autres avec les deux mains. Pour distinguer ces variantes, nous avons procédé à un regroupement automatique des vidéos par locuteur. Par ailleurs, certains mots peuvent présenter des variantes de sens, comme par exemple le mot « place » qui est signé différemment selon son sens (ex : mettre en place, quatrième place, place de la Concorde). Nous avons utilisé un modèle de language Bert (Devlin *et al.*, 2019) pour regrouper les mots selon leur sens dans le contexte de la phrase.

Une dernière étape a consisté à regrouper les vidéos capturées pour chaque mot en utilisant une méthode de partitionnement des données (algorithme des k-moyennes). Cela a permis d'une part, d'éliminer les erreurs de détection et d'autre part, de détecter certaines variantes, comme illustré sur la figure 3.

Dans ces figures, après réduction de la dimension des données par analyse par composantes principales (ACP), on a projeté sur les deux axes principaux les séquences obtenues pour les signes ITALIE et NOVEMBRE. Dans la figure de gauche, on obtient deux groupes : le plus grand regroupe les vidéos correspondant effectivement au signe ITALIE, le plus petit regroupe les erreurs de détection. Dans la figure de droite, on obtient aussi deux groupes
<figure><img src="image_38.png" /><figcaption>FIGURE 3 – Groupes obtenus pour les signes ITALIE et NOVEMBRE (après réduction de la dimension des données par ACP).</figcaption></figure>

qui permettent de différencier deux variantes pour le signe NOVEMBRE : celui de gauche regroupe les signes effectués à deux mains et celui de droite regroupe les signes effectués à une seule main.

Nous obtenons ainsi des classes associant forme et sens distinctes et présentant peu d'erreurs. Une dernière phase de contrôle réalisée par des experts est en cours et va permettre de ne garder que des occurences correctes et bien segmentées, c'est-à-dire pour lesquelles la séquence d'images comporte l'ensemble du signe et aucun élément de coarticulation avec les signes précédent et suivant.

# 3 Constitution d'un classifieur basé sur ce lexique

La constitution de ce lexique bilingue a permis d'annoter une partie des données d'entraînement du corpus Mediapi-rgb. Ces données annotées ont ensuite été utilisées pour entraîner un classifieur, qui prend en entrée les vidéos sous forme de séquences d'images et produit en sortie des séquences d'entiers, chaque entier identifiant pour chaque image la classe correspondante. L'architecture du système, illustrée figure 4, comporte deux modèles :

* Le premier a pour rôle d'encoder les vidéos sous forme de plongements.

* Le second est le classifieur qui prend en entrée ces plongements.

Des séries d'expériences ont été menées en faisant varier les modèles utilisés. Pour l'étape de calcul des plongements, trois modèles simples ont été comparés, tous adaptés au fait que les données sont de nature temporelle : un modèle de type *transformers* entraîné sur des données d'actions humaines (Video Swin Transformer (Liu et al., 2022)), un modèle à base de réseaux de convolution 3D (I3D) réentraîné sur un corpus de BSL (langue des signes britanique) (Renz et al., 2021) et de nouveau le modèle Video Swin Transformer mais cette fois-ci réentraîné sur des vidéos de BSL (Prajwal et al., 2022). Le troisième modèle s'avère le plus performant et c'est celui que nous avons conservé pour la suite.

Pour l'étape de classification plusieurs modèles ont été comparés (des perceptrons et des LSTM, à une ou deux couches). Nous avons optimisé les paramètres en utilisant le score F1, qui est la moyenne harmonique entre la précision et le rappel. Plus précisément, chaque
<figure><img src="image_39.png" /><figcaption>FIGURE 4 – Architecture du classifieur.</figcaption></figure>

<figure><img src="image_40.png" /><figcaption>FIGURE 5 – Annotation par des experts avec Elan.</figcaption></figure>

classe se voit attribuer un score F1 (voir l'annexe pour le détail du calcul). Le score final correspond à la moyenne des scores F1 de chaque classe. Nous avons retenu une architecture LSTM à une couche qui donne le meilleur score (score F1 : 0.79).

Ce classifieur a ensuite été utilisé pour annoter de nouveau les données d'entraînement. Ainsi, 5 876 vidéos et 7 259 signes ont été annotés automatiquement. Le score F1 est insuffisant pour évaluer la qualité des annotations, en particulier sur la qualité de la segmentation temporelle. Pour cette étape aussi, une analyse fine des résultats par des experts est en cours. La figure 5 montre un exemple d'annotation à l'aide du logiciel Elan (Crasborn & Sloetjes, 2008) des unités lexicales sur une vidéo en LSF accompagnée du sous-titrage « Mais les pays du G7, l'Allemagne, le Canada, les Etats-Unis, la France, l'italie, le Japon et le Royaume-Uni, sont parvenus samedi à un accord ».

L'annotation comporte trois pistes : *Glose* est renseignée manuellement par un expert, tandis que *Annotation-1* et *Annotation-2* sont renseignées automatiquement, respectivement suite à l'étape 1 basée sur le calcul de similarité et à l'étape 2 à l'aide du classifieur.
Sur cet exemple, l'ensemble des signes présents dans le lexique ont été détectés à l'exception du signe FRANCE et du signe ANGLETERRE dans l'étape 1. L'étape 2 améliore les résultats car le signe ANGLETERRE a été détecté. Cependant un segment glosé MARS a été inséré. Il se trouve que les signes MARS et ANGLETERRE ont des formes proches (configuration et emplacement de la main). Enfin, globalement, les annotations automatiques ont bien positionné les segments dans le flux temporel mais ne sont pas très précis. L'expertise en cours sur la qualité des occurrences du lexique bilingue (construites lors de l'étape 1) montre qu'un grand nombre d'occurrences sont incomplètes ou incluent des parties des coarticulations avec les signes précédent et suivant. L'amélioration de la qualité du lexique bilingue devrait significativement améliorer les résultats du classifieur, y compris sur l'aspect repérage temporel.

# 4 Bilan et perspectives

Il s'agit des tous premiers pas vers un système d'annotation automatique d'unités lexicales dans des vidéos de LSF et beaucoup reste à faire sur l'exploitation des sous-titres, la présentation des vidéos, l'architecture du classifieur et l'évaluation des performances du système. Ces différents axes sont actuellement en chantier, ainsi que l'augmentation du vocabulaire, qui dépasse maintenant les 1000 classes. Nous envisageons aussi d'exploiter les annotations fines réalisées par des experts sur le corpus Dicta-Sign-LSF-V2 (Belissen et al., 2020), afin de récupérer des occurrences de bonne qualité et ajouter de nouvelles classes. Nous envisageons aussi d'évaluer le classifieur sur ce corpus.

Par la suite, ce travail doit être étendu à d'autres unités gestuelles telles que les structures illustratives très fréquentes dans les LS et qui ne peuvent pas être listées dans un dictionnaire, ce qui implique de concevoir une approche différente.

# Références

BELISSEN V., BRAFFORT A. & GOUIFFÈS M. (2020). Dicta-Sign-LSF-v2 : Remake of a continuous French Sign Language dialogue corpus and a first baseline for automatic sign language processing. In *Language Resources and Evaluation Conference*, p. 6040–6048, Marseille, FR : ELRA.

BRAFFORT A. (2022). Langue des Signes Française : Etat des lieux des ressources linguistiques et des traitements automatiques. In *Journées Jointes des GRD LIFT et TAL*, p. 131–138, Marseille, FR : CNRS.

BULL H. (2023). *Learning sign language from subtitles*. Thèse de doctorat. Université Paris-Saclay.
CRASBORN O. & SLOETJES H. (2008). Enhanced elan functionality for sign language corpora. In *Work. on the Representation and Processing of Sign Languages* @ LREC Conf., p. 39–43, Marrakech, Morocco.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). Bert: Pre-training of deep bidirectional transformers for language understanding. In *Conf. of the NAACL association : Human Language Technologies*, p. 4171–4186 : ACL.

LIU Z., NING J., CAO Y., WEI Y., ZHANG Z., LIN S. & HU H. (2022). Video swin transformer. In *Conf. on Computer Vision and Pattern Recognition*, p. 3202–3211, New Orleans, USA : IEEE.

PRAJWAL K. R., BULL H., MOMENI L., ALBANIE S., VAROL G. & ZISSERMAN A. (2022). Weakly-supervised fingerspelling recognition in British sign language videos. In *British Machine Vision Conference*, London, UK : BMVA.

RENZ K., STACHE N. C., ALBANIE S. & VAROL G. (2021). Sign language segmentation with temporal convolutional networks. In *Conf. on Acoustics, Speech and Signal Processing*, p. 2135–2139, Toronto, Canada : IEEE.

## Annexe : calcul du score F1 d'une classe

On obtient le score F1 d'une classe *c* de la manière suivante :

a. On calcule le score F1 pour chaque vidéo dans laquelle la classe *c* est présente en comparant les prédictions du modèle (Pred) aux annotations effectuées lors de l'étape 1 (GT).

$$ \text{Vidéo 1} \rightarrow \begin{cases} \text{GT} : 000111111000\dots \\ \text{Pred} : 011111000000\dots \end{cases} \qquad \text{F1} = 0.55 $$

$$ \text{Vidéo 2} \rightarrow \begin{cases} \text{GT} : 000111111000\dots \\ \text{Pred} : 000001110000\dots \end{cases} \qquad \text{F1} = 0.75 $$

...

b. On calcule la moyenne des scores F1 de chaque vidéo.
# Descripteurs Linguistiques et Caractérisation Objective des Catégories Textuelles

Marina Seghier¹ Alice Millour¹ Jean-Yves Antoine²

(1) LIASD - Université Paris 8, 2 rue de l'Université, 93526 Saint-Denis, France

(2) LIFAT - Université de Tours, 64 avenue Jean Portalis, 37200 Tours, France
ms@up8.edu, am@up8.edu, jean-yves.antoine@univ-tours.fr

## RÉSUMÉ

Nous présentons de premiers résultats s'inspirant des travaux de Biber (1988) utilisant des descripteurs linguistiques pour redéfinir les dimensions de la variation textuelle en français.

## ABSTRACT

### Linguistic Descriptors and Objective Characterization of Textual Categories

We present first results inspired by the work of Biber (1988) using linguistic descriptors to redefine the dimensions of textual variation in French.

**MOTS-CLÉS** : variation textuelle, classification non supervisée, descripteurs linguistiques, évaluation, annotation.

**KEYWORDS:** textual variation, unsupervised classification, linguistic descriptors, evaluation, annotation.

Les systèmes développés et de plus en plus répandus aujourd'hui, sont présentés comme étant très performant pour un grand nombre de tâches. Or, les performances annoncées ne sont pas toujours celles rencontrées selon les types (ou "genres") de ressources textuelles auxquels ces outils sont confrontés. En effet, on peut par exemple observer un différentiel de performances important entre différentes catégories de texte pour la tâche de reconnaissance d'entités nommées (Millour et al., 2022) et d'étiquetage morpho-syntaxique. Cependant, les typologies textuelles existantes, fondées sur une classification des catégories *a priori* sans justification linguistique, ne permettent pas d'expliquer ce différentiel.

## 1 Précédents dans la Classification Textuelle

Biber (1988) a été le premier à mener une étude statistique sur ce qu'il appelle "genre" en anglais britannique, dans le but d'identifier plusieurs dimensions de la variation dans la langue. Il a procédé à une "analyse factorielle" (ACP) sur le LOB (Lancaster-Oslo-Bergen, un million de mots environ – composé de plusieurs échantillons de "genres" issus de l'écrit :

<figure><img src="image_41.png" /></figure>
presse, religion, humour...), le London-Lund (500 000 mots environ – composé de textes de parole transcrite : entretiens, discours spontanés, préparés...), et une collection de ses propres lettres manuscrites.

Au terme de son analyse basée sur 67 caractéristiques calculées à partir de descripteurs linguistiques (tels que les pronoms personnels, les verbes au passé, la longueur des mots, des phrases, etc.), il a affirmé que la variation linguistique était continue selon six dimensions : 1) impliqué (affectivement) VS informationnel, 2) narratif VS non-narratif, 3) référence explicite VS dépendante de la situation, 4) expression manifeste de persuasion, 5) abstrait VS non-abstrait et 6) production d'informations sous contrainte temporelle.

À la manière de Passonneau et al. (2014), qui ont actualisé cette recherche pour l'anglais américain à partir du corpus MASC (Manually Annotated Sub-Corpus, 500 000 mots environ), nous proposons une caractérisation linguistique de différents genres à partir d'un corpus multisource pour le français.

## 2 Des Données à l'Analyse en Composantes Principales

Nous avons travaillé à partir de FENEC (FrEnch Named-entity Evaluation Corpus, 11 000 tokens environ – cf. table 1) (Millour et al., 2022), un corpus d'évaluation pour la tâche de reconnaissance d'entités nommées en français. Il est composé de onze documents de six catégories textuelles différentes (poésie, prose, parole transcrite, encyclopédie, informations, multi-sources) et annoté manuellement en entités nommées selon divers jeux d'étiquettes.

<table><caption>TABLE 1 – Contenu du corpus annoté FENEC (échantillons de 1 000 tokens environ dans six genres) (Millour et al., 2022).</caption><thead><tr><th>Document</th><th>Période</th><th>Genre</th><th>Nb. phrases (Nb. tokens)</th><th>Licence</th></tr></thead><tbody><tr><td>42131-0 (Traité sur la Tolérance, Voltaire)<br>pg6470 (Le Ventre de Paris, Émile Zola)</td><td>XVIIe<br>XIXe</td><td>prose</td><td>40 (1 020)<br>51 (1 002)</td><td>Project Gutenberg<br>Project Gutenberg</td></tr><tr><td>pg6099 (Les Fleurs du Mal, Baudelaire)<br>56708-0 (Œuvres d'Arthur Rimbaud - Vers et proses)</td><td>XIXe<br>XIXe</td><td>poésie</td><td>30 (1 014)<br>52 (1 027)</td><td>Project Gutenberg<br>Project Gutenberg</td></tr><tr><td>UD French GSD<br>Sequoia (Candito &amp; Seddah, 2012)<br>French Question Bank (Seddah &amp; Candito, 2016)</td><td>XXIe<br>XXIe<br>XXIe</td><td>multisources</td><td>35 (1 021)<br>44 (1 002)<br>102 (1 006)</td><td>CC BY-SA 4.0<br>Licence LGPL-LR<br>Licence LGPL-LR</td></tr><tr><td>APIL (office du tourisme Othe-Armance)<br>Wikinews</td><td>XXIe<br>XXIe</td><td>informations</td><td>29 (1 002)<br>46 (1 024)</td><td>Licence LGPL-LR<br>CC BY 2.5</td></tr><tr><td>WikiNER français</td><td>XXIe</td><td>encyclopédie</td><td>36 (1 003)</td><td>CC BY 4.0</td></tr><tr><td>Spoken (Rhapsodie (Lacheret, Anne et al., 2014))</td><td>XXIe</td><td>parole</td><td>70 (1 028)</td><td>CC BY-SA 4.0</td></tr></tbody></table>

Étant donné la taille peu conséquente de notre jeu de données, nous avons choisi de former des échantillons de 200 tokens, à partir desquels nous avons mesuré l'importance de certains descripteurs linguistiques pour le typage des textes, tels que les entités nommées, mais également les parties du discours (verbes, noms, déterminants, adjectifs...) et les verbes au
passé.

## 2.1 Choix et calcul des caractéristiques

Les caractéristiques utilisées pour cette expérience sont :

- les entités nommées du corpus FENEC (selon le schéma fin Quaero<fnref n="1" />), à savoir : PER, LOC, ORG, MISC (respectivement : personnes, lieux, organismes, divers);

- les parties du discours, pour lesquels nous avons testé plusieurs outils : 1) le modèle POET (A French Extended Part-of-Speech Tagger) de FLAIR<fnref n="2" />, 2) CAMEMBERT<fnref n="3" /> et 3) SPACY<fnref n="4" />;

- les verbes au passé, annotés avec le *morphologizer* de SPACY<fnref n="5" />.

Concernant l'étiquetage en parties du discours, après une brève comparaison des sorties produites par les trois outils, nous avons choisi de conserver les annotations du modèle POET de FLAIR pour calculer nos caractéristiques. Nous avons également réalisé une évaluation manuelle de ses résultats (environ 100 étiquettes par document) et de SPACY (toutes les occurrences de verbes annotés au passé, soit le rappel).

<table><caption>TABLE 2 – Résultats de l'évaluation manuelle de FLAIR et SPACY.</caption><thead><tr><td>genre</td><td>Flair (précision)</td><td>Spacy (rappel)</td></tr></thead><tbody><tr><td>parole</td><td>78,43</td><td>58,14</td></tr><tr><td>encyclopedie</td><td>94,64</td><td>86,67</td></tr><tr><td>informations</td><td>90,29</td><td>77,42</td></tr><tr><td>prose</td><td>88,56</td><td>77,12</td></tr><tr><td>poesie</td><td>90,14</td><td>37,29</td></tr></tbody></table>

Sur la base de 26 caractéristiques calculées, nous avons choisi de mener notre expérience sur 23 d'entre elles, en retirant :

- MISC, soit les entités nommées "diverses" (*miscellaneous* en anglais) car ces dernières étaient trop variées au sein de cette catégorie (par exemple "boucher", "matelots", "en- chanteresse", "*New York Times*", "*Hubble*", "*Surface and Depth*", "bataille d'Actium", "accords sur le charbon et l'acier"), et nous n'aurions pas été en mesure d'interpréter précisément et de manière fiable, l'impact de cette caractéristique sur l'ACP;

<footnote n="1">1. Guide d'annotation : http://www.quaero.org/media/files/bibliographie/quaero-guide-annotation-2011.pdf</footnote>

<footnote n="2">2. https://huggingface.co/qanastek/pos-french-camembert-flair</footnote>

<footnote n="3">3. https://huggingface.co/gilf/french-camembert-postag-model</footnote>

<footnote n="4">4. https://spacy.io/models/fr#fr_core_news_sm</footnote>

<footnote n="5">5. https://spacy.io/models/fr</footnote>
— X, soit les mots inconnus, tels que des mots anglais, des consonnes euphoniques ("t" dans "appelle-t-on"), "j" dans "j~ j~ j~" (répétition dans la parole transcrite), car nous craignions un effet fort d'échantillonage, du fait du nombre total d'observables de cette étiquette dans le corpus, par rapport à la taille de celui-ci;

— SYM, soit les symboles tels que le tilde, le pourcent, les symboles monétaires, l'abréviation de "environ" (env), pour la même raison que précédemment.

Dans la table 3, nous pouvons voir les occurrences d'un échantillon des observables pour 1 000 tokens.

<table><caption>TABLE 3 – Nombre d'occurrences d'un échantillon d'étiquettes pour 1 000 tokens, par genre.</caption><thead><tr><th></th><th>prose</th><th>parole</th><th>informations</th><th>encyclopedie</th><th>poesie</th></tr></thead><tbody><tr><td>LOC</td><td>4</td><td>14</td><td>35</td><td>41</td><td>6</td></tr><tr><td>ORG</td><td>1</td><td>1</td><td>13</td><td>6</td><td>0</td></tr><tr><td>PER</td><td>23</td><td>5</td><td>8</td><td>22</td><td>11</td></tr><tr><td>TOTAL_EN</td><td>39</td><td>28</td><td>74</td><td>86</td><td>25</td></tr><tr><td>ADP</td><td>112</td><td>114</td><td>160</td><td>151</td><td>120</td></tr><tr><td>SCONJ</td><td>22</td><td>18</td><td>3</td><td>3</td><td>12</td></tr><tr><td>CCONJ</td><td>21</td><td>42</td><td>25</td><td>26</td><td>40</td></tr><tr><td>ADV</td><td>67</td><td>118</td><td>31</td><td>30</td><td>49</td></tr><tr><td>PROPN</td><td>23</td><td>27</td><td>66</td><td>93</td><td>17</td></tr><tr><td>NUM</td><td>10</td><td>19</td><td>54</td><td>57</td><td>3</td></tr><tr><td>AUX</td><td>37</td><td>42</td><td>22</td><td>35</td><td>19</td></tr><tr><td>VERB</td><td>125</td><td>135</td><td>75</td><td>66</td><td>82</td></tr><tr><td>DET</td><td>125</td><td>104</td><td>142</td><td>139</td><td>162</td></tr><tr><td>ADJ</td><td>110</td><td>118</td><td>123</td><td>137</td><td>156</td></tr><tr><td>NOUN</td><td>155</td><td>154</td><td>226</td><td>193</td><td>219</td></tr><tr><td>PRON</td><td>93</td><td>100</td><td>24</td><td>19</td><td>52</td></tr><tr><td>PPER1S</td><td>5</td><td>20</td><td>0</td><td>0</td><td>8</td></tr><tr><td>PPER2S</td><td>1</td><td>5</td><td>0</td><td>0</td><td>4</td></tr><tr><td>PPER3</td><td>25</td><td>16</td><td>8</td><td>7</td><td>7</td></tr><tr><td>INTJ</td><td>1</td><td>7</td><td>0</td><td>0</td><td>1</td></tr><tr><td>PUNCT</td><td>104</td><td>90</td><td>94</td><td>90</td><td>123</td></tr><tr><td>PAST_TENSE</td><td>59</td><td>43</td><td>36</td><td>45</td><td>30</td></tr></tbody></table>

## 2.2 Dimensions en français

D'après cette première analyse, une dimension semble se dessiner. D'une part, les textes de la catégorie 'poésie' sont davantage caractérisés par des mots plus longs et des noms détaillés, et précisés par des adjectifs; ceux des catégories 'prose' et 'parole', par des conjonctions de subordination, des verbes en général, des verbes au passé, et à la voix passive. La présence d'entités nommées semble quant à elle caractériser davantage les genres 'informations' et 'encyclopédie'. En effet, nous pouvons supposer que les textes d'informations et d'encyclopédies présentent plus d'éléments tels que des zones géographiques, lieux d'intérêt, dates historiques, numéros de téléphones, etc.

Notre première composante dans la figure 1 présente des similitudes avec les cinquième
<figure><img src="image_42.png" /><figcaption>FIGURE 1 – Première et deuxième composantes principales, 23 caractéristiques.</figcaption></figure>

de Biber (1988) et quatrième de Passonneau et al. (2014) (abstrait VS non-abstrait). Les catégories de productions écrites, détaillées d'un côté (poésie, prose) semblent plus concep- tuelles (abstraites); et des catégories explicatives de l'autre (informations, encyclopédie) plus concrètes (non-abstraites).

<figure><img src="image_43.png" /><figcaption>FIGURE 2 – Troisième et quatrième composantes principales, 23 caractéristiques.</figcaption></figure>

D'après cette deuxième analyse, une dimension semble à nouveau se dessiner. D'une part, les textes de parole transcrite semblent caractérisés par des interactions à la 1ère et 2ème personne du singulier, et la présence d'interjections et de conjonctions de coordination. D'autre part, les textes en prose présentent davantage d'entités nommées de personnes, de pronoms à la 3ème personne et de ponctuation. Dans les textes d'informations, nous pouvons
trouver de la narration d'évènements passés, des mots plus longs et davantage de noms d'organismes.

Notre troisième composante dans la figure 2 présente ainsi des similitudes avec les deux premières de Biber (1988) et Passonneau et al. (2014) (impliqué VS non-impliqué). En effet, nous retrouvons d'un côté des textes d'interactions orales (parole) plus impliquées, et de l'autre des textes plus informationnels (encyclopédie, prose).

Contrairement aux deux premières composantes, celles-ci nous permettent de discriminer la parole de la prose, mais dans le cadre de cette étude, elles ne sont tout de même pas suffisantes pour discriminer plus nettement chaque catégorie textuelle, notamment celle de l'encyclopédie.

## 3 Conclusion

Bien qu'il reste une notion de continuum à approfondir, cette étude a permis de retrouver certaines similitudes avec les dimensions textuelles que Biber (1988) et Passonneau et al. (2014) avaient fait émerger en anglais britannique et américain, mais pour la première fois, sur un jeu de données multi-catégories français.

En outre, nous avons pu également éprouver trois outils : SPACY pour à la fois l'annotation en parties du discours et en traits morphosyntaxiques, CAMEMBERT et le modèle POET de FLAIR pour l'annotation en parties du discours. L'évaluation de ces derniers nous a permis de constater sur ces deux tâches, ce qu'avaient observé Millour et al. (2022) sur la tâche de REN pour le français : un différentiel de performances important entre les catégories textuelles, avec des faiblesses majeures sur des textes de parole transcrite et de poésie.

Le cadre expérimental mis en place dans notre étude est modulable et permet facilement d'enrichir l'expérience avec d'autres caractéristiques, d'autres types de textes, et de donner lieu à de nombreuses extensions. L'une d'elles consiste à s'inspirer des travaux de Fu et al. (2020) et d'approfondir la notion des caractéristiques des entités nommées. Car au-delà de leurs types, ce sont sûrement leurs propriétés intrinsèques (longueur en caractères et en tokens, fréquence, ambiguïté, persistance...) qui mettent en difficulté les outils.

## Références

BIBER D. (1988). *Variation across Speech and Writing*. Cambridge University Press. DOI : 10.1017/CBO9780511621024.

CANDITO M. & SEDDAH D. (2012). Le corpus sequoia : annotation syntaxique et exploitation pour l'adaptation d'analyseur par pont lexical (the sequoia corpus : Syntactic annotation and use for a parser lexical domain adaptation method) [in French]. In *Proceedings of*
*the Joint Conference JEP-TALN-RECITAL 2012, volume 2 : TALN*, p. 321–334, Grenoble, France : ATALA/AFCP.

FU J., LIU P. & NEUBIG G. (2020). Interpretable multi-dataset evaluation for named entity recognition. In *Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)*, p. 6058–6069, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2020.emnlp-main.489.

LACHERET, ANNE, KAHANE, SYLVAIN, BELIAO, JULIE, DISTER, ANNE, GERDES, KIM, GOLDMAN, JEAN-PHILIPPE, OBIN, NICOLAS, PIETRANDREA, PAOLA & TCHOBANOV, ATANAS (2014). Rhapsodie : un treebank annoté pour l’étude de l’interface syntaxe-prosodie en français parlé. *SHS Web of Conferences*, **8**, 2675–2689. DOI: 10.1051/shs-conf/20140801305.

MILLOUR A., DUPONT Y., JOUGLAR A. & FORT K. (2022). FENEC : un corpus équilibré pour l’évaluation des entités nommées en français (FENEC : a balanced sample corpus for French named entity recognition). In *Actes de la 29e Conférence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conférence principale*, p. 82–94, Avignon, France : ATALA.

PASSONNEAU R. J., IDE N., SU S. & STUART J. (2014). Biber redux : Reconsidering dimensions of variation in American English. In *Proceedings of COLING 2014, the 25th International Conference on Computational Linguistics : Technical Papers*, p. 565–576, Dublin, Ireland : Dublin City University and Association for Computational Linguistics.

SEDDAH D. & CANDITO M. (2016). Hard time parsing questions : Building a QuestionBank for French. In *Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC’16)*, p. 2366–2370, Portorož, Slovenia : European Language Resources Association (ELRA).
# The MeThAL Alsatian theater corpus and related resources:
Work done and perspectives

Pablo Ruiz Fabo

Université de Strasbourg – Laboratoire LiLPa UR 1339, 67000 Strasbourg, France

ruizfabo@unistra.fr

## ABSTRACT

As the MeThAL project nears completion, we present resources created and future perspectives. The first large TEI corpus of theater plays in Alsatian varieties was created (>500,000 words) and distributed under an open licence; a program for semi-automatic TEI-encoding based on OCR output was also released. A character prosopography in TEI was constructed; characters are annotated with metadata of potential sociolinguistic relevance, like their gender or social class. An Alsatian emotion lexicon was developed, and a program to analyze the distribution of emotion terms in the plays, aggregating them by metadata like the characters' social variables or the plays's genre. Work related to Alsatian's large scriptolinguistic variation was performed, especially regarding emotion terms. To open the resources to a non-specialist public, a corpus exploration interface was created.

## RÉSUMÉ

### Le corpus MeThAL de théâtre en alsacien et ressources reliées : Réalisations et perspectives

Nous présentons les ressources développées et les perspectives, près de la clôture du projet MeThAL, qui a créé le premier grand corpus de théâtre alsacien en TEI (>500 000 mots), distribué sous licence ouverte. Un programme d'encodage TEI semi-automatique sur la base de sorties OCR a été distribué. Une prosopographie TEI de personnages a été construite ; elle décrit les personnages avec des variables sociales potentiellement pertinentes pour une analyse sociolinguistique (p. ex. genre des personnages, classe sociale). Un lexique d'émotions a été développé, ainsi qu'un programme permettant de l'appliquer pour analyser la distribution de ses termes dans le corpus. Le lexique est adapté à l'énorme variation scriptolinguistique des variétés alsaciennes. Pour ouvrir les ressources à un public non spécialisé, une interface d'exploration de corpus a été mise en ligne.

**MOTS-CLÉS** : théâtre alsacien, corpus TEI, analyse d'émotion, variation, sociolinguistique.

**KEYWORDS:** Alsatian theater, TEI corpus, emotion analysis, variation, sociolinguistics.

<figure><img src="image_44.png" /></figure>
# 1 Introduction

The MeThAL project<fnref n="1" /> has developed the first large public TEI-encoded corpus for Alsatian theater and related linguistic resources; the project's goals were presented at an early stage at LIFT's 2020 workshop. As the project nears completion, we would like to share with the same community the work done and perspectives.

# 2 Resources developed

In this section, we present the TEI-encoded corpus (2.1), the character prosopography (2.2), emotion analysis resources (2.3) and work on orthographic variation (2.4). Finally, we present the TEI-encoding workflow and corpus navigation interface (2.5).

## 2.1 TEI-encoded corpus

The first resource is the **TEI corpus**, with 77 plays (623,977 tokens), published in different locations and representing different varieties, by 27 authors. We included minor authors and well-known ones, both male and female, and several dramatic genres. Regarding genres, the corpus reflects comedy's predominance in the Alsatian tradition, but we also included dramas, popular dramas (Volksstücke) and tales (Weihnachtsmärchen). Out of the 77 plays, 51 are plays for which no previous electronic text existed; we carried out OCR based on image-mode digitizations at Strasbourg's national library (Bnu)<fnref n="2" /> and a manual correction of the OCR prior to semi-automatic TEI encoding (section 2.5 describes the workflow). The remaining 26 plays had been published in wikitext format on Wikisource and, in those cases, our work consisted in converting the wikimarkup to TEI, using rules.<fnref n="3" />

As per FAIR practices, rich metadata were collected in the TEI header; an ODD with embedded schematron rules ensures metadata consistency. We assign a DOI to each resource via the Nakala data repository. The resources are exposed in a Nakala collection and via GitLab.<fnref n="4" />

<footnote n="1">¹https://methal.pages.unistra.fr/en</footnote>

<footnote n="2">²See https://www.numistral.fr/fr/theatre-alsacien</footnote>

<footnote n="3">³The Wikisource transcriptions were carried out by wikipedian MireilleLibmann https://als.wikipedia.org/wiki/Text:August_Lustig/A._Lustig_S%C3%A4mtliche_Werke:_Band_2</footnote>

<footnote n="4">⁴The Nakala collection is at https://nakala.fr/collection/10.34847/nkl.feb4r8j9. The GitLab repository is at https://git.unistra.fr/methal/methal-sources. Note that, as of this writing, the Nakala collection contains only 37 of the corpus plays. The rest are published on GitLab and are usable in their current version, having already been used for emotion analyses (Bernhard & Ruiz Fabo, 2022; Liu et al., 2023; Ruiz Fabo et al., 2024), but await more detailed verification before we assign a DOI to them via Nakala.</footnote>
## 2.2 TEI feature structures for character social annotations

A character prosopography in TEI was also created (Ruiz Fabo et al., 2024),<fnref n="5" /> using the feature structures formalism (Romary, 2015), improving upon proposals for character description by Galleron (2017). Formalizing annotations with feature structures presents some degree of complexity, and consistency was ensured with the FS-VALIDATOR tool (Bermúdez Sabel, 2022), which generates ODD statements based on the feature structure declaration.

In the prosopography, characters are annotated with social variables such as their gender, social class, profession or professional category; we built a taxonomy of socioprofessional groups appropriate for the corpus context (Ruiz Fabo & Werner, 2021). These social variables have potential relevance for a sociolinguistic description of character speech. In section 3, we will discuss challenges related to analyzing such data.

## 2.3 Emotion analysis

A resource related to the corpus is Bernhard’s ELAL (*Emotion Lexicon for Alsatian*);<fnref n="6" /> it is based on French-Alsatian bilingual lexica and existing emotion lexica for French and German, aggregated into a large network. Emotion term variants are identified with graphical similarity methods. Thanks to this, the lexicon handles Alsatian’s huge orthographic variability. The MeThAL corpus was used to extract emotion terms’ variants (Bernhard & Ruiz Fabo, 2022), and the lexicon was then applied for first analysis of emotion vocabulary in Alsatian plays.

We applied the ELAL lexicon in EDYTHA (*Emotion Dynamics in Theater in Alsatian*), a program by Liu *et al.* (2023), which detects emotion vocabulary trends in a TEI corpus. It is inspired by Vishnubhotla & Mohammad’s (2022) TED tool,<fnref n="7" /> but improves its scoring via corpus-driven term-weighting schemes that prevent potential skews due to frequent lexicon terms. Taking advantage of the MeThAL character prosopography, EDYTHA aggregates emotion scores based on metadata like the character’s gender, social class or professional group. This is interesting for purposes like assessing whether characters in a socially disfavoured position use more negative emotional terms than other groups. The tool also aggregates scores based on the plays’ genre (e.g. comedies vs. dramas). The program was released under GPL.<fnref n="8" />

<footnote n="5">⁵https://git.unistra.fr/methal/methal-sources/-/tree/master/personography</footnote>

<footnote n="6">⁶See https://nakala.fr/10.34847/nkl.40cex998 for the lexicon items and https://nakala.fr/10.34847/nkl.39b7617v for their emotion scores</footnote>

<footnote n="7">⁷TED (Tweet Emotion Dynamics): https://github.com/Priya22/EmotionDynamics</footnote>

<footnote n="8">⁸https://git.unistra.fr/methal/edytha</footnote>
## 2.4 Approaches to orthographic variation

We also worked on Alsatian's large **orthographic variation**. Bernhard performed successful variant detection experiments, reported in Ruiz Fabo et al. (2024), using the ELAL lexicon as a training corpus with classical machine learning models and neural methods. Yang (2022) induced scriptural variation rules via methods in Millour (2020), applicable to multiple sequence alignment.

## 2.5 TEI-encoding automation and corpus navigation interface

A workflow for **semi-automatic TEI encoding** based on OCR outputs, using rules, a conditional random fields (CRF) model, and manual revision was described in Ruiz Fabo et al. (2024). We released the software and the CRF model under an open license (Briand & Ruiz Fabo, 2023). For OCR, we used Tesseract v4 (Smith, 2018), combining Fraktur and Latin script models, both language-specific and independent; we found that the tool and said models work well for the print sources from 1850 onwards used in the project. The CRF was implemented with `sklearn-crfsuite` (Korobov, 2019).

Finally, to engage the non-specialist public with this digitally underrepresented tradition, we developed a **navigation interface** that allows exploring the texts and metadata.<fnref n="9" />

# 3 Outlook: Towards sociolinguistic analyses?

The previous section shows that the corpus was useful for computational literary studies approaches, previously unattempted for Alsatian given lack of a corpus, but important because they add empirical variety to the field. Now the question arises whether sociolinguistic description could also benefit from the resources created.

The first caveat is of course that character speech is fictional and can only be sociolinguistically relevant insofar as it reflects actual linguistic practice. Beyond that, in terms of geographic variation, it is unclear how to analyze the data: Do scriptural practices reflect the author's variety? The publisher's location? Fictional characters' intended varieties? Other types of variation may be more promising: Thanks to the prosopography metadata, we have over 28,000 speech turns annotated for character gender, 14,000 with the character's professional category and 11,000 with the social class.<fnref n="10" /> These data may allow us to assess some variation trends in the future. The approach in Šeła et al. (2023), which has successfully identified distinctive features in character speech, sometimes tied to social factors, could be applied.

<footnote n="9">⁹The interface is at https://methal.eu/ui/.</footnote>

<footnote n="10">¹⁰For these data and the way they were prepared, see the repository at https://git.unistra.fr/methal/alsatian-character-speech</footnote>
## Acknowledgements

This research was supported by Université de Strasbourg's IdEx program (Attractivité 2020 call).

I thank further project members, Delphine Bernhard, Dominique Huck, Pascale Erhart and Carol Werner for all collaborations, besides Alice Millour, who co-supervised one of the project internships.

We also thank our interns: Nathanaël Beiner, Andrew Briand, Lena Camillone, Hoda Chouaib, Audrey Deck, Barbara Hoff, Valentine Jung, Salomé Klein, Audrey Li-Thiao-Té, Qinyue Liu, Kévin Michoud, Alexia Schneider, Vedisha Toory, Heng Yang.

We also acknowledge the High Performance Computing Center of the University of Strasbourg for scientific support and access to computing resources. Part of the computing resources were funded by the Equipex Equip@Meso project (Programme Investissements d'Avenir) and the CPER Alsac calcul/Big Data.

## References

BERMÚDEZ SABEL H. (2022). FS-Validator. https://github.com/HelenaSabel/FS-Validator.

BERNHARD D. & RUIZ FABO P. (2022). ELAL: An Emotion Lexicon for the Analysis of Alsatian Theatre Plays. In *Proceedings of LREC 2022*, p. 5001–5010, Marseille: ELRA.

BRIAND A. & RUIZ FABO P. (2023). FETE: Fast Encoding of theater in TEI. https://git.unistra.fr/methal/FETE.

GALLERON I. (2017). Conceptualisation of Theatrical Characters in the Digital Paradigm: Needs, Problems and Foreseen Solutions. *Human and Social Studies*, **6**(1), 88–108.

KOROBOV M. (2019). sklearn-crfsuite. https://github.com/TeamHG-Memex/sklearn-crfsuite.

LIU Q., RUIZ FABO P. & BERNHARD D. (2023). Towards emotion analysis for Alsatian theater. In *Computational Humanities Research (Posters)*. DOI: 10.5281/zenodo.8404253.

MILLOUR A. (2020). *Myriadisation de ressources linguistiques pour le traitement automatique de langues non standardisées*. PhD Thesis, Sorbonne Université. HAL: tel-03083213.

ROMARY L. (2015). Standards for language resources in ISO – Looking back at 13 fruitful years. *edition - Die Fachzeitschrift für Terminologie*, **11**(2), 13–19.
RUIZ FABO P., BERNHARD D., BRIAND A. & WERNER C. (2024). Computational drama analysis from almost zero electronic text. In M. ANDRESEN & N. REITER, Éds., *Computational Drama Analysis: Reflecting Methods and Implementations*. De Gruyter. https://univoak.eu/islandora/object/islandora%3A157880.

RUIZ FABO P. & WERNER C. (2021). Exploration du théâtre alsacien à travers ses listes de personnages pendant la période 1870-1940. In *Humanistica 2021*. DOI: 10.5281/zenodo.4762733.

SMITH R. M. D. (2018). Tesseract (v4.0). https://github.com/tesseract-ocr/tesseract.

VISHNUBHOTLA K. & MOHAMMAD S. M. (2022). Tweet Emotion Dynamics: Emotion Word Usage in Tweets from US and Canada. In *Proceedings of the Thirteenth Language Resources and Evaluation Conference*, p. 4162–4176, Marseille, France: European Language Resources Association.

YANG H. (2022). Détection de la variation graphique dans une langue non standardisée : le cas des dialectes alsaciens. Mémoire de master. https://dumas.ccsd.cnrs.fr/dumas-03794680.

ŠĚLA A., NAGY B., BYSZUK J., HERNÁNDEZ-LORENZO L., SZEMES B. & EDER M. (2023). From stage to page: language independent bootstrap measures of distinctiveness in fictional speech. DOI: 10.48550/arXiv.2301.05659.
# Transcription Automatique de l'arabe parlé à Tunis : Un pont vers l'analyse linguistique

Charles Vancaeyzeele,¹ Daphne Gonçalves Teixeira¹ Mohamed Malek Bahri¹

(1) Laboratoire Ligérien de Linguistique (LLL), 10 rue de Tours, BP 46527 - 45072 ORLEANS CEDEX 2 (FRANCE)

charles.vancaeyzeele@univ-orleans.fr,
daphne.goncalves-teixeira@univ-orleans.fr,
mohamed-malek.bahri@univ-orleans.fr

## RÉSUMÉ

Cet article expose un projet de transcription du corpus de l'arabe parlé à Tunis, mené par des doctorants du Laboratoire Ligérien de Linguistique. La langue, peu documentée et sans orthographe standard, présente des défis majeurs en transcription manuelle en raison des variations vocaliques. Pour pallier les biais, une transcription automatique a été explorée, utilisant des modèles existants pour d'autres langues. L'objectif était de réduire la charge de travail et de documenter la langue tout en évitant une référence stricte à l'arabe standard. La méthodologie inclut trois étapes : transcription automatique avec Whisper AI, translittération en caractères latins (normes de Buckwalter), et harmonisation des caractères divergents. Cette approche facilite la comparaison avec les transcriptions manuelles et permettra d'établir une convention orthographique pour les voyelles, ainsi que d'identifier les processus phonologiques en synchronie grâce à un répertoire phonémique constitué. Ce projet contribuera à une meilleure compréhension de l'arabe parlé à Tunis.

## ABSTRACT

### Automatic Transcription of Arabic Spoken in Tunis : A Bridge to Linguistic Analysis

This article presents a project for the transcription of the spoken Arabic corpus in Tunis, conducted by doctoral students at the Laboratoire Ligérien de Linguistique. The language, which is poorly documented and lacks a standard orthography, poses significant challenges for manual transcription due to vocalic variations. To mitigate biases, an automated transcription was explored using existing models for other languages. The main aim was to reduce the workload and document the language while avoiding a strict reference to standard Arabic. The methodology involves three stages : automated transcription using Whisper AI, transliteration into Latin characters (Buckwalter standards), and harmonization of divergent characters. This approach facilitates comparison with manual transcriptions and will enable the

<figure><img src="image_45.png" /></figure>
establishment of an orthographic convention for vowels, as well as the identification of
phonological processes in synchrony through the compilation of a phonemic inventory.
This project will contribute to a better understanding of spoken Arabic in Tunis.

MOTS-CLÉS : corpus oraux, transcription automatique, analyse distributionnelle, Arabe Tunisien.

KEYWORDS : oral corpora, automatic transcription, distributional analysis, Tunisian Arabic.

# 1 Introduction

Dans ce papier, nous explicitons le protocole et les problématiques associées au projet de transcription (automatique et manuelle) d'un corpus d'arabe parlé à Tunis. Ce projet est mené par des doctorants issus de disciplines différentes (Sociolinguistique, Phonologie et Traitement Automatique des Langues) au sein du Laboratoire Ligérien de Linguistique.

# 2 Corpus d'arabe parlé à Tunis

L'idée présentée ici émane d'un projet de thèse ayant pour objectif de tester la faisabilité méthodologique de la chaîne de traitement des Enquêtes Sociolinguistiques à Orléans sur une langue peu documentée, l'arabe parlé à Tunis. La transcription des 43 heures d'entretiens récoltés à Tunis se fixe le même objectif que les transcriptions du corpus des ESLO : une transcription orthographique permettant de naviguer dans un texte aligné au signal et qui offre à tout usager du corpus la possibilité d'étudier plus en profondeur le phénomène qui l'intéresse.

Cela se complexifie dès lors que la langue qu'on transcrit n'est ni reconnue ni dotée d'une orthographe usuelle. Cela oblige à faire un choix aux conséquences épistémologiques parfois lourdes : faire une description morpho-phonologique du parler à transcrire dans l'optique de le doter d'une convention orthographique au risque de ne tester que la phase de transcription ou bien faire l'économie d'une description morphophonologique - aussi urgente soit-elle - et transcrire sa langue maternelle en aménageant un système orthographique existant mais non institutionnel (ARABIZI (Dichy et al., 2019)) pour documenter l'usage réel de la langue par ses locuteurs.
## 2.1 Transcription du corpus

L'arabizi n'est pas la seule possibilité de translittération de l'alphabet arabe, il existe d'autres codifications plus rigoureuses et plus stables mais le choix d'utiliser l'arabizi est dicté par son ergonomie considérable par rapport aux autres normes existantes puisqu'il ne présente aucun signe spécial ou diacritique qui alourdit l'opération de transcription par un outil comme le clavier. Les autres normes de translittération, quant à elles, s'inspirent de l'arabe standard et contiennent des signes spéciaux, des diacritiques parfois encombrants quand il s'agit de transcrire un grand corpus. Il s'agit également d'une translittération en adéquation avec le corpus en question puisqu'elle émane des usagers des réseaux dont le besoin est de communiquer comme à l'oral, donc en arabe parlé. Cependant, comme la codification est véhiculée par les locuteurs eux-mêmes, elle présente quelques imprécisions et fluctuations graphiques au niveau des consonnes non représentées par l'alphabet latin qu'il convient d'harmoniser avant la transcription A comme dans le tableau suivant :

<table><caption>TABLE 1 – Normalisation des consonnes arabes non représentées par l'alphabet latin</caption><thead><tr><th>Lettres arabes</th><th>Caractères arabizi</th><th>Caractères normalisés en AT</th></tr></thead><tbody><tr><td>ء</td><td>2 ou rien</td><td>2</td></tr><tr><td>خ</td><td>kh/5/7'</td><td>5</td></tr><tr><td>ذ</td><td>dh</td><td>th</td></tr><tr><td>ش</td><td>ch/sh</td><td>ch</td></tr><tr><td>ص</td><td>s / S / 9</td><td>S</td></tr><tr><td>ض</td><td>d / D / 9'</td><td>6</td></tr><tr><td>ط</td><td>t / T / 6 :</td><td>T</td></tr><tr><td>ظ</td><td>z / Z / 6':</td><td>6</td></tr><tr><td>ع</td><td>3</td><td>3</td></tr><tr><td>غ</td><td>gh / 3'</td><td>4</td></tr><tr><td>ق</td><td>q / 9 / 8</td><td>9</td></tr><tr><td>ح</td><td>7</td><td>7</td></tr></tbody></table>

## 2.2 La question des voyelles

Le triangle vocalique de l'arabe tunisien ne semble pas faire consensus dans la littérature. On retrouve par exemple chez (Cohen, 1973) et (Marçais, 1977) un maintien de la triade classique /a/, /i/ et /u/ même si d'autres auteurs comme (Chekili, 1982) postulent l'existence de quatre phonèmes vocaliques brefs et quatre phonèmes vocaliques longs dont le [ ] postérieur et son équivalent long décrits par (Barkat, 2000) comme un timbre issu d'emprunts aux langues latines comme le français. Mzoughi reprend quant à elle le système à trois timbres vocaliques brefs
/i/, /a/, /u/ doublés de leur correspondantes longues.

Nous choisissons d'utiliser le système à trois voyelles comme hypothèse à tester dans la transcription A en orthographiant les phones vocaliques par les graphèmes vocaliques latins les plus proches des réalisations. Cependant, à cause du biais du locuteur natif et de la nature de l'outil utilisé pour transcrire, le clavier qui affiche un nombre limité de caractères, certaines réalisations différentes ont été confondues. La transcription A constitue donc un matériau expérimental de réflexion où se mêlent l'encodage phonologique et phonétique. Par conséquent, le phonème /a/ sera toujours écrit "a", le phonème /u/ sera tantôt écrit "ou" tantôt "o" et le phonème /i/ sera écrit "e" ou "i".

La transcription A n'a pas pour objectif d'être idéale ou de remplacer le signal. Elle avait pour premier objectif d'entrer dans le signal et les données afin de noter les principaux problèmes rencontrés dans le but de les traiter dans la transcription B qui sera, elle, phonologique.

<table><thead><tr><th>phonème vocalique</th><th>réalisations possibles</th></tr></thead><tbody><tr><td>/a:/</td><td>[æ:] [c:]</td></tr><tr><td>/i:/</td><td>[i:]</td></tr><tr><td>/u:/</td><td>[u:]</td></tr><tr><td>/a/</td><td>[æ] [a]</td></tr><tr><td>/i/</td><td>[ɪ] [ə]</td></tr><tr><td>/u/</td><td>[ʊ] [o] [u]</td></tr></tbody></table>

<table><caption>TABLE 2 – Exemples de Transcription des Réalisations Vocaliques</caption><thead><tr><th>Transcription A</th><th>Transcription B</th><th>Traduction</th></tr></thead><tbody><tr><td>r-rjaal</td><td>r-rjaal</td><td>les hommes</td></tr><tr><td>l-9diim</td><td>l-9diim</td><td>l'ancien</td></tr><tr><td>l-maktoub</td><td>l-maktuub</td><td>le destin</td></tr><tr><td>rja3-t</td><td>rja3-t</td><td>je suis revenu</td></tr><tr><td>3elm</td><td>3ilm</td><td>la science</td></tr><tr><td>9ol-t</td><td>9ul-t</td><td>j'ai dit</td></tr></tbody></table>

L'établissement de la transcription B qui contient les phonèmes de l'arabe tunisien a été établie à partir de l'instinct de locuteur natif mais elle présente des limites notamment au niveau de la longueur phonologique qui pourra être vérifiée à travers une analyse phonologique des données de la transcription A.
## 3 Transcription Automatisée

De l'ensemble du corpus, 20 heures ont été transcrites manuellement par un seul transcripteur natif avec un but exploratoire. Cette première démarche a permis d'identifier un nombre important de questions d'ordre linguistique, technique et méthodologique, à savoir, la diversité des réalisations (timbre) vocaliques, la différence de qualité des enregistrements et la normalisation pour transcrire la variation.

Au cours des dernières années, des initiatives ont été entreprises pour exploiter les avancées de la recherche en traitement automatique des langues (TAL) en vue de générer des transcriptions automatiques pour des langues peu documentées. Un exemple notable de cette initiative est le projet CREAM, qui se consacre au développement de technologies visant à documenter diverses langues créoles (Ferrand et al., 2023). Ce projet a obtenu des résultats prometteurs en créant avec succès des transcriptions automatiques de données directement à partir du terrain.

Bien que le présent projet ne soit pas directement intégré au projet ANR CREAM, il s'inspire largement de l'initiative du projet CREAM visant à développer des outils pour la documentation de langues présentant un faible niveau de documentation. À l'instar des langues créoles, caractérisées par une base lexicale d'origine indo-européenne et une documentation rare, souvent non fondée sur une étude empirique des corpus, la variante de l'arabe parlée à Tunis partage des similitudes. Cette variante, tout comme les langues créoles, demeure insuffisamment décrite et peu explorée à travers des corpus de parole spontanée.

Dans le même esprit, nous avons choisi d'explorer les technologies existantes destinées aux langues largement documentées, en vue de générer des transcriptions automatiques pour une partie du corpus. Cette initiative vise plusieurs objectifs, notamment la comparaison des coûts entre une transcription manuelle et la création des outils nécessaires à la transcription automatique d'une telle langue. Un autre objectif essentiel est de tenter d'atténuer le biais de confirmation du transcripteur (natif) influencé par sa propre variation, qui peut potentiellement survenir lorsqu'une seule personne est chargée de la création d'un guide de transcription et de la transcription de l'intégralité du corpus.

En ce qui concerne la transcription automatique, la lacune apparente en matière de modélisation spécifique de l'arabe parlé à Tunis (et l'insuffisance des ressources pour en élaborer un à partir de zéro) pour la reconnaissance vocale requiert une approche d'adaptation à partir de modèles préexistants. L'objectif principal de cette tâche n'est pas de générer des transcriptions parfaites, mais plutôt de produire des transcriptions capables de réduire la charge de travail liée à la transcription manuelle, de rendre possible la documentation de cette langue tout en se méfiant d'une référence obligatoire à l'arabe standard et d'une approche intuitive.
# 4 Méthodologie de Travail

Pour obtenir ce type de transcription, nous avons entrepris une première évaluation en travaillant avec deux entretiens enregistrés, d'une durée d'environ une heure chacun, présentant des niveaux de qualité différents. Ces enregistrements ont été soumis à un processus en trois étapes pour générer les transcriptions. Dans la première phase de notre étude, nous utilisons les enregistrements audio bruts des entretiens en tant qu'entrée pour exécuter l'algorithme de transcription Whisper AI (Radford et al., 2022), en privilégiant le modèle arabe large. Bien que nous ayons effectué des essais avec les modèles "medium" et "large", nous avons constaté une nette amélioration de la qualité lors du passage au modèle "large", ce qui a dicté notre choix. Cette première étape génère une transcription en graphie arabe qui servira de base dans la deuxième phase du processus où nous procéderons à la translittération de l'arabe vers l'alphabet latin.

La deuxième phase de notre processus, à savoir la translittération, repose sur l'utilisation du paquet "CAMel Tools" (Obeid et al., 2020) pour convertir la sortie de la première étape en une translittération correspondant aux normes de Buckwalter, qui définissent la correspondance entre les lettres arabes et les caractères latins. Il est toutefois important de noter que cette norme diffère de celle mise en place par le transcripteur pour effectuer la transcription manuelle, ce qui peut entraîner des difficultés lors de la comparaison des résultats. Afin de résoudre cette divergence, une troisième étape a été intégrée dans notre processus, au cours de laquelle la translittération générée est soumise à un ensemble de règles visant à harmoniser les caractères qui diffèrent de la norme de Buckwalter. Cette démarche garantit une plus grande cohérence et facilite la comparaison des données translittérées avec la transcription manuelle établie au préalable.

<table><caption>TABLE 3 – Exemple de sortie</caption><tr><td>WhisperAI</td><td>اليوم أصباح مشيت للفاکولتی قریت وبعد روحت وبعد باش نمشي للتبيب</td></tr><tr><td>CAMel Tools</td><td>aliwm &gt;SbaH m$it llfakwlti qrit wbEd rwHt wbEd banmi lltbib</td></tr><tr><td>Avec Règles</td><td>aliwm SSba7 mchit "llfakwlti" 9rit wmb3d rw7t wmb3d bach nmchi lltbib</td></tr><tr><td>Golden Standard</td><td>Lyoum S-Sbaa7 mchi-t li l-faculté 9arri-t w m-ba3d rawwa7-t w m-ba3d b-ech ne-mchi li l- b-ech ne-mchi li T-Tbiib</td></tr></table>

Les résultats de cette chaîne de traitement sont récapitulés dans le tableau ci-dessus,
présentant les sorties de WhisperAI, CAMel Tools après l'application des règles, ainsi que le Golden Standard. Actuellement, des ajustements sont en cours pour améliorer le traitement des sorties des voyelles et obtenir des résultats encore plus précis.

# 5 Perspectives d'exploitation linguistique

À l'issue de ces trois étapes successives, nous obtenons en sortie un fichier contenant la transcription générée par l'outil de transcription Whisper AI (en graphie arabe), la translittération produite par CAMeL Tools, ainsi que la translittération adaptée. Cette approche permet une présentation plus claire des différentes phases du processus, facilitant ainsi la révision des résultats obtenus. De plus, cette structuration du fichier favorise la comparaison avec les transcriptions manuelles établies, contribuant ainsi à une évaluation plus précise de la qualité des transcriptions générées.

## 5.1 Analyse distributionnelle

C'est à partir de ce stade que la possibilité d'une exploitation linguistique des données dans leur ensemble se profile, notamment sur le plan phonologique. Plus précisément, il s'agit de comparer la transcription morpho-phonétique effectuée manuellement en amont avec la translittération morpho-phonémique adaptée de la sortie générée par CAMeL Tools, dans le but de vérifier la cohérence entre les graphèmes à valeur phonétique encodés dans la première et les graphèmes représentant les phonèmes, ou unités minimales distinctives, de l'arabe tunisien dans la seconde. Plus précisément, nous recourons à une analyse distributionnelle (une méthode propre à la théorie phonologique) pour justifier le rassemblement d'un ensemble de réalisations phoniques, e.g. [o], [u] et [ʊ], au sein d'un seul phonème, e.g. /u/.

L'analyse distributionnelle, originellement introduite dans (Troubetzkoy, 1949), consiste à observer la distribution (i.e. l'ensemble des contextes d'apparition) de chaque occurrence des phones recensés dans un corpus afin d'en déduire la relation d'opposition qu'ils entretiennent. Cette relation peut prendre deux formes différentes : si deux voire plusieurs phones s'opposent, ils sont associés à autant de phonèmes distincts ; s'ils ne s'opposent pas, ils sont associés à un seul et unique phonème. Une opposition ne peut être révélée que s'il est démontré que les phones concernés commutent (i.e. qu'ils induisent un changement de sens du mot auquel ils appartiennent dans le cas où ils sont interchangés). Il existe plusieurs types de distribution, chacune étant indicatrice d'une relation d'opposition spécifiée. Nous employons deux types de distribution, qui sont affichées ci-dessous. Soit deux phones x et y ainsi que deux contextes A et B :

- Distribution complémentaire : x apparaît exclusivement en A, et y apparaît exclusivement en B ; OU y apparaît exclusivement en A, et x apparaît exclusivement en
— Distribution libre : x et y peuvent apparaître en A comme en B
Une distribution complémentaire implique nécessairement que les phones concernés ne s'opposent pas, i.e. qu'ils sont associés à un seul et même phonème. En effet, puisqu'il est par définition impossible de les interchanger, il n'est pas possible qu'une alternance potentielle entre les deux induise de changement de sens d'un mot qui contiendrait l'un ou l'autre phone. En revanche, une distribution libre peut provoquer ou non un changement de sens dans un mot, et donc conditionner la présence comme l'absence d'une opposition.

## 5.2 Conclusions

Ce travail permettra d'extraire par exemple un ensemble de distribution pour chaque phone vocalique présent dans la troisième sortie, et de vérifier automatiquement la nature desdites distributions pour en déduire leur statut phonologique, d'après les principes de l'analyse distributionnelle. Le répertoire phonémique alors constitué, comparé aux répertoires proposés antérieurement dans la littérature, nous permettra de réaliser deux tâches. Premièrement, nous établirons une convention orthographique des voyelles à partir d'une correspondance systématique entre graphèmes et phonèmes. Deuxièmement, les contextes établis serviront à identifier divers processus phonologiques en synchronie.

## Références

BARKAT M. (2000). Détermination d'indices acoustiques robustes pour l'identification automatique des parlers arabes. Thèse de doctorat, Lyon 2.

CHEKILI F. (1982). The morphology of the Arabic dialect of Tunis.

COHEN D. (1973). "variantes, variétés dialectales et contacts linguistiques en domaine arabe". Bulletin de la Société Linguistique de Paris, **XVIII**(1), 215--248.

DICHY J., DRISS F.-Z., LAGRAF H. & MOSTEFA D. (2019). Communication écrite sur internet et par sms en arabizi : analyse de corpus relevant des glosses dialectales libanaise et marocaine. In A. BARONTINI, M.-A. GERMANOS, J. GUERRERO, C. PEREIRA & C. MILLER, Éds., AIDA2017, Aix-en-Provence : IREMAM.

FERRAND E., HENRI F., LECOUTEUX B. & SCHANG E. (2023). Application of speech processes for the documentation of kréyòl gwadloupéyen.

MARÇAIS P. (1977). Esquisse grammaticale de l'arabe maghrébin. Paris : Librairie Adrien-maisonneuve.

MZOUGHI I. (2015). Intégration des emprunts lexicaux au français en arabe dialectal tunisien. Thèse de doctorat.

OBEID O., ZALMOUT N., KHALIFA S., TAJI D., OUDAH M., ALHAFNI B., INOUE G., ERYANI F., ERDMANN A. & HABASH N. (2020). Camel tools : An open source
python toolkit for arabic natural language processing. In LREC2020, p. 7022--7032,
Marseille, France : European Language Resources Association.

RADFORD A., KIM J., XU T., BROCKMAN G., MCLEAVEY C. & SUTSKEVER I.
(2022). Robust speech recognition via large-scale weak supervision.

ROCHE M. (2010). Base, thème, radical. Recherches linguistiques de Vincennes, (39), 95--134.

TROUBETZKOY N. S. (1949). Principes de Phonologie. Klincksieck, 2005 édition.
<figure><img src="image_46.png" /></figure>