combinaison pondérée et normalisée des états cachés de l'encodeur (ce qui est désigné par mécanisme d'attention) et l'utilise pour la mise à jour de son propre état caché courant $s_j$ :

$$s_j = f(s_{j-1}, \hat{y}_{j-1}, c_j), \qquad (1)$$

où $\hat{y}_{j-1}$ est le mot engendré à l'étape précédente, et $f$ est une fonction non-linéaire. $s_j$ est à son tour utilisé pour calculer la distribution de probabilité associée au prochain mot :

$$p_{decoder}(\hat{y}_j|\hat{y}_{[1:j-1]}, x) = \mathrm{softmax}(g(s_j, \hat{y}_{j-1}, c_j)), \qquad (2)$$

où $g$ est une fonction non-linéaire.

Développée par Kikuchi et al. (2016), la méthode LenInit est fondée sur ce cadre. Nous l'avons réimplémentée, en l'adaptant pour la transduction au niveau des caractères.

LenInit encode la longueur de sortie voulue en multipliant sa valeur scalaire $l$ avec un paramètre appris, le vecteur de longueur $V$. Cet encodage continu est ensuite introduit au sein du premier état caché du décodeur $s_0$, comme suit :

$$s_0 = \tanh \left( W_{init} \left[ \frac{\sum_{i=1}^{l_x} h_i}{l_x} ; L_{param} \right] \right), \quad L_{param} = l \times V, \qquad (3)$$

où $W_{init}$ est un paramètre appris. Pendant la période d'entraînement, $l$ est égal à la longueur de la séquence cible de référence, $l_y$. Pendant la période de test, $l$ est fixé par l'utilisateur : dans nos expériences, $l = r \times l_x$, avec $r$ le taux de compression visé.

Nous avons aussi testé des variantes de LenInit, désignées comme LenInit2 et LenInit3, qui se distinguent par la façon de définir $L_{param}$ dans l'équation (3) :

$$\text{LenInit2: } L_{param} = [l \times V; L_{plong}(l)], \quad \text{LenInit3: } L_{param} = L_{plong}(l), \qquad (4)$$

où $L_{plong}(l)$ est le plongement associé à $l$ par une table apprise. L'encodage par la norme de LenInit a en théorie l'avantage de pouvoir marcher pour n'importe quelle longueur, alors qu'un plongement classique (qui apprend indépendamment un vecteur pour chaque valeur) est limité par la fréquence dans les données d'entraînement de la longueur considérée. Avec ces variantes nous avons voulu vérifier le bénéfice lié à un encodage continu, et voir s'il vient au coût d'une perte sur la précision du contrôle de longueur.

## 2.2 Un corpus artificiel pour la compression de phrase

Nous avons choisi de mener nos essais sur une tâche plus simple et plus contrôlée que la compression de phrase classique. Pour cela, nous avons créé des données artificielles à l'aide d'un système élémentaire de transduction, qui compresse ou décompresse une phrase source de façon extractive, respectivement en supprimant ou en répétant une partie des caractères. Afin de rendre l'apprentissage d'une telle transformation moins triviale, la décision de supprimer (resp. répéter) un caractère source $x_i$ suit une probabilité $p_{sup}$ (resp. $p_{rep}$) qui dépend de son « entropie » (autrement dit, qui dépend de sa propension à pouvoir être prédit étant donné le contexte antérieur) :

$$\begin{aligned} p_{sup}(x_i|x_{[i-n+1;i-1]}; \theta) &= \max(1, \alpha \times p_{\theta}(x_i|x_{[i-n+1;i-1]})), \\ p_{rep}(x_i|x_{[i-n+1;i-1]}; \theta) &= \max(1, \beta \times (1 - p_{\theta}(x_i|x_{[i-n+1;i-1]}))), \end{aligned} \qquad (5)$$
<figure><img src="image_36.png" /><figcaption>FIGURE 1: Histogrammes du taux de compression et de la longueur source dans l'ensemble d'entraînement du corpus artificiel.</figcaption></figure>

<figure><img src="image_37.png" /><figcaption>FIGURE 2: Exemples de paires dans le corpus. Les phrases sources sont accompagnées d'une carte thermique indiquant pour chaque caractère (excepté les 3 premiers) la probabilité attribuée par un modèle de langue 4-gramme. Les phrases cibles sont compressées ou décompressées, selon r.</figcaption></figure>

où $\theta$ est un modèle de langue n-gramme au niveau caractère, $p_{\theta}(x_i|x_{[i-n+1;i-1]})$ est la probabilité d'après $p_{\theta}$ de $x_i$ sachant le contexte des $n-1$ caractères précédents, et $\alpha$ et $\beta$ sont des facteurs d'échelle (permettant de contrôler la valeur moyenne). Ainsi, une compression devrait supprimer les caractères les plus prévisibles, et une décompression devrait répéter les moins prévisibles.

Notre ensemble de données est constitué de 75 569 phrases de 5 à 10 mots en français, normalisées<fnref n="2" />, provenant de Tatoeba<fnref n="3" />. Les phrases cibles sont un mélange de phrases compressées et décompressées. Nous avons défini les valeurs des coefficients $\alpha$ et $\beta$ de manière à ce que le taux de compression $l_y/l_x$ soit uniformément distribué dans [0, 5; 1, 5], quand échantillonné sur le corpus entier (Figure 1a) :

$$ \alpha = \frac{1-r}{\tilde{p}_{\theta}}, \quad \beta = \frac{r-1}{1-\tilde{p}_{\theta}}, \qquad (6) $$

où $r$ est une variable échantillonnée uniformément dans [0, 5; 1, 5] pour chaque phrase (si $r > 1$ une décompression est opérée, sinon une compression), et $\tilde{p}_{\theta}$ est la probabilité moyenne attribuée par le modèle n-gramme $\theta$ aux caractères de référence sur ses données d'apprentissage. $\theta$ avait été appris au préalable sur le côté source de l'ensemble d'entraînement.

La figure 1b montre la répartition des longueurs sources de l'ensemble d'entraînement, et la figure 2 présente des exemples de phrases compressées ou décompressées de l'ensemble de développement.

<footnote n="2">2. Nous avons retiré les diacritiques, majuscules, apostrophes, tirets et virgules.</footnote>

<footnote n="3">3. Tatoeba est une base de données de traduction multilingue, constituée de contributions volontaires. https://tatoeba.org, diffusé sous licence CC-BY 2.0 FR.</footnote>
# 3 Expériences

## 3.1 Évaluation de LenInit

### Précision du contrôle de longueur

Nous nous sommes attachés dans notre premier groupe d'expériences à mesurer la précision avec laquelle LenInit contrôle la longueur de la phrase engendrée. Pour cela nous avons choisi de calculer l'erreur absolue moyenne (EAM) et la racine de l'erreur quadratique moyenne (REQM) des taux de compression obtenus par rapport aux taux de compression visés, selon les formules suivantes :

$$ \text{EAM} = \frac{1}{n} \sum_{i=1}^{n} |\hat{r}_i - r_i|, \quad \text{REQM} = \sqrt{\frac{1}{n} \sum_{i=1}^{n} (\hat{r}_i - r_i)^2}, \qquad (7) $$

où $n = 7457$ est le nombre d'instances dans l'ensemble de développement, et $\hat{r}_i$ et $r_i$ sont respectivement le taux de compression obtenu et le taux de compression visé pour la $i$-ème phrase transduite.

L'erreur absolue (EA) $|\hat{r} - r|$ peut aussi être vue comme la différence entre la longueur produite et la longueur visée $|l_{\hat{y}} - r \times l_x|$ rapportée à la longueur source $l_x$. Pour compléter nos métriques, nous avons évalué la proportion d'instances pour lesquelles l'erreur absolue est inférieure à 10%, 5%, ou bien est nulle<fnref n="4" /> (Section 5.1).

### Validité des phrases engendrées

Quoique davantage intéressés par l'aptitude de LenInit à contrôler la longueur, nous avons mis en place une évaluation pour mesurer la validité (ou grammaticalité en un sens) des phrases engendrées par rapport aux données d'entraînement. La procédure suivie pour créer une phrase dans le côté cible du corpus peut être interprétée comme un transducteur fini pondéré : chaque lettre d'entrée est conservée ou supprimée/doublée (selon qu'une compression ou une décompression est réalisée) en suivant des probabilités (Équation (5)) conditionnées sur le contexte des $n-1$ caractères précédents, contexte qui peut être associé à un état.

Notons $T_r^{comp}$ les transducteurs pour la compression ($r \in [0, 5; 1]$), et $T_r^{decomp}$ les transducteurs pour la décompression ($r \in [1; 1, 5]$). Grâce à eux, nous sommes capables de vérifier si une phrase produite par un modèle encodeur-décodeur est « correcte » par rapport à la procédure suivie pour créer le côté cible de notre corpus artificiel pour la compression de phrase. Une phrase $\hat{y} = \text{LenInit}_{r=0,6}(x)$, engendrée par LenInit à partir d'une phrase source $x$ avec un taux de compression visé $r = 0, 6$, est correcte si elle appartient à $\text{Im}(T_{r=0,6}^{comp} \circ x)$, l'ensemble des phrases cibles qui peuvent être obtenue depuis $x$ par l'automate de compression correspondant (comme à chaque étape du décodage LenInit peut a priori engendrer n'importe quel caractère de l'alphabet, il est tout à fait possible que $\hat{y}$ ne soit pas dans le langage rationnel image du transducteur).

Nous pouvons aussi calculer la probabilité associée à une paire $(x, y)$ formée d'une phrase source et d'une phrase cible correcte : $T_r^{comp}(x, y)$ (resp. $T_r^{decomp}(x, y)$), qui correspond à la probabilité

<footnote n="4">4. Les cas où $|l_{\hat{y}} - \lfloor r \times l_x \rfloor| = 0$.</footnote>
<table><caption>TABLE 1: Exemple de phrase source $x$, phrase prédite (produite par LenInit) $ŷ$, et plus proche phrase parmi celles que le transducteur de compression pourrait engendrer à partir de la source $ŷ'$.</caption><tr><td>x</td><td>la guerre c est l enfer .</td></tr><tr><td>ŷ = LenInit<sub>r=0,6</sub>(x)</td><td>la gerre c est lenfre</td></tr><tr><td>ŷ'</td><td>la gerre c est lenfe</td></tr></table>

cumulée de tous les chemins dans $T_r^{comp}$ (resp. $T_r^{decomp}$) qui transduisent $x$ en $y$. Dans notre évaluation, nous avons utilisé la probabilité logarithmique négative divisée par la longueur de la phrase source, définissant les scores :

$$S_r^{comp}(x, y) = \frac{-\log T_r^{comp}(x, y)}{l_x}, \quad S_r^{decomp}(x, y) = \frac{-\log T_r^{decomp}(x, y)}{l_x}. \qquad (8)$$

Pour les cas dans lesquels une phrase prédite $ŷ = LenInit_r(x)$ n'est pas correcte (au sens donné ci-dessus), nous recherchons la phrase $ŷ'$ la plus proche (en terme de distance d'édition) dans $Im(T_r^{comp} \circ x)$ (resp. $Im(T_r^{decomp} \circ x)$), et calculons $S_r^{comp}(x, ŷ')$ (resp. $S_r^{decomp}(x, ŷ')$). Le tableau 1 donne un exemple d'un tel triplet $(x, ŷ, ŷ')$.

## 3.2 Prédiction de longueur à partir des états cachés

Notre deuxième groupe d'expériences s'attache à comprendre comment la longueur est représentée dans les états cachés du décodeur, et comment la contrainte impliquée par LenInit agit pendant le décodage. Shi et al. (2016); Adi et al. (2016) ont déjà montré qu'une information de longueur se trouve dans ce genre de représentations dans les cas de l'auto-encodage et de la traduction. Néanmoins nos essais se placent dans un cadre de compression de phrase avec un taux visé variable ; dans ce cas, la longueur cible ne peut être déterminée par une relation constante à partir de la longueur source, et le décodeur doit intégrer des données extérieures.

En utilisant le modèle LenInit (Section 2.1) entraîné sur notre corpus de compression (Section 2.2), nous avons conçu une tâche de classification qui prédit – étant donné un état caché échantillonné à une certaine étape $j$ du décodage – la longueur de la séquence restant à produire. Les classes de sortie correspondent à des valeurs de longueur, entre 0 et 149 (ce qui est supérieur à la plus grande longueur enregistrée dans le corpus).

Nous avons créé un ensemble de données pour cette tâche, en échantillonnant aléatoirement une fraction (1%) de tous les états cachés produits pendant le décodage (effectué pour divers objectifs de taux de compression) de phrases issues de l'ensemble d'entraînement du corpus de compression<fnref n="5" />. À chacun de ces états cachés a été associé le nombre de caractères de sortie engendrés après qu'il a été échantillonné (c'est-à-dire entre son étape $j$ et la fin du décodage de sa phrase). Ainsi, nous avons obtenu des classes représentées selon leurs proportions naturelles.

<footnote n="5">5. LenInit a été utilisé pour transduire les mêmes phrases sur lesquelles il avait été entraîné.</footnote>
## 3.3 Évolution de la probabilité de génération du caractère de fin de phrase

Notre troisième groupe d'expériences suit l'évolution des probabilités respectivement associées au symbole *fin-de-phrase* et à certaines marques de ponctuation (à savoir « . », « ! » et « ? ») au cours du décodage. Des essais semblables ont été menés par Shi et al. (2016), sans trouver de progression régulière. Nous souhaitons vérifier si le cadre de la compression de phrase amène un changement à ce niveau.

Nous utilisons la même configuration que précédemment pour le modèle encodeur-décodeur (LenInit), que nous exécutons sur la partie développement du corpus de compression (Section 2.2). Les probabilités sont extraites des distributions sur le vocabulaire 6 créées à chaque étape du décodage.

# 4 Implémentation

## Modèle de langue n-gramme au niveau caractère

Pour pouvoir produire le corpus expérimental de compression (Section 2.2), nous avons implémenté un modèle de langue 4-gramme au niveau caractère sous la forme d'un *perceptron multicouche* (Bengio et al., 2003) avec une seule couche cachée (de dimension 128). Il a été entraîné pendant 4 époques sur 60 418 phrases en français de Tatoeba, en utilisant Adam (Kingma & Ba, 2015) avec son paramétrage standard : $\alpha = 0,0005$, $\beta_1 = 0,9$, $\beta_2 = 0,999$, $\epsilon = 10^{-8}$.

## LenInit et variantes

Nous avons implémenté le modèle LenInit (Section 2.1) comme un bi-GRU (Cho et al., 2014) (dimension de plongement = 20, dimension cachée = 300, dimension de $L_{param}$ = 300), entraîné pendant 1 époque sur 60 418 phrases en français de Tatoeba, en utilisant Adam (paramétrage standard).

Les variantes LenInit2 et LenInit3 ont les mêmes caractéristiques (en particulier, le nombre de paramètres dans $L_{param}$ est le même).

## Évaluation des phrases engendrées

Les transducteurs finis pondérés utilisés pour évaluer la validité des phrases engendrées ont été implémentés à l'aide de la librairie Pynini (Gorman, 2016).

## Classification de la longueur future

Le classificateur pour la longueur future est un perceptron multicouche avec une seule couche cachée (de dimension 300, égale à la dimension d'entrée) activée par la fonction *ReLU*. Il a été entraîné pendant 5 époques sur 17 112 vecteurs échantillonnés, en utilisant Adam (paramétrage standard).

<footnote n="6">6. Pour notre modèle, le vocabulaire est l'ensemble des caractères utilisés</footnote>
Les vecteurs des états cachés de l'ensemble de données pour la classification ont été produits en décodant des phrases de l'ensemble d'entraînement du corpus de compression : pour ces transductions nous avons utilisé LenInit, et pour chacune d'elles nous avons pris un taux de compression objectif uniformément échantillonné dans [0, 5; 1, 5]. Cette répartition aléatoire a été choisie afin de limiter l'introduction de biais dans la tâche.

# 5 Résultats

## 5.1 Compression/décompression avec LenInit

Avant de réaliser nos expériences autour des mécanismes de détermination de la longueur, nous avons testé LenInit sur le corpus artificiel de compression de phrase. Le tableau 2 présente quelques exemples de phrases issues de l'ensemble de développement, transduites avec différents taux de compression visés. Afin de vérifier la capacité du modèle à contrôler la longueur, nous avons transduit l'ensemble de développement selon plusieurs modalités :

1. en échantillonnant le taux visé *r* uniformément dans [0, 5; 1, 5], ce qui permet de vérifier que la distribution des taux de compression obtenus (Figure 3a) est conforme à celle présente dans l'ensemble d'entraînement (Figure 1) (avec néanmoins une densité plus importante autour de 1, qui semble témoigner d'une tendance à reproduire la phrase source);

2. en fixant *r* à des valeurs présentes dans les données d'apprentissage (0, 6, 1, 0 et 1, 4), ce qui permet d'observer des distributions de taux de compression effectivement centrées autour d'une valeur (Figure 3b) (notons toutefois que dans le cas *r* = 1, 4, la gaussienne obtenue est davantage décalée par rapport au taux visé, probablement à cause de la difficulté pour l'encodeur-décodeur à manipuler les longues séquences);

3. en fixant *r* à des valeurs hors domaine (en dessous – 0, 0, 0, 2, 0, 4, et au dessus – 1, 6, 1, 8, 2, 0), ce qui montre (dans ce contexte au moins) l'incapacité de LenInit à généraliser son action pour des taux de compressions non-vus dans les données d'entraînement (Figures 3c, 3d).

Ce dernier point n'est pas intuitif, dans la mesure où LenInit encode la valeur absolue de la longueur visée, et non le taux de compression (Équation (3)). Une valeur de *r* en dehors de [0, 5; 1, 5] peut, selon la longueur de la phrase source, correspondre à une longueur cible (objectif) rencontrée lors de l'apprentissage. Cela laisse penser que le modèle de langue contenu dans le décodeur pourrait s'opposer et prévaloir face aux mécanismes de contrôle de longueur.

Le tableau 3 donne des mesures portant d'une part sur la précision du contrôle de longueur, et d'autre part sur la validité des phrases engendrées. Pour ce qui concerne la précision, LenInit2 et LenInit3 opèrent mieux que LenInit : les valeurs EAM et REQM montrent que les écarts aux valeurs de longueur visées sont moins grands dans l'ensemble, et les proportions d'instances proches des objectifs (EA=0, EA<5%, EA<10%) sont plus importantes. Il apparaît donc qu'un encodage par plongement permet plus de précision dans le contrôle de longueur qu'un encodage par la norme (qui en outre, comme précisé ci-dessus, ne garantit pas la fonctionnalité pour des valeurs hors domaine). Toutefois, l'encodage mixte de LenInit2 se montre plus efficace que le plongement pur de LenInit3, ce qui suggère que l'encodage continu apporte tout de même un bénéfice pour les valeurs peu fréquentes.

Nous observons également que LenInit réussit mieux à conserver la longueur (*r* = 1) qu'à compressor ou décompresser. Il est intéressant de noter que seulement 8,6% des phrases sont correctement recopiées par $LenInit_{r=1,0}$, quoique 25,1% des sorties soient de longueur exactes.
<table><caption>TABLE 2: Exemples de phrases transduites par LenInit (taux 0, 6, 1, 0 et 1, 4).</caption><tr><td>Source</td><td>comment tom va t il ?</td></tr><tr><td>LenInit<sub>r=0,6</sub></td><td>comnt m a il ?</td></tr><tr><td>LenInit<sub>r=1,0</sub></td><td>comment tom va ti l ?</td></tr><tr><td>LenInit<sub>r=1,4</sub></td><td>comment tomm va ti l ??</td></tr><tr><td>Source</td><td>tout le monde a bord !</td></tr><tr><td>LenInit<sub>r=0,6</sub></td><td>tout lmode bor !</td></tr><tr><td>LenInit<sub>r=1,0</sub></td><td>tout le moodne a boord !!</td></tr><tr><td>LenInit<sub>r=1,4</sub></td><td>tout le moondde aa boord !!</td></tr><tr><td>Source</td><td>la guerre c est l enfer .</td></tr><tr><td>LenInit<sub>r=0,6</sub></td><td>la gerre c est lenfre</td></tr><tr><td>LenInit<sub>r=1,0</sub></td><td>la gurrre r c est l enfre .</td></tr><tr><td>LenInit<sub>r=1,4</sub></td><td>la guurerre c eesst l enfefre ..</td></tr></table>

<figure><img src="image_38.png" /><figcaption>FIGURE 3: Histogrammes des taux de compression dans l'ensemble de développement, transduit par LenInit selon différentes modalités. Les distributions se recouvrent pour les essais hors domaine.</figcaption></figure>

<table><caption>TABLE 3: Mesures sur la précision du contrôle de longueur et sur la validité des phrases produites (Section 3.1). corr., S corr., S inco., S glob. indiquent respectivement la proportion de phrases correctes, et le score moyen attribué aux phrases correctes, incorrectes, et à l'ensemble des phrases. L'oracle est le transducteur fini pondéré qui a engendré le corpus.</caption><thead><tr><th>Modèle</th><th>EAM</th><th>REQM</th><th>EA=0</th><th>EA&lt;5%</th><th>EA&lt;10%</th><th>corr.</th><th>S corr.</th><th>S inco.</th><th>S glob.</th></tr></thead><tbody><tr><td colspan="10" style="text-align:center;">r ~ U(0, 5; 1, 5)</td></tr><tr><td>LenInit</td><td>8,4%</td><td>0,108</td><td>9,6%</td><td>35%</td><td>67%</td><td>16,4%</td><td>0,35</td><td>0,44</td><td>0,42</td></tr><tr><td>LenInit2</td><td>6,1%</td><td>0,086</td><td>18,5%</td><td>53%</td><td>82%</td><td>22,2%</td><td>0,39</td><td>0,47</td><td>0,45</td></tr><tr><td>LenInit3</td><td>7,7%</td><td>0,119</td><td>14,7%</td><td>45%</td><td>74%</td><td>19,8%</td><td>0,36</td><td>0,45</td><td>0,43</td></tr><tr><td>Oracle (T)</td><td>6,1%</td><td>0,080</td><td>17,0%</td><td>51%</td><td>80%</td><td>100%</td><td>0,37</td><td>-</td><td>0,37</td></tr><tr><td colspan="10" style="text-align:center;">r fixé</td></tr><tr><td>LenInit<sub>r=0,6</sub></td><td>8,6%</td><td>0,102</td><td>6,0%</td><td>29%</td><td>64%</td><td>15,5%</td><td>0,52</td><td>0,56</td><td>0,56</td></tr><tr><td>LenInit<sub>r=1,0</sub></td><td>4,7%</td><td>0,071</td><td>25,1%</td><td>62%</td><td>89%</td><td>8,6%</td><td>0</td><td>-</td><td>-</td></tr><tr><td>LenInit<sub>r=1,4</sub></td><td>9,9%</td><td>0,131</td><td>10,3%</td><td>31%</td><td>59%</td><td>6,1%</td><td>0,54</td><td>0,55</td><td>0,55</td></tr><tr><td>RNN<sub>r=0,6</sub></td><td>10,9%</td><td>0,195</td><td>7,30%</td><td>29%</td><td>58%</td><td>16,4%</td><td>0,38</td><td>0,47</td><td>0,45</td></tr></tbody></table>
Les scores de validité des phrases sont comparables, entre les variantes de LenInit et l'oracle (le transducteur utilisé pour générer le corpus).

À titre de comparaison nous avons aussi entraîné un encodeur-décodeur RNN classique sur un corpus comparable mais ne contenant que des phrases compressées pour $r = 0, 6$. Les scores de validité indiquent que le RNN a appris un modèle de langue adapté, et nous notons une précision un peu moins importante que celle de $LenInit_{r=0,6}$.

## 5.2 Prédiction de la longueur future

Nous avons testé notre classificateur sur l'ensemble de développement du corpus de prédiction de la longueur future (Section 3.2), qui contient $n = 2169$ états cachés échantillonnés. La figure 4a montre la distribution de la différence entre la longueur prédite par le modèle et la longueur de référence (récupérée expérimentalement lors de la création de l'ensemble de données). Cette distribution est approximativement centrée autour de 0 et nous avons calculé les valeurs EAM et REQM comme suit :

$$ \text{EAM} = \frac{1}{n} \sum_{i=1}^{n} |\hat{l}_i - l_i| = 3,08, \quad \text{REQM} = \sqrt{\frac{1}{n} \sum_{i=1}^{n} (\hat{l}_i - l_i)^2} = 4,94, \quad (9) $$

où $\hat{l}_i$ et $l_i$ sont respectivement la longueur prédite et la longueur de référence pour le i-ème échantillon.

Notons que ce résultat confirme l'existence dans un état caché du décodeur de données qui représentent spécifiquement la longueur à venir, et qui ne peuvent dériver directement d'un reliquat d'information relatif à la phrase d'entrée. En effet, puisque le modèle LenInit qui a engendré les états cachés avait reçu des objectifs choisis aléatoirement (uniformément dans [0, 5; 1, 5]), le classificateur ne devrait pas avoir pu établir de corrélation systématique entre la longueur d'entrée et la longueur de sortie.

La figure 4b montre l'évolution de la mesure REQM en fonction de la position de l'état caché dans la séquence de sortie. L'indicateur d'erreur est calculé selon :

$$ \text{REQM}(k) = \sqrt{\frac{1}{|I_k|} \sum_{i \in I_k} (\hat{l}_i - l_i)^2}, \quad (10) $$

où $I_k$ est l'ensemble d'indices qui décrit les instances de l'ensemble de développement qui ont été échantillonnées à la position $k$ dans leur phrase de sortie ; les deux séries sur la figure se distinguent en mesurant $k$ soit depuis le début de la phrase, soit avant sa fin. La tendance suggère que la précision de la prédiction augmente au fil du décodage.

Similairement, la figure 4c montre l'évolution au cours du décodage d'une mesure de type REQM, cette fois calculée par rapport à la longueur visée : dans l'équation (10), $l_i$ ne correspond plus à la longueur future de référence (celle obtenue en pratique), mais à la longueur future visée (celle qu'il faudrait produire pour atteindre l'objectif de compression donné par $r$). Les profils sont moins nets dans ce cas, mais nous constatons que l'erreur en fin de phrase est plus importante (ce qui découle logiquement de l'imprécision du contrôle exercé par LenInit), et que l'erreur en début de phrase est étonnamment haute, étant donné que la longueur visée est intégrée dans le premier état caché.

Ces observations peuvent être interprétées comme des signes que l'objectif de longueur plongé dans l'état initial coexiste durant le décodage avec un autre mécanisme de contrôle de la longueur, propre au décodeur, qui est influencé par les caractères progressivement engendrés.
<figure><img src="image_39.png" /></figure>

FIGURE 4: (a) Histogramme de la différence ($\hat{l}_i - l_i$), sur l'ensemble de développement. (b), (c) Évolution au cours du décodage de l'erreur de la longueur prédite par rapport à la longueur de référence et par rapport à la longueur visée. Les marqueurs carrés correspondent à l'erreur en fonction du nombre d'étapes avant la génération de fin-de-phrase. Les marqueurs ronds correspondent à l'erreur en fonction du nombre d'étapes après début-de-phrase.

<figure><img src="image_40.png" /></figure>

FIGURE 5: Évolution au cours du décodage de la probabilité attribuée par $LenInit_{r=0,8}$ aux caractères « . », « ! », « ? » et fin-de-phrase, pour trois phrases exemples.

## 5.3 Évolution de la probabilité des caractères de fin de phrase

Après avoir analysé l'information de longueur présente dans les états cachés, nous nous sommes penchés sur ce que le modèle de langue du décodeur en faisait. La figure 5 donne l'évolution de la probabilité attribuée par le modèle $LenInit$ (appliqué avec un taux de compression visé $r = 0,8$) aux caractères « . », « ! », « ? » et fin-de-phrase, pendant le décodage de phrases provenant de Tatoeba (présentes dans l'ensemble de développement du corpus de compression). Après examen d'un large éventail de tels graphes, il apparaît que la hausse qui provoque la génération de fin-de-phrase est généralement très abrupte, et qu'elle succède la plupart du temps à la génération d'une marque de ponctuation, qui elle même n'a pas eu lieu après une montée régulière ou étagée de probabilité. Ainsi, contrairement aux mesures de la Section 5.2, la probabilité des caractères de fin de phrase semble être un signal final à travers lequel il est difficile de suivre la progression du processus de contrôle de la longueur.
# 6 Travaux connexes

La simplification de phrase et la compression de phrase sont des domaines bien étudiés du traitement automatique des langues, qui ont bénéficié des avancées majeures apportées par la traduction automatique aux méthodes de transduction. Aux approches pionnières fondées sur les règles (Cohn & Lapata, 2008) ont succédé - dans la suite de Moses (Koehn et al., 2007) - des modèles statistiques comme ceux de Specia (2010); Wubben et al. (2012). Puis, grâce au cadre des réseaux neuronaux récurrents (Sutskever et al., 2014; Bahdanau et al., 2015), Rush et al. (2015) ont implémenté pour la tâche un système encodeur-décodeur avec attention. Enfin plus récemment, des travaux tels que ceux de Zhao et al. (2018); Takase & Okazaki (2019) ont adapté l'architecture Transformer.

Quoique souvent comparée à la traduction, la simplification de phrase peut également être décrite du point de vue du transfert de style, dans la mesure où elle vise à reformuler la même signification avec un tour moins complexe (et plus concis parfois). La littérature sur le transfert de style propose généralement de travailler avec des représentations dans un espace continu, et d'y séparer le contenu sémantique des dimensions stylistiques. Ainsi Hu et al. (2017) utilisent un auto-encodeur variationnel avec des représentations démêlées pour engendrer des phrases dont les attributs (parmi lesquels la longueur) sont contrôlés. La dissociation entre la représentation style et celle du fond sémantique est réalisée dans ce cas par apprentissage adverse. En comparaison, le modèle LenInit de Kikuchi et al. (2016) utilise un paramètre pour encoder la longueur voulue et le concatène à la représentation de la phrase initiale, sans employer de mécanisme pour assurer que celle-ci ne contienne pas d'information de longueur. Cela rejoint sur le principe certaines méthodes qui contrôlent la catégorie de la phrase produite en ajoutant un symbole spécifique à la fin de la phrase d'entrée (pour la formalité (Sennrich et al., 2016), ou le domaine pour (Kobus et al., 2017)).

Nous suivons dans cet article les études de sondage des représentations, qui ont détecté certaines informations de surfaces (longueur entre autres) dans les plongements de phrases (Adi et al., 2016; Conneau et al., 2018). Nos expériences sur la prédiction de longueur future et le suivi de probabilité au cours du décodage sont en partie similaires à celles de Shi et al. (2016) (dans le cadre de la compression de phrase toutefois).

# 7 Conclusion

Nous avons réimplémenté la méthode LenInit, et avons étudié son efficacité et ses mécanismes de régulation de longueur pour une tâche de compression/décompression sur un corpus artificiel. Il semble que deux influences s'opposent au cours du décodage : d'une part l'objectif explicite de longueur, et d'autre part la contrainte de produire une phrase grammaticalement correcte exercée par le modèle de langue du décodeur. Nous avons pu déceler ces influences dans l'information contenue dans les états cachés, mais sans encore comprendre exactement comment elles agissent. Si LenInit exerce bien un contrôle sur la longueur, celui-ci n'est pas étroit mais plutôt probabiliste (d'après des expériences où pourtant la consigne pourrait toujours être précisément respectée), et peut être influencé par le choix d'encodage. À l'avenir, il pourrait être intéressant de tester si la contrôlabilité dépend de certaines caractéristiques de la phrase d'entrée, ou si la distribution des types d'opérations choisis par le modèle change pendant le décodage.
Références

ADI Y., KERMANY E., BELINKOV Y., LAVI O. & GOLDBERG Y. (2016). Fine-grained analysis of sentence embeddings using auxiliary prediction tasks. *CoRR*, abs/1608.04207.

AZIZ W., DE SOUSA S. C. M. & SPECIA L. (2012). Cross-lingual sentence compression for subtitles. In *16th Annual Conference of the European Association for Machine Translation*, EAMT, p. 103–110, Trento, Italy.

BAHDANAU D., CHO K. & BENGIO Y. (2015). Neural machine translation by jointly learning to align and translate. In Y. BENGIO & Y. LECUN, Éds., *3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings*.

BENGIO Y., DUCHARME R., VINCENT P. & JANVIN C. (2003). A neural probabilistic language model. *J. Mach. Learn. Res.*, **3**, 1137–1155.

CHO K., VAN MERRIËNBOER B., GULCEHRE C., BAHDANAU D., BOUGARES F., SCHWENK H. & BENGIO Y. (2014). Learning phrase representations using RNN encoder–decoder for statistical machine translation. In *Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP)*, p. 1724–1734, Doha, Qatar : Association for Computational Linguistics. DOI: 10.3115/v1/D14-1179.

COHN T. & LAPATA M. (2008). Sentence compression beyond word deletion. In *Proceedings of the 22nd International Conference on Computational Linguistics*, (COLING 2008), p. 137–144, Manchester, UK : Coling 2008 Organizing Committee.

CONNEAU A., KRUSZEWSKI G., LAMPLE G., BARRAULT L. & BARONI M. (2018). What you can cram into a single $&!#* vector : Probing sentence embeddings for linguistic properties. In *Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 2126–2136 : Association for Computational Linguistics.

GORMAN K. (2016). Pynini : A Python library for weighted finite-state grammar compilation. In *Proceedings of the SIGFSM Workshop on Statistical NLP and Weighted Automata*, p. 75–80, Berlin, Germany : Association for Computational Linguistics. DOI: 10.18653/v1/W16-2409.

HOCHREITER S. & SCHMIDHUBER J. (1997). Long short-term memory. *Neural Computation*, 9*(8), 1735–1780. DOI: 10.1162/neco.1997.9.8.1735.

HORN C., MANDUCA C. & KAUCHAK D. (2014). Learning a lexical simplifier using Wikipedia. In *Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers)*, p. 458–463, Baltimore, Maryland : Association for Computational Linguistics. DOI: 10.3115/v1/P14-2075.

HU Z., YANG Z., LIANG X., SALAKHUTDINOV R. & XING E. P. (2017). Toward controlled generation of text. In *Proceedings of the 34th International Conference on Machine Learning - Volume 70*, ICML’17, p. 1587–1596 : JMLR.org.

KIKUCHI Y., NEUBIG G., SASANO R., TAKAMURA H. & OKUMURA M. (2016). Controlling output length in neural encoder-decoders. In *Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing*, p. 1328–1338 : Association for Computational Linguistics. DOI: 10.18653/v1/D16-1140.

KINGMA D. P. & BA J. (2015). Adam : A method for stochastic optimization. In Y. BENGIO & Y. LECUN, Éds., *3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings*.
KNIGHT K. & MARCU D. (2002). Summarization beyond sentence extraction: A probabilistic approach to sentence compression. *Artif. Intell.*, **139**(1), 91–107. DOI: 10.1016/S0004-3702(02)00222-9.

KOBUS C., CREGO J. & SENELLART J. (2017). Domain control for neural machine translation. In *Proceedings of the International Conference Recent Advances in Natural Language Processing, RANLP 2017*, p. 372–378, Varna, Bulgaria : INCOMA Ltd. DOI: 10.26615/978-954-452-049-6_049.

KOEHN P., HOANG H., BIRCH A., CALLISON-BURCH C., FEDERICO M., BERTOLDI N., COWAN B., SHEN W., MORAN C., ZENS R., DYER C., BOJAR O., CONSTANTIN A. & HERBST E. (2007). Moses: Open source toolkit for statistical machine translation. In *Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions*, p. 177–180, Prague, Czech Republic : Association for Computational Linguistics.

MALLINSON J., SENNRICH R. & LAPATA M. (2018). Sentence compression for arbitrary languages via multilingual pivoting. In *Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing*, p. 2453–2464 : Association for Computational Linguistics.

RUSH A. M., CHOPRA S. & WESTON J. (2015). A neural attention model for abstractive sentence summarization. In *Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing*, p. 379–389 : Association for Computational Linguistics. DOI: 10.18653/v1/D15-1044.

SENNRICH R., HADDOW B. & BIRCH A. (2016). Controlling politeness in neural machine translation via side constraints. In *Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies*, p. 35–40, San Diego, California : Association for Computational Linguistics. DOI: 10.18653/v1/N16-1005.

SHI X., KNIGHT K. & YURET D. (2016). Why neural translations are the right length. In *Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing*, p. 2278–2282, Austin, Texas : Association for Computational Linguistics. DOI: 10.18653/v1/D16-1248.

SPECIA L. (2010). Translating from complex to simplified sentences. *Lecture Notes in Computer Science*, **6001**, 30–39. DOI: 10.1007/978-3-642-12320-7_5.

SUTSKEVER I., VINYALS O. & LE Q. V. (2014). Sequence to sequence learning with neural networks. In Z. GHAHRAMANI, M. WELLING, C. CORTES, N. D. LAWRENCE & K. Q. WEINBERGER, Éds., *Advances in Neural Information Processing Systems* 27, p. 3104–3112. Curran Associates, Inc.

TAKASE S. & OKAZAKI N. (2019). Positional encoding to control output sequence length. *CoRR*, **abs/1904.07418**.

WUBBEN S., VAN DEN BOSCH A. & KRAHMER E. (2012). Sentence simplification by monolingual machine translation. In *Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics (Volume 1 : Long Papers)*, p. 1015–1024 : Association for Computational Linguistics.

ZHAO S., MENG R., HE D., SAPTONO A. & PARMANTO B. (2018). Integrating transformer and paraphrase rules for sentence simplification. In *Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing*, p. 3164–3173 : Association for Computational Linguistics.
# Exploitation de modèles distributionnels pour l'étude de la nomination dans un corpus d'interviews politiques

Manon Cassier¹, ²

(1) CY Cergy-Paris Université, AGORA, 33 Boulevard du port, 95011 Cergy, France

(2) Institut National des Langues et Civilisations Orientales, ERTIM, 2 Rue de Lille, 75007 Paris, France

manon.cassier@u-cergy.fr

## RÉSUMÉ

En analyse de discours (AD), la nomination désigne la recatégorisation du référent par le locuteur à travers l'usage d'un nouveau nom ou d'un nom modifié. Parfois utilisé pour influencer l'autre sur sa vision de voir le monde, ce phénomène sert d'indice sur l'idéologie du locuteur voire, en contexte adéquat, sur son affiliation politique. L'AD ne dispose pas à ce jour d'outils en mesure d'appréhender efficacement ce qui relève ou non de l'idéologie ou d'une visée argumentative face à une simple réutilisation de mots dont le sens est déjà consensuel. Dans le cadre d'une thèse entre AD et TAL, nous nous intéressons à l'exploitation de modèles distributionnels pour repérer de manière automatique ces variations de sens en discours dans un corpus d'interviews politiques. Dans cet article, nous nous interrogeons sur l'impact de leurs paramètres d'entraînement pour de la désambiguïsation lexicale et explorons une méthode de représentation de la variation sémantique interdiscursive.

## ABSTRACT

**Speaker-specific semantic variation representations using vector space models.**

The French Discourse Analysis (DA) concept of "Nomination" designates the cases of the speaker updating an entity's identity by using words in a particular way that involves its opinion. It sometimes constitutes a good way to gain access to the person's ideology and to predict its political stripe. Several tools are already used by discourse analysts, but they do not provide to properly represent the nomination semantic characteristics. In our work, we question word embeddings based models benefits to automatically detect these speaker-specific semantic changes. In this paper, we investigate the role of training features for a semantic oriented task and test some approaches to represent semantic variation.

**MOTS-CLÉS** : Nomination, analyse du discours (AD), désambiguïsation lexicale, modèles distributionnels.

**KEYWORDS:** Nomination, Political Discourse Analysis, Word Sense Induction (WSI), Word Sense Disambiguation (WSD), Word Embeddings Based Models.

# 1 Introduction

Le concept de nomination est étudié en analyse du discours (AD) comme la réassignation sémantique et référentielle en discours d'un mot, dans certains cas à des fins de valorisation idéologique et de persuasion de l'auditoire. Parfois considéré comme une pratique de l'argumentation, l'acte de nomination est réalisé dans des discussions autour de sujets propices à la controverse, dans des

<figure><img src="image_41.png" /></figure>
contextes socio-politiques qui portent au conflit, au sein desquels il sert à qualifier l'objet du désaccord (Koren, 2016). Le locuteur manipule alors le lexique de manière à négocier le sens du mot et imposer sa représentation du référent en influençant l'autre. Gauthier (2016) montre par exemple comment l'utilisation par le gouvernement canadien du mot « boycott plutôt que « grève » pour désigner la cessation d'activité des associations étudiantes contre la hausse des frais de scolarité sert une stratégie d'évitement du débat par une minimisation de l'impact de l'événement.

L'analyse de discours dispose déjà, à ce jour, de différents outils pour l'exploration de textes et la mesure des spécificités lexicales (i.e. le sur- ou sous-emploi d'une forme par un locuteur ou par un genre de discours particulier) (Tournier, 1981). Ces outils reposent tous sur des méthodes de calculs statistiques qui permettent par exemple d'accéder à la fréquence des cooccurents ou des segments répétés, mais qui ne permettent pas d'appréhender l'aspect sémantique indispensable pour l'étude de la nomination. En effet, s'il est possible d'observer des tendances à l'usage de certains mots choisis plutôt que d'autres (Marchand & Ratinaud (2012) montrent par exemple un sur-emploi des formes « écologique » et « équitable » dans le discours de Ségolène Royal lors des primaires socialistes de 2011), seule une analyse humaine permet à ce jour de discriminer les usages dits « neutres » de ceux qui relèveraient de la nomination (i.e. dont le sens serait spécifique à l'idéologie du locuteur).

Le projet ANR TALAD<fnref n="1" /> se donne pour objectif de fournir à l'AD de nouveaux outils, adaptés des tâches du TAL, qui permettront d'assister plus efficacement la recherche de phénomènes tels que la nomination sur de gros volumes de textes.

Il s'agirait par exemple d'aider à l'identification, dans les exemples suivants <fnref n="2" />, du candidat nomination « Europe ». Celui-ci est utilisé dans le premier cas pour référer à l'entité politique perçue comme bénéfique, mais réfère au contraire à une simple entité géographique dans le second pour contraster avec l'« Union européenne » qui endosse à sa place la référence à l'entité politique perçue comme négative.

**Exemple 1.** « Si la France veut continuer de se projeter dans le monde, elle doit avancer en **Europe**, rebâtir le projet européen avec détermination et là aussi ne rien céder à celles et ceux qui doutent. » (Discours d'Emmanuel Macron à Montpellier le 18/10/2016)

**Exemple 2.** « Donc l'Union européenne est une mauvaise chose, pas l'**Europe**. L'**Europe** c'est une entité, une réalité de civilisations, c'est une réalité géographique, historique. » (Interview de Marine Le Pen sur Europe1 le 01/05/2017)

Dans le cadre de notre thèse, nous nous focalisons en particulier sur l'exploration de méthodes distributionnelles pour mettre au jour les variations sémantiques inter-locuteurs au niveau du mot. En effet, de tels modèles ont déjà fait leurs preuves dans des travaux portés sur la sémantique des mots, notamment pour des tâches de désambiguïsation lexicale.

Néanmoins, notre problématique apporte un aspect qui, à notre connaissance, n'est pas encore abordé par la littérature existante, à savoir la mise au jour de sens nouveaux ou non consensuels (Pengam & Jackiewicz, 2019), et de variantes parfois si subtiles et peu fréquentes que même l'identification humaine en est rendue difficile. De même, notre objectif ne se résume pas à de la désambiguïsation lexicale, puisqu'il s'agit aussi de remarquer un déplacement du sens, parfois simplement d'un tour de parole à un autre (et donc au sein d'un même corpus). Enfin, notre intérêt final serait d'aboutir à une méthode qui puisse nous permettre de mesurer, sur le modèle des calculs de spécificités lexicales

<footnote n="1">1. https://anr.fr/Project-ANR-17-CE38-0012</footnote>

<footnote n="2">2. Exemples tirés du corpus *Reticular* présenté en section 3.1</footnote>
(Tournier, 1981), des spécificités sémantiques capables de caractériser chaque acteur en fonction du sens qu'il accorde à ses mots.

Nous commençons cet article par un état des lieux des outils déjà exploitables ou exploités en AD et présentons leurs lacunes pour des études focalisées sur la nomination en première partie de section 2. Nous présentons en seconde partie de cette même section un état de l'art des méthodes exploitées notamment pour la détection de la polysémie et la désambiguïsation lexicale desquelles nous nous inspirons pour notre travail. La section 3 détaille le dispositif expérimental employé dans cette étude, notamment les corpus et les méthodes de sélection des paramètres utilisés pour l'entraînement des modèles. La section 4 introduit une expérimentation centrée sur la prédiction d'un mot-pivot. Nous présentons ensuite la démarche que nous envisageons pour représenter la variation interdiscursive en section 5. La section 6 conclut et discute les choix méthodologiques et les poursuites envisagées.

# 2 État de l'art

## 2.1 Outiller l'analyse de discours

Les analystes du discours travaillent généralement autour de mots-pivots, sélectionnés car potentiellement vecteurs d'idéologie (Mazière, 2018). Ce type de méthode nécessite au préalable d'identifier le mot autour duquel il faudra construire un corpus qui réunira les contextes représentatifs du phénomène étudié. L'utilisation de logiciels de lexicométrie ou textométrie (e.g. Lexico, Iramuteq, Hyperbase, Alceste ou TXM pour ne citer que les plus utilisés en AD), en l'occurrence par le biais des concordanciers qu'ils proposent, peut faciliter la constitution de corpus, qui représente déjà en soi une étape assez chronophage du travail de l'analyste du discours. Néanmoins, l'utilisation de ces concordanciers seuls ne suffit pas pour repérer de nouvelles formes candidates susceptibles d'être concernées par la nomination lorsque le contexte nécessaire à leur reconnaissance est plus large que la fenêtre d'observation offerte par l'outil, ni lorsqu'il s'agit d'étudier des variantes lexicales pour une même nomination. Pengam & Jackiewicz (2019) montrent par exemple que la nomination autour de « musulman modéré » est susceptible d'entraîner des variantes telles que « islam modéré » ou « islamisme modéré » qu'il est nécessaire d'anticiper si elles n'apparaissent pas dans les mêmes contextes que la forme pivot pré-sélectionnée.

Aussi, le fait de travailler justement autour de formes pivots, généralement pré-sélectionnées pour leur caractère néologique (comme c'est le cas pour la collocation « musulman modéré ») et/ou polémique (comme c'est le cas pour « migrant » (Calabrese, 2018)) limite fortement l'étude de l'ensemble des nominations possibles et peut empêcher de détecter les cas les plus flagrants.

Ces logiciels, développés à l'origine pour des études en statistiques textuelles, offrent chacun des fonctionnalités qui s'avèrent utiles pour les études menées en analyse de discours (Longhi, 2017). Les calculs de cooccurrences et la recherche de segments répétés (Lebart & Salem, 1994) peuvent par exemple assister la détection de nouvelles collocations comme pour « musulman modéré », qui donnent un indice sur le changement de sens du mot tête (ici « musulman »). La classification de Reinert (Reinert, 1993) offre la possibilité de distinguer les différentes thématiques abordées par un corpus, qui peuvent par exemple aider à déterminer les cadres de la nomination (i.e. les thèmes les plus probables de susciter l'emploi de nominations). Le calcul de spécificités lexicales (Tournier, 1981) permet de déterminer, pour un corpus découpé en sous-parties (distinguées par exemple selon le genre textuel, l'année ou le locuteur), les formes en sur- ou en sous-emploi dans ces sous-parties (i.e. les formes qui en sont les plus ou les moins représentatives). Ce type de calcul offre la possibilité, dans le cadre de l'analyse du discours politique, de déterminer rapidement le vocabulaire qui est le
plus spécifique à chaque politicien. En revanche, puisque ces calculs ne fonctionnent que sur la base
de statistiques sur la fréquence des mots dans chaque corpus, sans prendre en compte le contexte
d'apparition des mots, il est compliqué d'en tirer des conclusions au niveau sémantique. Un tri manuel
des contextes une fois les spécificités lexicales identifiées est toujours indispensable.

Sans vouloir dispenser de cette étape nécessaire d'étude manuelle de contextes, ce travail se place dans l'objectif de proposer un outil plus complet pour assister l'analyse de discours (et plus spécifiquement l'analyse de la nomination) en intégrant l'aspect sémantique à l'extraction de contextes candidats. L'étude présentée dans ce papier consiste en l'exploration de méthodes distributionnelles pour le repérage automatique de candidats nominations, dont nous présentons un état de l'art dans la section suivante.

## 2.2 Les modèles distributionnels au service de la désambiguïsation lexicale

Les représentations vectorielles de mots se fondent sur l'hypothèse distributionnelle introduite
par Harris (1954) et Firth (1957) selon laquelle le sens d'un mot peut être déterminé grâce aux
contextes dans lesquels il apparaît, et que les mots qui apparaissent dans des contextes similaires
sont sémantiquement proches. Les pratiques de l'AD abordées dans la section précédente montrent
également l'importance de ces contextes pour les analystes du discours qui fondent leur travail sur
l'étude des cooccurrences et des segments répétés. Les différents modèles prédictifs qui ont pu voir le
jour au cours de la dernière décennie suscitent toujours un grand engouement pour leurs performances
sur de nombreuses tâches du TAL et leur capacité à fournir une représentation sémantique des mots
en les situant les uns par rapport aux autres dans un espace vectoriel dense.

Les outils comme Word2Vec (Mikolov et al., 2013) jouissent désormais d'une documentation suffis-
samment complète pour être éprouvés dans des études purement linguistiques, les mécanismes en jeu
dans l'apprentissage des représentations faisant régulièrement l'objet de travaux qui les ont rendus
beaucoup plus compréhensibles qu'à leurs débuts (e.g. Levy & Goldberg (2014); Levy et al. (2015);
Patel & Bhattacharyya (2017) sur l'influence des paramètres d'apprentissage; Pierrejean & Tanguy
(2018, 2019) sur la variabilité des représentations et l'instabilité des modèles). En outre, les modèles
prédictifs qu'ils proposent suscitent beaucoup d'intérêt pour la résolution de tâches focalisées sur des
aspects sémantiques telles que l'analogie (i.e. reconstitution de paires de concepts qui entretiennent le
même type de relation que les concepts d'une paire exemple, e.g. de type *Pays-Capitale* : Paris est
à la France ce que Madrid est à l'Espagne). Enfin, les travaux de Baroni et al. (2014) et Levy et al.
(2015) ont montré que ces modèles prédictifs, entraînés avec des paramètres adaptés à la tâche et
au corpus d'étude, peuvent obtenir de meilleurs résultats que les approches à base de comptes (e.g.
*Positive Pointwise Mutual Information* (PPMI), *Latent Semantic Analysis* (LSA)).

Néanmoins, ces modèles présentent le défaut de ne fournir qu'une seule représentation vectorielle
par forme ou par mot, en encodant tous les sens possibles de cette forme ou de ce mot en un vecteur
unique lorsqu'il serait préférable d'avoir un vecteur par contexte. Différentes méthodes ont déjà été
explorées pour transformer ces vecteurs uniques en vecteurs de sens, notamment dans le cadre de
travaux en induction de sens (*Word Sense Induction* ou WSI) et en désambiguïsation lexicale (*Word
Sense Disambiguation* ou WSD)(Ruas et al., 2019; Pelevina et al., 2017).

La plupart des systèmes de WSI et WSD se basent sur un inventaire de sens, qui liste les différents
sens possibles de chaque mot, pour calculer la probabilité d'un contexte de relever d'un des sens
répertoriés pour un mot. De nombreux travaux exploitent par exemple des bases de données comme
*WordNet* (Vial et al., 2017) ou *BabelNet* (Dongsuk et al., 2018) qui associent des groupes de mots
qui entretiennent des relations sémantiques (e.g. hypéronymie, méronymie) au sein de *synsets*. Les ressources de ce type sont généralement moins développées pour le français. En outre, dans le cas de la nomination, le sens du mot n'est pas forcément attesté dans un dictionnaire, ni partagé par l'ensemble de la communauté linguistique puisqu'il dépend de l'appréciation du locuteur du référent qu'il nomme. La ressource la plus exhaustive possible resterait donc inexploitable pour distinguer des variantes de sens ou des représentations du référent complètement nouvelles.

Pour contourner ce problème, Pelevina et al. (2017) proposent une méthode d'acquisition automatique d'inventaire de sens à partir de textes non annotés via la création d'ego-networks (i.e. identification de clusters de sens autour d'un mot pivot). Ces réseaux sont ensuite exploités pour calculer un vecteur de sens comme vecteur moyen des vecteurs de tous les mots appartenant au cluster. Les vecteurs de sens induits sont ensuite comparés aux vecteurs de contexte des mots à désambiguïser.

Nous notons, pour la suite de notre travail, que la plupart de ces approches sont évaluées sur des *benchmarks* pour des tâches précises comme la similarité ou l'analogie. Ces *benchmarks*, souvent constitués pour l'anglais, évaluent des relations sémantiques tirées du domaine général qui diffèrent beaucoup de celles que nous pouvons observer dans des corpus de spécialité comme les interviews politiques. Les particularités de notre tâche (i.e. évaluée sur du français, dans un corpus de spécialité, avec l'objectif supplémentaire de comparer les représentations interdiscursives) devront nous questionner sur l'adaptation de méthodes d'évaluation, sur le modèle par exemple de Bloem et al. (2019) qui proposent une mesure de cohérence des représentations apprises dans des corpus de spécialité.

Au regard de cet état de l'art, nous présentons dans cet article notre réflexion sur l'exploitabilité de modèles distributionnels pour représenter et détecter la variation sémantique interdiscursive au niveau du mot (plus précisément le nom) et leur évaluation sur un corpus d'interviews politiques françaises.

# 3 Dispositif expérimental

À ce stade de la thèse, nous avons choisi de concentrer nos expérimentations sur des modèles entraînés avec Word2Vec (Mikolov et al., 2013). Ce choix s'explique notamment par l'accès facilité à de la documentation claire, la possibilité d'entraîner soi-même ses modèles pour un coût relativement faible face à des modèles de réseaux de neurones très gourmands en GPU, mais aussi par la multiplication de travaux qui ont déjà prouvé un fonctionnement suffisant sur des corpus limités (Bloem et al., 2019). Nous envisageons, si les premiers résultats sont satisfaisants et que le temps nous le permet, de poursuivre nos explorations avec les modèles à base de réseaux de neurones plus élaborés qui font aujourd'hui état de l'art pour de nombreuses tâches du TAL (e.g. BERT, ELMo).

Comme nous l'expliquons dans la section 1, notre problématique nécessite de repérer à la fois les usages « inhabituels » de noms (i.e. dont le sens diffère de celui qui serait consensuel à l'ensemble des locuteurs de la langue et qui serait disponible dans une ressource dictionnairique ou inventaire de sens), mais aussi les variantes de sens d'un acteur politique à un autre.

Suivant ces deux contraintes, nos expérimentations sont basées sur deux corpus de genres différents. Le corpus *Reticular*, que nous présentons dans la sous-section suivante rassemble des interviews politiques et nous sert à construire les représentations subjectives à analyser (qui contiennent potentiellement des nominations). Pour comparer ces représentations à un usage plus « neutre », nous utilisons un corpus constitué des articles de la version française de Wikipédia de 2008³.

<footnote n="3">3. Corpus WikipediaFR2008 extrait par l'équipe CLLE-ERSS de l'Université de Toulouse Jean Jaurès, disponible à l'adresse suivante : http://redac.univ-tlse2.fr/corpus/wikipedia.html</footnote>
## 3.1 Le corpus *Reticular*

Pour notre étude, nous nous basons sur un corpus d'interviews transcrites à la main. Ce corpus couvre 3166 interviews de 561 personnalités publiques données pour des émissions de radio dans le contexte des élections présidentielles françaises de 2017. Le corpus couvre la période de juin 2016 à décembre 2017 et compte environ 11 millions de mots.

Chacune des interviews du corpus est accompagnée de métadonnées indiquant la date et l'heure de l'interview et le nom de l'interviewé. Une interview est découpée en tours de parole, avec une ligne par tour de parole, alternant les questions et réactions du journaliste et de l'interviewé. La répartition des interviews n'est pas homogène, les émissions de radio accueillant à la fois des politiciens et des personnes extérieures à la sphère politique susceptibles d'éclairer un débat (e.g. économistes, dirigeants d'entreprise, etc.). La majorité des interviews sont néanmoins partagées par des têtes de listes et leur directeur de campagne.

Bien qu'il s'agisse d'un corpus transcrit de l'oral, le corpus *Reticular* ne contient que le texte des interviews, sans marques d'hésitations. De même, la plupart des répétitions, habituelles dans les corpus oraux, n'ont pas été transcrites. Aussi, les marques de ponctuation n'ont été utilisées par les transcripteurs que pour découper le texte en phrases cohérentes. Nous devons donc préciser qu'il nous est impossible d'utiliser ces marques à des fins d'analyse sémantique.

Pour toutes les expérimentations présentées dans les sections suivantes, nous utilisons une version lemmatisée avec Treetagger (Schmid, 2013) du corpus (en conservant les formes en lieu et place des lemmes non reconnus) à laquelle nous retirons toutes les marques de ponctuations. Nous ne considérons donc pas les phrases, mais les tours de parole marqués dans le corpus par des sauts de ligne.

Les mêmes prétraitements sont appliqués au corpus *Wikipédia*, en plus du retrait des caractères spéciaux qui n'apparaissent pas dans le corpus des interviews. Aussi, pour limiter l'impact des balises, hyperliens et phrases typiques de l'encyclopédie en ligne (e.g. « Ceci est un article qui concerne... »), nous faisons un tri grossier en retirant les lignes de moins de 10 mots.

## 3.2 Méthode de sélection des paramètres d'entraînement

Dans un premier temps, comme pour répondre à toute tâche de TAL, notre travail nécessite de déterminer les paramètres d'entraînement de nos modèles qui auront l'impact le plus positif sur les représentations distributionnelles qui en découleront. Certains travaux ont investigué l'incidence du choix des paramètres d'entraînement sur la performance des modèles. Patel & Bhattacharyya (2017) montrent par exemple que les représentations sont plus fiables pour des tâches de similarité, d'analogie et de classification lorsque le nombre de dimensions dépasse un seuil qui dépend du nombre de noeuds du plus large cluster disponible dans un graphe de similarités construit à partir de la matrice de cooccurrences du corpus. En dessous de ce seuil, le modèle n'est pas capable d'encoder tous les liens entre les mots du corpus et donne donc de moins bons résultats. En revanche, la performance du modèle a tendance à se stabiliser pour un nombre de dimensions supérieur à ce seuil. Les travaux de Levy & Goldberg (2014) et Levy et al. (2015) démontrent de leur côté qu'une taille de fenêtre petite (i.e. pour laquelle on réduit le contexte à prendre en compte autour du mot lors de l'apprentissage du modèle) permet de mieux représenter les caractéristiques syntaxiques du mot (e.g. quelle catégorie grammaticale a le plus de chance de se retrouver directement en contact avec le mot cible) alors qu'un contexte plus grand est capable d'encoder les aspects plus sémantiques (e.g. quel synonyme a le plus
de chance de se retrouver à la place de ce mot) puisqu'il a accès aux cooccurents plus éloignés du mot.

Puisque l'étude de la nomination demande de s'intéresser essentiellement à la catégorie nominale, nous souhaitons en premier lieu éprouver cette remarque en vérifiant si la taille de fenêtre sélectionnée lors de l'entraînement de nos modèles impacte particulièrement la prédiction des noms et des entités nommées (Nouvel et al., 2015). Pour ce faire, nous exploitons simplement la fonction principale de l'architecture CBOW (que la littérature présentée dans la section 2 reconnaît comme la plus efficace pour des tâches de désambiguïsation lexicale), à savoir la prédiction d'un mot à partir d'un contexte.

À partir du corpus lemmatisé de Wikipédia, dans lequel nous ajoutons à chaque mot l'étiquette de sa catégorie grammaticale récupérée avec Treetagger, nous entraînons deux modèles avec les paramètres par défaut de Word2Vec (i.e. 100 dimensions avec un *negative sampling* et 5 itérations sur le corpus) en ne faisant varier que la taille de fenêtre (i.e. la taille du contexte considéré), fixée à 5 pour le premier modèle et à 15 pour le second. Nous fixons la fréquence minimale des mots à prendre en compte dans le calcul à 10 pour limiter l'impact des mots rares, susceptibles d'être répétés plusieurs fois dans les articles de Wikipédia.

Nous évaluons ensuite la capacité des deux modèles à prédire chaque catégorie grammaticale en fonction du contexte qui leur est fourni dans un système de texte à trou. Pour des raisons de temps de traitement, cette évaluation est menée sur un échantillon de 150 interviews du corpus *Reticular* (soit environ 5% du corpus total) sélectionnées de manière aléatoire pour une taille d'environ 450 000 mots. Nous ajoutons également son étiquette grammaticale à chaque mot.

Le modèle propose une liste triée par ordre de probabilités de prédictions du mot caché (qui occupe la position centrale du contexte). Par exemple, pour l'énoncé ci-dessous dans lequel le mot « référendum»<fnref n="4" /> est masqué, le modèle entraîné avec une fenêtre de 5 considère le contexte restreint qui suit :

*Énoncé* : « Est-ce que le camp du maintien au sein de l'Union européenne n'est pas en train depuis déjà maintenant des semaines de reproduire les erreurs de 2005 lors du **référendum** constitutionnel, c'est-à-dire au fond en agitant la peur le catastrophisme en permanence ? »

*Contexte considéré* : ['lorsADV', 'du_PRP', 'constitutionnel_ADJ', 'c'est-à-direADV']

Avec l'architecture CBOW, le modèle récupère le vecteur du contexte donné (calculé comme le vecteur moyen de tous les mots du contexte) et donne une liste de prédictions de la taille du vocabulaire pour le mot manquant (dont nous restreignons l'affichage aux 5 premières propositions par souci de lisibilité des résultats), triée par ordre de probabilité (i.e. par ordre de similarité la plus élevée entre le vecteur du contexte et le vecteur de la prédiction).

## 3.3 Évaluation quantitative et qualitative des prédictions

Pour évaluer les prédictions de notre modèle, nous mesurons la moyenne et l'écart-type des distances (notées entre 0 et 1) entre le vecteur des mots cachés et ceux des prédictions faites par le modèle. Les résultats les plus proches de 0 correspondent donc aux cas où le mot à prédire se trouve parmi les 5 premières propositions du modèle.

Le tableau 1 donne les résultats de la prédiction pour chaque modèle avec une distance moyenne par catégorie grammaticale. La deuxième colonne précise la fréquence de chaque catégorie dans le

<footnote n="4">4. Dans tout l'article, nous utilisons le **gras** pour marquer les mots à prédire dans les énoncés.</footnote>
corpus d'évaluation. La dernière colonne donne l'écart des moyennes des deux modèles. Les résultats sont affichés sur la base de la troisième colonne, par ordre de distance pour le modèle avec une taille de fenêtre fixée à 5.

<table><caption>TABLE 1 – Distance moyenne des prédictions par catégorie grammaticale</caption><thead><tr><th rowspan="2">Prédictions</th><th rowspan="2">Fréquence<br>(en milliers)</th><th colspan="2">Fenêtre de 5</th><th colspan="2">Fenêtre de 15</th><th rowspan="2">Variation<br>(en %)</th></tr><tr><th>Distance</th><th>Écart-type</th><th>Distance</th><th>Écart-type</th></tr></thead><tbody><tr><td>ADV</td><td>41</td><td>0.3</td><td>0.11</td><td>0.31</td><td>0.17</td><td>3.4 %</td></tr><tr><td>PRO</td><td>81</td><td>0.32</td><td>0.08</td><td>0.35</td><td>0.12</td><td><strong>9.4 %</strong></td></tr><tr><td>KON</td><td>26</td><td>0.33</td><td>0.08</td><td>0.35</td><td>0.13</td><td>4.5 %</td></tr><tr><td>DET</td><td>42</td><td>0.35</td><td>0.06</td><td>0.35</td><td>0.07</td><td><strong>1.4 %</strong></td></tr><tr><td>VER</td><td>83</td><td>0.35</td><td>0.07</td><td>0.37</td><td>0.08</td><td>4.3 %</td></tr><tr><td>PRP</td><td>56</td><td>0.36</td><td>0.05</td><td>0.38</td><td>0.07</td><td>4.2 %</td></tr><tr><td>NOM</td><td>68</td><td>0.36</td><td>0.08</td><td>0.39</td><td>0.09</td><td>8.3 %</td></tr><tr><td>ADJ</td><td>21</td><td>0.37</td><td>0.07</td><td>0.4</td><td>0.08</td><td><strong>9.6 %</strong></td></tr><tr><td>NUM</td><td>5</td><td>0.4</td><td>0.09</td><td>0.46</td><td>0.08</td><td><strong>12.3 %</strong></td></tr><tr><td>NAM</td><td>20</td><td>0.42</td><td>0.09</td><td>0.45</td><td>0.09</td><td>7.2 %</td></tr></tbody></table>

Au premier abord, nous remarquons que les distances moyennes sont toutes, sans exception, plus élevées pour le modèle entraîné avec une taille de fenêtre plus grande et que l'écart-type reste sensiblement le même pour les deux modèles, ce qui laisse entendre que toutes les prédictions de chaque catégorie sont affectées de la même manière par l'augmentation de la taille de la fenêtre.

Concernant la variation des distances moyennes en passant d'un modèle à l'autre, nous remarquons que les prédictions des pronoms, des numéraux, des adjectifs et des noms sont celles qui varient le plus. Ces résultats sont difficilement compréhensibles sans jeter un oeil au comportement des prédictions. Une analyse manuelle des prédictions faites par les deux modèles nous permet de faire les observations suivantes :

1. Concernant la prédiction des numéraux (NUM) :

— Le modèle entraîné avec une taille de fenêtre plus petite est obligé d'accorder plus de poids aux quelques mots du contexte dont il dispose pour calculer le vecteur le plus proche. Il en résulte que pour la prédiction des numéraux, même s'il ne propose pas forcément le chiffre exact à prédire, il est plus simple pour lui de prédire les suites de chiffres (i.e. le modèle propose des chiffres lorsqu'il y en a déjà dans le contexte, e.g. « 000 » dans « déjà 300 000 morts »), les dates (e.g. « 11 » dans « attentats du 11 septembre 2001 »), les siècles (e.g. « datent du XIXème siècle ») ou les noms de Républiques (e.g. « de la Ve République »). En revanche, le contexte lui pose problème lorsqu'il contient des mots polysémiques (e.g. pour le contexte « à peine 10 jours après », le modèle propose des mots comme « emprisonnement », « incarcération » et « perpétuité » à la place du nombre « 10 »).

— À l'inverse, il est naturellement plus difficile pour le modèle entraîné avec une taille de fenêtre plus grande de prédire les chiffres qui sont souvent utilisés comme des déterminants et nécessitent d'avoir une vision très locale du contexte pour les prédire. La représentation du contexte en sacs de mots empêche toute prédiction lorsque le contexte
contient plus de catégories nominales et verbales. Ainsi, même soumis à évaluation humaine, il est difficile de dire qu'il manque un adjectif numéral dans un exemple comme « il arrive quand même systématiquement en **5ème** position » si on considère les mots indépendamment de leur ordre dans la phrase.

2. Concernant la prédiction des pronoms (PRO) :

— De la même manière, une fenêtre réduite semble permettre au modèle de reconnaître plus facilement les pronoms personnels et impersonnels (ex. « **il** faut que ») pour lesquels le contexte contient généralement le verbe qu'ils accompagnent, mais l'empêche de prédire les pronoms lorsque le contexte contient les entités nommées auxquelles ils réfèrent. Le modèle montre alors une tendance à proposer plutôt les associations les plus probables pour cette entité (e.g. pour le contexte ['Patrick_NAM', 'Buisson_NAM', 'être_VER', 'quelqu'un_PRO'], le modèle ne propose que des noms de personnes, probablement souvent associées à l'entité nommée « Patrick Buisson » dans le corpus *Wikipédia* au lieu du pronom attendu « **ce** » pour « Patrick Buisson **c**'est quelqu'un de...»).

— la taille de fenêtre plus grande semble au contraire permettre au modèle entraîné avec une fenêtre de 15 de prédire des mots qui ont un sens proche de celui à prédire, indépendamment de la catégorie grammaticale. Par exemple, pour une phrase « Je n'ai **aucune** espèce d'hésitation », le modèle ne propose que des mots du champ lexical de l'absence (i.e. « pasADV », « guèreADV », « rienADV », « aucun_PRO » et « jamaisADV »).

Nous notons que les catégories des noms communs (NOM), adjectifs (ADJ) et noms propres (NAM) présentent les distances moyennes les plus élevées. Ces résultats peuvent s'expliquer en partie par le fait qu'il s'agit de catégories productives et en liste ouverte, qui présentent parfois des formes très peu fréquentes dans le corpus d'entraînement. Puisque nous entraînons notre modèle sur un corpus très différent de notre corpus d'évaluation, nous pouvons également nous questionner sur l'impact des représentations apprises sur la prédicibilité des noms. En effet, il est peu probable que les catégories qui relèvent plutôt de la syntaxe (comme les conjonctions ou déterminants) présentent un usage très différent d'un corpus à l'autre. En revanche, les catégories ouvertes comme les noms et adjectifs ont plus de probabilité de voir leur sens modifié en passant d'un corpus encyclopédique à un corpus politique plus subjectif, rendant leur prédiction exacte plus compliquée.

En observant les étiquettes grammaticales des mots prédits par les modèles, nous pouvons observer néanmoins qu'elles sont également les catégories les plus faciles à reconnaître. Le tableau 2 donne le ratio moyen, par catégorie grammaticale, de prédictions d'étiquette grammaticale identiques à celle du mot à prédire parmi les 5 premières prédictions données par chaque modèle.

En effet, les résultats pour les noms communs et propres, les verbes, les adverbes et les adjectifs sont les plus élevés, ce qui signifie qu'il est plus facile pour les modèles de prédire si le mot manquant est un nom plutôt qu'un déterminant. Là encore, la variation quand on passe d'un modèle à l'autre est intéressante, puisque le modèle entraîné avec une plus grande fenêtre montre une tendance plus élevée à donner des prédictions d'étiquettes différentes du mot à prédire, particulièrement lorsqu'il s'agit de noms.

En réalité, en observant les données, nous pouvons nous rendre compte que le modèle, au lieu de ne proposer que des noms qui lui paraissent proches des mots qui apparaissent dans le contexte étudié, propose également les verbes et adjectifs dont le sens est proche du mot à prédire. Par exemple,
<table><caption>TABLE 2 – Ratio moyen de prédiction des catégories grammaticales</caption><thead><tr><td>Prédictions</td><td>Fenêtre de 5 (en %)</td><td>Fenêtre de 15 (en %)</td></tr></thead><tbody><tr><td>NOM</td><td>48</td><td>35</td></tr><tr><td>VER</td><td>41</td><td>40</td></tr><tr><td>ADV</td><td>32</td><td>27</td></tr><tr><td>NAM</td><td>23</td><td>12</td></tr><tr><td>PRO</td><td>18</td><td>18</td></tr><tr><td>ADJ</td><td>17</td><td>9</td></tr><tr><td>NUM</td><td>14</td><td>4</td></tr><tr><td>KON</td><td>6</td><td>7</td></tr><tr><td>PRP</td><td>3</td><td>1</td></tr><tr><td>DET</td><td>0</td><td>0</td></tr></tbody></table>

pour une phrase « il n'est pas en situation d'être candidat à l'élection présidentielle », le modèle va prédire des mots comme « présidentiel_ADJ » et « réélire_VER » en plus de « élection_NOM ». Ce phénomène est encore une fois dû à la prise en compte du contexte comme un sac de mots, qui est corrigé lorsque la fenêtre prise en compte est plus petite puisque le modèle fait un focus sur les coocccurrents directs du mots (ici l'article défini « le » et l'adjectif « présidentielle »). Néanmoins, dans certains contextes où les éléments nécessaires à la prédiction du mot sont plus éloignés dudit mot, cette vision plus élargie du contexte peut s'avérer utile. C'est le cas par exemple pour l'étude de la phrase « À l'origine, certaines personnalités chez vous militaient pour une large primaire à gauche qui engloberait tout le monde, des socialistes jusqu'à Jean-Luc Mélenchon. » pour laquelle le modèle donne des prédictions comme « gauche », « écologiste », « communiste » et « socialiste ».

De manière générale, il semble effectivement que réduire la taille du contexte pour l'apprentissage permet de mieux intégrer la syntaxe dans les prédictions du modèle, mais une taille de contexte plus grande est parfois nécessaire lorsque les éléments indispensables à la compréhension de l'extrait se trouvent plus loin ou que les éléments du contexte sont trop ambigus.

Si les objectifs du modèle sont de détecter la nomination, il est peu probable que tous les éléments nécessaires à la compréhension du nom soient disponibles dans le contexte restreint autour du mot-cible. Cette expérience nous conforte donc dans l'idée qu'un contexte plus large est préférable pour l'apprentissage de nos modèles.

En renouvelant l'expérience, cette fois avec un modèle entraîné avec une taille de fenêtre de 10, nous nous apercevons que les distances moyennes et écarts-types varient très peu par rapport à ceux mentionnés dans le tableau 1 (i.e. seulement 0.01 ou 0.02 points d'écart, toutes catégories confondues avec le modèle entraîné avec un contexte fixé à 15). Comme pour l'expérience menée par (Patel & Bhattacharyya, 2017), il semble donc qu'il existe un seuil de fenêtre à partir duquel les résultats ne varient plus. Cette observation nous pousse à fixer notre taille de contexte à 10 pour nos prochaines expérimentations.

## 4 Prédiction de mot-pivot

En utilisant le même principe que dans notre expérience sur les catégories grammaticales présentée dans les deux sections précédentes, nous souhaitons observer le comportement de notre modèle pour
la prédiction d'un mot pivot selon la méthode habituelle de l'analyse du discours. Nous supposons que si le modèle propose dans sa liste de prédicitions des mots très éloignés du mot à prédire, ce résultat implique que le mot en question est employé de manière inhabituelle (i.e. apparaît dans un contexte peu probable) et peut relever de la nomination.

Pour cette étude, nous réunissons un sous-corpus autour du mot-pivot « Europe », déjà identifié par d'autres travaux (Gauthier, 2016) comme candidat nomination et très fréquent dans notre corpus d'interviews. Nous extrayons grâce au concordancier de l'outil TXM (Heiden et al., 2010) 5855 contextes contenant la forme « Europe ».

Pour les raisons citées en fin de section précédente, nous travaillons cette fois avec un modèle entraîné avec une taille de fenêtre de 10. L'analyse manuelle des résultats nous permet déjà d'identifier plusieurs sens pour le mot « Europe », à savoir :

- un **territoire** : le modèle parvient à identifier les usages du mot au sens de lieu lorsque des mots qui s'en rapprochent ou qui indiquent une position font partie du contexte (e.g. « Monde », « France », « dans », « en »).

- une **puissance économique** : on retrouve pour plusieurs contextes des prédicitions du champ lexical de la puissance économique (e.g. « empire », « compétitivité », « prospérité », « capitalisme », « mondialisation », « libéralisation »). Des prédicitions comme « utopie » ou « idéologie » permettent déjà de mettre en lumière cette vision colorée de l'entité dans un contexte comme « l'avenir progressiste de l'Europe et du monde ».

- un **peuple** : on trouve dans certains cas comme « l'humanité, notre pays, l'Europe, le monde » ou « l'Europe immobile, l'Europe du sceptique » des prédicitions comme « civilisation » ou « civiliser » qui présentent l'Europe comme une entité dotée de vie et d'intelligence.

- une **victime** ou un **bourreau** : d'autres exemples permettent de déceler l'inquiétude du locuteur pour ou sur l'entité, par exemple dans « l'Europe cause de tout le mal », contexte pour lequel le modèle propose des mots comme « esclavage », « humiliation », « trahison » et « injustice », ou au contraire dans l'exemple « c'est une menace pour l'Europe » pour lequel il propose des mots comme « victime », « trahison » ou encore « esclave ».

Néanmoins, ces résultats restent difficiles à exploiter puisque la majorité des prédicitions comprennent des résultats très éparses, souvent très éloignés sans que l'on puisse déterminer s'ils sont la conséquence d'une nouvelle utilisation du mot ou d'une mauvaise représentativité des données dans le corpus d'entraînement.

# 5 Discrimination de sens

Dans une seconde approche, nous envisageons de confronter directement des modèles appris sur différents corpus (chacun représentatif d'un locuteur différent) pour mesurer la variation sémantique interdiscursive (i.e. les changements de sens appliqués à chaque mot en fonction du locuteur).

Nous souhaitons pour cela comparer un modèle appris sur le corpus *Wikipédia* avec différents modèles appris sur des concatenations du corpus *Wikipédia* et les sous-corpus contenant à chaque fois les interviews d'un seul candidat. En suivant la méthode utilisée par Pierrejean & Tanguy (2018), nous comptons ainsi faire une comparaison par binômes de modèles en observant la variation des voisins distributionnels les plus proches (*Nearest Neighbors*) de chaque mot (i.e les mots dont le score de
similarité cosinus est le plus élevé par rapport au mot cible). Après avoir identifié le vocabulaire commun à chaque paire de corpus (i.e. en retirant de l'étude tous les mots du corpus *Wikipédia* qui n'apparaissent pas dans les interviews), nous utiliserons la distance de Jaccard pour mesurer le taux de variation entre chaque modèle.

Nous souhaitons également utiliser ces représentations pour regrouper des clusters de sens sur le modèle de Pelevina *et al.* (2017) pour tenter d'identifier de nouveaux aspects sémantiques, mais également rapprocher les usages de mots identiques d'un locuteur à l'autre.

Grâce à cette étude, nous souhaitons mettre au jour les représentations qui évoluent d'un modèle à l'autre, pour identifier les usages qui relèveraient soit d'un usage spécifique au locuteur, soit d'un usage spécifique au genre de l'interview politique.

Cette étude devra néanmoins prendre en compte l'instabilité inhérente aux méthodes d'apprentissage des modèles (Pierrejean & Tanguy, 2019) dans l'évaluation des représentations de variations sémantiques inter-locuteur pour discriminer les variations dues à l'entraînement des modèles des variations effectivement dues à des usages différents.

# 6 Conclusion et perspectives

Dans l'objectif de fournir une méthode capable de rendre compte de la variation sémantique de la nomination, qui viendrait compléter les fonctionnalités des outils déjà utilisés par l'analyse du discours, cet article propose une exploration de méthodes distributionnelles pour repérer de manière automatique des candidats nominations.

Notre problématique, qui nécessite de détecter les usages particuliers des noms (i.e. dont le sens s'écarte de l'habituel), se heurte à la représentation vectorielle unique de chaque forme calculée par les modèles prédictifs. Pour répondre à cette question, cet article propose un état de l'art des méthodes distributionnelles appliquées à la désambiguïsation lexicale et la représentation de la variété sémantique sous forme de vecteurs de sens duquel nous nous inspirons pour nos propres travaux.

Nos expérimentations, menées sur un corpus de transcriptions d'interviews politiques enregistrées dans des émissions de radio, questionnent la capacité de modèles prédictifs à représenter la variation sémantique d'un discours à l'autre. Une première expérience, menée sur la prédictibilité des catégories grammaticales, nous permet d'évaluer l'impact du contexte pris en compte dans l'entraînement des modèles sur la représentation des mots porteurs de sens. Sur le modèle de travaux en analyse de discours, nous utilisons le modèle qui résulte de cette expérimentation pour observer son utilisabilité pour la prédiction de nouveaux usages d'un mot-pivot. Les résultats, bien qu'encourageants, restent difficiles à exploiter en l'état et ne permettent pas de discerner facilement les résultats effectivement dus à un usage inhabituel ou à une lacune du modèle appris. Enfin, en nous inspirant d'approches concentrées sur l'étude des voisins distributionnels, notre article amorçe une réflexion sur une méthode de détection de la variation sémantique interdiscursive basée sur une comparaison par binômes de modèles représentatifs respectivement d'un usage encyclopédique vs. en discours du lexique.

Nous espérons, à terme, que nos travaux nous permettrons de définir des critères de sélection automatique de candidats nominations à intégrer à des outils déjà existants pour l'analyse de discours.

Pour des raisons pratiques, nous avons décidé de ne pas nous pencher plus sur l'aspect diachronique de l'étude de la nomination, qui est normalement repérable en premier lieu sur le même modèle que la dénomination de Kleiber (1984), par son acte de baptême (Siblot, 2001) (i.e. lorsque le locuteur décide de nommer par tel nom précis l'entité de son choix). Ce phénomène n'étant repérable qu'à
l'introduction de la nomination, nous pouvons douter de la représentativité de notre corpus sur cet aspect, et nous cantonner pour le moment à une approche synchronique nous paraît plus sage. Néanmoins, nous ne tirons pas de trait définitif sur la perspective d'étendre ultérieurement l'approche à d'autres corpus pour inclure cette particularité à notre travail.

Aussi, nous n'abordons pas dans ce papier la question de modèles plus performants largement exploités dans le domaine du TAL, tels que BERT (Devlin et al., 2018) et ELMo (Peters et al., 2018). Nous avons choisi de débuter nos travaux avec des modèles dont la documentation nous paraît plus accessible et l'entraînement moins coûteux pour éprouver nos méthodes, mais une expérimentation de modèles neuronaux profonds est prévue dans la poursuite de notre étude.

Références

BARONI M., DINU G. & KRUSZEWSKI G. (2014). Don't count, predict! a systematic comparison of context-counting vs. context-predicting semantic vectors. In *Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics*, p. 238–247 : Association for Computational Linguistics. DOI : 10.3115/v1/P14-1023.

BLOEM J., FOKKENS A. & HERBELOT A. (2019). Evaluating the consistency of word embeddings from small data. *Proceedings of the International Conference Recent Advances in Natural Language Processing (RANLP)*.

CALABRESE L. (2018). Faut-il dire migrant ou réfugié ? débat lexico-sémantique autour d'un problème public. *Langages*, **210**, p.105–124. DOI : 10.3917/lang.210.0105.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2018). Bert : Pre-training of deep bidirectional transformers for language understanding. *arXiv preprint arXiv :1810.04805*.

DONGSUK O., SUNJAE K., KYUNGSUN K. & YOUNGJOONG K. (2018). Word sense disambiguation based on word similarity calculation using word vector representation from a knowledge-based graph. In *Proceedings of the 27th International Conference on Computational Linguistics : Association for Computational Linguistics*.

FIRTH J. (1957). *A synopsis of linguistic theory*. Blackwell, Oxford.

GAUTHIER G. (2016). Le « printemps érable » au québec : « grève » ou « boycott » ? les enjeux stratégiques d'un conflit de nomination. *Argumentation et Analyse du Discours (AAD)*, **17**. DOI : 10.4000/aad.2248.

HARRIS Z. (1954). Distributional structure. *Word*, **10**, 146–162.

HEIDEN S., MAGUÉ J.-P. & PINCEMIN B. (2010). Txm : Une plateforme logicielle open-source pour la textométrie – conception et développement. In *Proc. of 10th International Conference on the Statistical Analysis of Textual Data - JADT 2010 (Volume 2)*, p. p.1021–1032, Roma, Italy.

KLEIBER G. (1984). « dénomination et relations dénominatives ». *Langages*, **76**, p.77–94. DOI : 10.3406/lgge.1984.1496.

KOREN R. (2016). La nomination et ses enjeux socio-politiques : Introduction. *Argumentation et Analyse du Discours (AAD)*, **17**. DOI : 10.4000/aad.2295.

LEBART L. & SALEM A. (1994). *Statistique textuelle*. Dunod.

LEVY O. & GOLDBERG Y. (2014). Dependency-based word embeddings. In *Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics*, p. 302–308 : Association for Computational Linguistics. DOI : 10.3115/v1/P14-2050.
LEVY O., GOLDBERG Y. & DAGAN I. (2015). Improving distributional similarity with lessons learned from word embeddings. In *Transactions of the Association of Computational Linguistics, Volume 3*, p. 211–225 : Association for Computational Linguistics. DOI: 10.1162/tacl_a_00134.

LONGHI J. (2017). Humanités, numérique : des corpus au sens, du sens aux corpus. *Questions de communication*, **31**, p.7–17.

MARCHAND P. & RATINAUD P. (2012). L'analyse de similitude appliquée aux corpus textuels : les primaires socialistes pour l'élection présidentielle française (septembre-octobre 2011). In *Actes des 11eme Journées internationales d'Analyse statistique des Données Textuelles. JADT*, p. 687–699.

MAZIÈRE F., Éd. (2018). *L'analyse du discours : Histoire et pratiques*. "Que sais-je ?". Presses Universitaires de France.

MIKOLOV T., CHEN K., CORRADO G. & DEAN J. (2013). Efficient estimation of word representations in vector space. *arXiv preprint*, arXiv : abs/1301.3781.

NOUVEL D., EHRMANN M. & ROSSET S. (2015). *Les entités nommées pour le traitement automatique des langues*. ISTE Group.

PATEL K. & BHATTACHARYYA P. (2017). Towards lower bounds on number of dimensions for word embeddings. In *Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 2 : Short Papers)*.

PELEVINA M., AREFYEV N., BIEMANN C. & PANCHENKO A. (2017). Making sense of word embeddings. *arXiv preprint*, arXiv : abs/1708.03390v1.

PENGAM M. & JACKIEWICZ A. (2019). Sens et emplois de l'expression « musulmans modérés » dans les discours médiatiques. *Open Library of Humanities*, **5**, p.45. DOI: 10.16995/olh.431.

PETERS M. E., NEUMANN M., IYYER M., GARDNER M., CLARK C., LEE K. & ZETTLEMOYER L. (2018). Deep contextualized word representations. *arXiv preprint arXiv : 1802.05365v2*.

PIERREJEAN B. & TANGUY L. (2018). Towards qualitative word embeddings evaluation : Measuring neighbors variation. In *Conference of the North American Chapter of the Association for Computational Linguistics : Student Research Workshop*, p. 32–39, New-Orleans, United States.
HAL : hal-01806468.

PIERREJEAN B. & TANGUY L. (2019). Investigating the stability of concrete nouns in word embeddings. In *13th International Conference on Computational Semantics*, p. 32–39, Gothenburg, Sweden. HAL : hal-02073705.

REINERT M. (1993). Les "mondes lexicaux" et leur "logique" à travers l'analyse statistique d'un corpus de récits de cauchemars. *Langage et société*, **66**, p.5–39.

RUAS T., GROSKY W. & AIZAWA A. (2019). Multi-sense embeddings through a word sense disambiguation process. *Expert Systems with Applications*, **136**, 288–303. DOI : 10.1016/j.eswa.2019.06.026.

SCHMID H. (2013). Probabilistic part-of-speech tagging using decision trees. *New methods in language processing*, p. 154.

SIBLOT P. (2001). De la dénomination à la nomination. *Cahiers de praxématique*, **36**, p.189–214.
DOI : 10.3406/lgge.1997.2124.

TOURNIER M. (1981). Spécificité politique et spécificité lexicale. *Mots. Les langages du politique*, **2**, 5–10.

VIAL L., LECOUTEUX B. & SCHWAB D. (2017). Sense embeddings in knowledge-based word sense disambiguation. In *12th International Conference on Computational Semantics*. HAL : hal-01599685.
# L'adaptabilité comme compétence pour les systèmes de dialogue orientés tâche

## Oralie Cattan

Université Paris-Saclay, LIMSI, Campus Universitaire bâtiment 507, Rue du Belvédère, 91400 Orsay, France

prénom.nom@limsi.fr

Qwant Research, 7 Rue Spontini, 75116, France

initiale.nom@qwant.com

## RÉSUMÉ

Étendre les capacités d'adaptabilité des systèmes à toujours plus de nouveaux domaines sans données de référence constitue une pierre d'achoppement de taille. Prendre en charge plus de contenus serviciels constitue un moyen de diversifier l'éventail des capacités de compréhension des systèmes de dialogue et apporterait un véritable intérêt pour les utilisateurs par la richesse des échanges qu'elle rendrait possibles. Pour favoriser les progrès dans ce sens, la huitième édition du défi Dialog State Tracking Challenge introduit des pistes exploratoires permettant d'évaluer les capacités de généralisation et d'habileté des systèmes à composer à la fois avec la nouveauté et avec plusieurs domaines de tâches complexes. L'objectif de cet article est de rendre compte des recherches du domaine et contribue à donner des éléments de réponse de manière à mieux comprendre les limites des systèmes actuels et les méthodes appropriées pour aborder ces défis.

## ABSTRACT

### Adaptability as a skill for goal-oriented dialog systems

Extending the adaptability of systems to new domains without reference data is a major stumbling block. Taking charge of more service contents constitutes a means of diversifying the range of capacities in understanding for dialogue systems bringing real interest to users through the wealth of exchanges it would make possible. To promote progress in this direction, the eighth edition of the Dialog State Tracking Challenge introduces exploratory tracks allowing to assess the general capacities and the abilities of systems to deal with both novelty and multiple complex task domains. The objective of this paper is to report on research in the field and help to provide answers so as to better understand the limits of current systems and the appropriate methods to tackle these challenges.

**MOTS-CLÉS** : système de dialogue, suivi de l'état du dialogue guidé par des schémas, adaptabilité.

**KEYWORDS:** dialogue system, schema-guided dialog state tracking, adaptability.

<figure><img src="image_42.png" /></figure>
# 1 Introduction

Les systèmes de dialogue sont des systèmes d'interface homme-machine, qui par le biais de différents canaux de communication, qu'ils soient textuels, vocaux ou visuels, voire multimodaux, permettent d'offrir des services en mettant en correspondance un utilisateur humain et un système informatique.

Il existe principalement deux grands types de systèmes de dialogue. Les systèmes orientés tâche qui interagissent avec les utilisateurs pour accomplir des tâches spécifiques. Cela peut aller de tâches simples et bien définies comme programmer une alarme à une heure précise à des tâches complexes comme la planification de voyages ou la négociation de contrats. À l'inverse, les systèmes non orientés tâche engagent généralement les utilisateurs dans des conversations brèves qui ne nécessitent pas nécessairement de tâches à accomplir et dont le but est de divertir.

En fonction du type de conversation, la structure des dialogues et les objectifs de compréhension varient et naturellement, une conversation peut impliquer un mélange d'interactions orientées tâche et non orientées tâche. Ainsi, dans la réalité, il peut exister un certain chevauchement entre ces deux types de systèmes.

Les systèmes de dialogue orientés tâche suivent généralement une architecture modulaire présentée dans la figure 1, composée à minima, d'un enchaînement de trois composantes.

<figure><img src="image_43.png" /><figcaption>FIGURE 1 – Architecture typique d'un système de dialogue.</figcaption></figure>

La compréhension du langage naturel (natural language understanding en anglais) fait référence à la tâche qui consiste à extraire des éléments de sens véhiculés par la requête de l'utilisateur pour construire une représentation symbolique manipulable par le système.

Elle englobe traditionnellement trois tâches :

- L'identification du domaine. Dans le cas des systèmes de dialogue multidomaines, le domaine correspond à la tâche e.g. la gestion des alarmes, la réservation de vols, etc.. Elle se fonde sur une ontologie qui permet de spécifier un ensemble d'informations (intentions et concepts) nécessaires pour modéliser les connaissances du domaine.
- L'identification de l'intention. Elle correspond à une opération de classification permettant de déterminer l'objectif de l'utilisateur en fonction du domaine préalablement identifié.

- La reconnaissance des concepts (slots en anglais). Elle correspond à une opération d'étiquetage des segments pertinents de l'énoncé utilisateur du point de vue de l'intention. Détecter ces concepts et extraire ses valeurs permettront un traitement particulier (interaction avec une source de connaissances, stockage, etc.).

La gestion du dialogue (dialogue management en anglais) fait référence au module qui s'occupe de la conduite du dialogue dans le but d'accomplir une tâche. Cette gestion de l'échange d'information entre l'utilisateur et le système va de la prise de décision ou action aux moyens de faire progresser l'interaction. Pour ce faire, le gestionnaire de dialogue met à jour son état interne grâce notamment au contenu sémantique obtenu en sortie du module de compréhension et à l'historique des tours précédents qui sont nécessaires au suivi de l'avancement de la tâche de dialogue. C'est aussi à ce niveau qu'un accès à des sources de connaissances (bases de données, interfaces de programmation d'application ou APIs, etc.) peut être réalisé dans le but récupérer les données utiles à la résolution du besoin en information de l'utilisateur.

Enfin, la génération de langage naturel (natural language generation en anglais) fait référence à la tâche qui consiste à produire la réponse du système en langue naturelle sur la base du contenu fourni par le module précédent.

Que ces composants soient entraînés individuellement ou de bout en bout, les modèles résultants sont toujours développés pour une tâche spécifique ou un domaine particulier. Cette conception implique des limites fortes tant au niveau de leurs mises à jour qu'au niveau de leurs extensions à de nouveaux domaines où le manque de données fait effet de goulot d'étranglement. De plus, si les systèmes de dialogue orientés tâche sont largement adoptés dans l'industrie (Siri, Cortana, Alexa, etc.) avec une grande fiabilité, leur robustesse et portabilité multilingue et multidomaine restent limitées. En prenant en charge un nombre croissant de services par le biais d'APIs tierces pour fournir des contenus ou pour intégrer des périphériques externes, ces systèmes sont confrontés à un plus fort degré de chevauchement inter- et trans- domaines, ce qui entrave considérablement le développement rapide de nouvelles compétences.

Depuis quelques années, il existe un fort intérêt en ce qui concerne la conception de systèmes agnostiques au domaine d'application bénéficiant d'un apprentissage moins gourmand en données et couvrant une multitude de domaines pour atteindre des objectifs plus complexes.

Dans la suite de l'article, nous présentons les problèmes posés par l'adaptabilité des systèmes en caractérisant ses approches ainsi que les ressources disponibles pour conclure sur les perspectives.

## 2 L'adaptabilité comme compétence

Tout au long de leurs vies, les êtres humains démontrent d'une capacité d'apprendre à apprendre (Thrun & Pratt, 1998). Un enfant qui apprend la marche généralisera rapidement cette nouvelle compétence à d'autres contextes (présence de dénivelés, de bourrasques ou d'obstacles, etc.) avec un minimum de temps d'adaptation en s'appuyant sur son expérience et sur ses observations antérieures. Les méthodes d'apprentissage automatique traditionnelles ne rendent pas compte de cette capacité à généraliser et à mobiliser les connaissances acquises pour faire face à une tâche différente de celle rencontrée lors de l'entraînement.
Dans une entreprise réelle où les systèmes sont développés rapidement et devraient fonctionner de manière robuste pour une variété croissante de domaines et tâches, un apprentissage rapide, continu et efficace à partir d'un nombre limité d'exemples devient indispensable. C'est pourquoi, dans les sections suivantes, nous faisons un tour d'horizon des techniques actuelles qui permettent dans une certaine mesure de prendre en considération ces aspects.

## 2.1 Vers des systèmes adaptables

Nous sommes devenus capables d'entraîner des réseaux de neurones profonds pour apprendre à relier des entrées à des sorties souhaitées à partir de grandes quantités de données.

L'idée de transférer les connaissances et les compétences acquises en exploitant des données existantes, non nécessairement directement liées à la tâche pour apprendre une autre tâche à partir d'autres données n'est pas nouvelle (Caruana, 1993). On retrouve aujourd'hui cette idée, sous le nom d'apprentissage par transfert (transfert learning en anglais), appliquée pour entraîner un réseau sur une tâche à partir d'un modèle déjà entraîné sur une tâche similaire. En traitement automatique des langues par exemple, Zoph et al. (2016) ont exploité l'apprentissage par transfert pour une tâche de traduction automatique pour pallier l'absence de corpus annotés dans le cas de langues peu dotées, en tirant parti des données abondantes disponibles dans d'autres langues.

Une classe de problèmes d'apprentissage automatique qui s'apparente à celle de l'être humain qui apprend de ses erreurs en s'adaptant à son environnement, connue sous le nom d'apprentissage par renforcement (reinforcement learning en anglais) a permis l'émergence de systèmes performants dans des domaines impliquant une gestion de séquences d'action tels que le jeu, la robotique ou le dialogue. Toutefois, si ce type d'apprentissage a permis d'éviter une modélisation de la décision *ad hoc* du problème considéré, des connaissances expertes du domaine restent nécessaires.

Dans une tout autre perspective, des approches ont été présentées récemment sur la manière de développer des systèmes, des capacités d'apprentissage tout au long de la vie avec l'apprentissage continu (continual learning en anglais) (Parisi et al., 2019). Jusqu'alors, une fois la phase d'entraînement achevée, les modèles demeuraient statiques : les structures et les poids entre les neurones étaient fixés. Ce mode d'apprentissage permet d'obtenir des modèles pouvant être améliorés en permanence en accumulant continuellement de nouvelles connaissances sur différentes tâches et convient à des applications où la base d'entraînement évolue dans le temps. Pour autant, le gain de flexibilité inhérent à cette capacité d'adaptation reste limité aux domaines de tâche définis et s'obtient au détriment d'une implémentation plus complexe du système.

Finalement, l'un des aspects les plus frappants de l'apprentissage humain est l'aptitude à apprendre de nouveaux concepts à partir d'un nombre limité d'exemples. Cette capacité contraste fortement avec les méthodes traditionnelles d'apprentissage automatique, qui nécessitent une quantité de données importante. Ces dernières années, on a vu apparaître une réflexion en méta sur l'apprentissage et des propositions d'algorithmes capables de résoudre le problème d'apprentissage en zéro ou quelques coups (en anglais, zero-shot learning et few-shot learning), autrement dit, avec zéro ou peu de données annotées. Introduit dans le domaine de la vision par ordinateur pour la reconnaissance d'objets (Larochelle et al., 2008; Palatucci et al., 2009), le méta-apprentissage (meta-learning en anglais) (Vanschoren, 2018; Wang et al., 2019) a permis de méta-entraîner directement des modèles ayant une bonne performance en généralisation pour de nouvelles classes d'objets ou de nouveaux domaines de tâches à partir de peu de données.
## 2.2 Le cas des systèmes de dialogues

Comme on l'a vu dans la section 1, l'approche prédominante dans le domaine de la conception des systèmes de dialogue orientés tâche suit un découpage modulaire qui a pour principal avantage de permettre d'évaluer indépendamment les performances de chaque module en offrant la possibilité d'analyser l'origine des erreurs. Cependant, elle a pour défauts d'impliquer un processus d'annotation lourd et d'être peu générique, car les modèles doivent être mis à jour dès que l'on souhaite porter le système à une nouvelle tâche.

Le travail de Tur et al. (2014) et celui de Ferreira et al. (2015) pour le module de compréhension a permis de limiter ce besoin en données annotées en utilisant un apprentissage sans données de référence. On retrouve aussi cette forme d'apprentissage appliquée pour prendre en compte de nouveaux domaines (Kumar et al., 2017), de nouvelles intentions (Chen et al., 2016; Xia et al., 2018) et de nouveaux concepts (Bapna et al., 2017; Lee & Jha, 2019). C'est dans cette même perspective que Lin & Xu (2019) ont proposé une approche se fondant sur la détection de nouveautés (en anglais novelty detection) pour identifier des intentions non vues dans la base d'entraînement.

En ce qui concerne le module de génération, Wen et al. (2016) ont proposé une technique d'augmentation artificielle des données pour générer des exemples à partir d'ensembles de données délexicalisées hors domaines. Un modèle appris à partir de ces données synthétiques et ajusté sur un ensemble plus petit de données du domaine d'intérêt a permis une généralisation à de nouveaux domaines. Récemment, Mi et al. (2019) ont porté l'algorithme MAML (Finn, 2018), introduit pour l'interaction robotique à la génération du langage. En méta-entraînant un modèle afin qu'il soit capable de générer à des domaines absents de l'ensemble d'entraînement avec seulement une petite quantité de données, les auteurs ont pu comparer les performances de ce modèle, dans le cas où les domaines étaient connexes ou distants.

Développées dans le cadre d'applications multidomaines sans que de nouveaux paramétrages ou apprentissages spécifiques soient nécessaires et avec un besoin en données moindre, ces approches permettent d'explorer de nouvelles façons de réaliser des systèmes de dialogue agnostiques au domaine de tâches, indépendants de toute autre technique de détection de nouveauté. Bien que très prometteuses, elles obtiennent des résultats sur des ensembles de données synthétiques et nécessiteraient davantage de tests sur des données réelles. Aussi, ces recherches ne se concentrent que sur l'adaptation de modules individuels d'un système de dialogue alors que plusieurs résultats expérimentaux ont montré que des améliorations peuvent être apportées par une résolution jointe de certaines tâches, notamment l'identification de l'intention et la reconnaissance des concepts (Xu & Sarikaya, 2013; Hakkani-Tür et al., 2016; Zhang & Wang, 2016; Liu & Lane, 2016).

## 3 Les ressources disponibles

Les ensembles de données existants permettant d'entraîner des systèmes de dialogue orientés tâche tels que DSTC2 (Henderson et al., 2014) et Multi-Domain Wizard-of-Oz (MultiWOZ) (Budzianowski et al., 2018) se fondent sur une ontologie statique par domaine avec un nombre de domaines, d'intentions et de concepts fixe. Comparé au corpus DSTC2 ne contenant qu'un domaine de tâche, MultiWOZ a été introduit dans une volonté d'augmenter la portabilité multidomaine des systèmes avec 7 domaines et un millier de dialogues étiquetés par domaine (cf. Table 3).
<table><caption>TABLE 1 – Principales caractéristiques des ensembles de données.</caption><thead><tr><th></th><th>Nº de dialogues</th><th>Nº de domaines</th><th>Nº de concepts</th><th>Nº de valeurs</th></tr></thead><tbody><tr><td>DSTC2</td><td>1 612</td><td>1</td><td>8</td><td>212</td></tr><tr><td>MultiWOz</td><td>8 438</td><td>7</td><td>24</td><td>4 510</td></tr><tr><td>SGD</td><td>18 624</td><td>16</td><td>214</td><td>14 139</td></tr><tr><td>MetalWoz</td><td>40 388</td><td>47</td><td>-</td><td>-</td></tr></tbody></table>

Parce que ces derniers ne capturent pas les défis susmentionnés, deux corpus à grande échelle ont récemment été rendus publics : Meta-Learning Wizard of Oz (MetaLWOz) (Shalyminov et al., 2020) et Schema-Guided Dialogue (SGD) Rastogi et al. (2019).

## 3.1 Meta-Learning Wizard of Oz

Couvrant près de 50 domaines avec un total de 227 tâches, l'ensemble de données MetaLWOz se compose de 40 000 dialogues humain-humain. Les dialogues ont été collectés suivant un protocole de type Magicien d'Oz (pour l'anglais *Wizard-of-Oz*) (Kelley, 1984) dans lequel les participants se voient attribuer un domaine d'intérêt et une tâche spécifique qu'ils sont invités à poursuivre via le dialogue. Aucune API ou base de connaissances de domaine n'est disponible et les participants utilisent librement des concepts fictifs tout en devant rester cohérents. MetaLWOz est spécifiquement conçu pour réduire la quantité de données nécessaires pour adapter des systèmes de dialogue à de nouveaux domaines et permettre le développement de modèles génératifs reposant sur le paradigme du méta-apprentissage. Aucune annotation n'est fournie, hormis des descriptions en langue naturelle des domaines et des intentions.

## 3.2 Schema-Guided Dialogue State Tracking

Introduit à l'occasion de la 8e édition du Dialog State Tracking Challenge (Kim et al., 2019), SGD (Rastogi et al., 2019) comprend plus de 18 000 dialogues et couvre 16 domaines. À l'instar de MetaLWOz, il s'agit de tester le pouvoir de généralisation des modèles à des domaines non vus dans la base d'entraînement. En outre, plusieurs services peuvent être associés à un domaine, ce qui entraîne des problèmes de chevauchement inter- et trans- domaines, comme on le verra dans la section suivante. Bien que proposé pour évaluer la tâche de suivi de l'état, SGD peut aussi servir de banc d'essai pour évaluer individuellement les différents composants d'un système de dialogue. En effet, les annotations (classes et descriptions en langue naturelle) des domaines, des services, des intentions et des concepts sont fournies.

## 3.3 Les difficultés

La piste 4 de la 8e édition du Dialog State Tracking Challenge intitulé Schema-Guided Dialogue State Tracking est un défi de recherche dédié à l'évaluation du suivi de l'état du dialogue dans un cadre pratique, celui d'un système de dialogue confronté aux défis :

- d'évolutivité : la prise en charge d'un grand nombre et d'une grande variété de services à travers l'utilisation d'APIs ne doit pas entraîner une dégradation des performances du système ou remettre en cause sa structure ;
- de réutilisabilité : la gestion des données doit être efficace dans le cas où plusieurs services partagent des éléments communs;

- d'extensibilité : l'ajout de nouvelles APIs entraîne un certain coût de développement et de maintenance qu'il serait souhaitable de limiter.

Pour un cas concret, une demande d'information comme recherche un vol Paris-Oakland déclenche par le système la recherche de services de réservation de vols en mesure de considérer les critères de l'utilisateur sur la base des informations présents dans l'énoncé. Les systèmes de dialogue orientés tâche nécessitent des représentations d'état explicites pour notamment interagir avec des sources externes (ici, des APIs tierces). Cependant, plusieurs services peuvent correspondre et les APIs imposent des contraintes d'accès définies par le fournisseur du service et donc des interfaces qui peuvent être différentes. C'est pour cette raison qu'un registre des schémas d'utilisation des APIs accompagne l'ensemble de données SGD. Chaque schéma définit les fonctions et paramètres d'accès attendus par une API ainsi qu'une description en langue naturelle pour le service, mais aussi pour les intentions et les concepts qui s'y rapportent.

La figure 2 illustre la manière dont les annotations correspondants à deux schémas de services similaires de réservation de vols conditionnent les états et créent des chevauchements. D'un côté l'intention RechercheVol et le concept depart du service A ainsi que l'intention TrouveVol et le concept origine du service B se correspondent. De l'autre l'intention ReserveVol et le concept dateRetour se retrouvent dans les deux services.

<figure><img src="image_44.png" /><figcaption>FIGURE 2 – États du dialogue conditionnés par les schémas correspondant à deux services similaires de réservations de vols. Figure adaptée en français de Rastogi et al. (2019).</figcaption></figure>

Hormis ces problèmes de chevauchement, les systèmes développés doivent faire face à un cas particulier d'apprentissage où domaines, services, intentions et concepts peuvent ne pas être présents dans l'ensemble des exemples du corpus d'apprentissage. Par exemple, les domaines *Voyage* et *Météo* ne sont présents que dans l'ensemble de développement et le domaine *Alarme* n'est présent que dans l'ensemble de test.

Les méthodes statistiques traditionnelles apprises sur de grandes quantités de données annotées et utilisées pour résoudre des tâches comme identifier le domaine, l'intention ou étiqueter les concepts en se basant uniquement sur les étiquettes des classes ne sont pas à même de pouvoir être utilisées
ici pour traiter de ces problèmes. Dans ce cas, d'autres informations doivent être exploitées pour extrapoler ces classes directement à partir de leurs définitions.

Dans le contexte d'une tâche comme le suivi de l'état du dialogue, l'adaptation multidomaine et l'adaptation à de nouveaux domaines non vus à l'apprentissage apportent des difficultés supplémentaires. Les résultats obtenus sur les corpus DSTC2, MultiWOz et SGD présentés en table 2 permettent d'apprécier l'évolution de la complexité de la tâche, selon que l'on utilise 1 domaine (DSTC2), plusieurs domaines (MultiWOz) ou plusieurs domaines dont des nouveaux domaines absents de la base d'entraînement (SGD).

<table><caption>TABLE 2 – Tableau des résultats obtenus sur les corpus DSTC2, MultiWOz et SGD dans le contexte d'une tâche de suivi de l'état du dialogue mesurant la capacité des systèmes à réaliser la tâche (joint goal accuracy en anglais) ou à reconnaître les concepts (slot accuracy en anglais).</caption><thead><tr><th></th><th>DSTC2</th><th>MultiWOz</th><th>SGD</th></tr></thead><tbody><tr><td>Slot accuracy</td><td>97.5</td><td>96.9</td><td>96.5</td></tr><tr><td>Joint goal accuracy</td><td>74.5</td><td>48.6</td><td>25.4</td></tr><tr><td>Model</td><td>Zhong et al. (2018)</td><td>Wu et al. (2019)</td><td>Rastogi et al. (2019)</td></tr></tbody></table>

C'est sur la base d'états, construits par le gestionnaire de dialogue qu'une action est choisie pour être réalisée et c'est sur elles deux (états et actions) que se fonde l'optimisation automatique d'une politique d'interaction. Les actions représentent l'unité de communication fondamentale d'un système de dialogue qui définit les types d'interactions dont il est capable (demander la valeur d'un concept, demander la confirmation de celle-ci, etc.). À chaque tour, de nombreuses actions sont à la disposition du gestionnaire de dialogue. Dans SGD, les catégories d'actions possibles du système sont spécifiées à l'aide des 10 actes de dialogue (repris dans la table 3) et peuvent se combiner pour former des actions plus complexes.

<table><caption>TABLE 3 – Catégories d'actions, descriptions en langue naturelle et exemples de réponses du système.</caption><thead><tr><th>Catégorie d'actions</th><th>Description de l'action</th><th>Exemple de réponse du système</th></tr></thead><tbody><tr><td>CONFIRM</td><td>Confirme la valeur d'un slot avant d'effectuer un appel à un service transactionnel.</td><td>Please confirm the update : A reservation at 10 :45 am in San Francisco.</td></tr><tr><td>INFORM</td><td>Informe l'utilisateur.</td><td>No, that ticket is not refundable.</td></tr><tr><td>INFORM_COUNT</td><td>Indique le nombre de résultats trouvés qui répondent à la demande de l'utilisateur.</td><td>There is 1 such flight. It is through Southwest Airlines.</td></tr><tr><td>NOTIFY succes</td><td>Informe l'utilisateur que sa demande a abouti.</td><td>Your reservation is made, and no they don't have any vegetarian options unfortunately.</td></tr><tr><td>NOTIFY_FAILURE</td><td>Informe l'utilisateur que sa demande a échoué.</td><td>Unfortunately I have been unable to make a reservation.</td></tr><tr><td>OFFER</td><td>Renseigne l'utilisateur sur une certaine valeur pour un concept.</td><td>Will Delta Airlines meet your requirement?</td></tr><tr><td>OFFER_INTENT</td><td>Propose à l'utilisateur une nouvelle intention.</td><td>Would you like to purchase flight tickets from this airline?</td></tr><tr><td>REQUEST</td><td>Demande à l'utilisateur la valeur d'un concept.</td><td>Any preferred location you would like to visit?</td></tr><tr><td>REQMORE</td><td>Demande à l'utilisateur s'il a besoin de quelque chose d'autre.</td><td>Is there anything else you need help with?</td></tr><tr><td>GOODBYE</td><td>Met fin au dialogue.</td><td>Have a nice day!</td></tr></tbody></table>

Globalement, les tâches se caractérisent pas des niveaux de complexité variables. En ce qui concerne le suivi de l'état du dialogue conditionné par un schéma et la variabilité supplémentaire introduite dans le cas de schémas non vus dans la base d'entraînement, éloignés des schémas connus, associés à peu de données, on peut penser que faute d'avoir déjà rencontré les objectifs de la tâche, ou d'avoir appris à différencier suffisamment d'objectifs, le système pourra difficilement mettre en oeuvre des stratégies appropriées pour contrôler le déroulement de l'échange. Une stratégie se révèle appropriée quand elle permet d'atteindre un certain but et faire le choix d'une stratégie présuppose la connaissance du résultat visé et de la mesure de l'effort nécessaire pour y parvenir.
# 4 Conclusion et perspectives

Ces dernières années, l’apprentissage profond a permis de réaliser de nombreuses avancées dans des domaines variés où les données sont abondantes. Les modèles résultants sont dans une large mesure, spécialisés pour la tâche pour laquelle ils sont entraînés. Cette dépendance aux données se trouve être un obstacle majeur pour la portabilité vers de nouveaux domaines. Le développement de nouvelles méthodes fondées sur les données doit être adapté pour répondre à cette exigence. Par conséquent, la réduction de la quantité de données et d’annotations nécessaires pour l’entraînement des systèmes constitue une direction de recherche prioritaire dans le domaine des systèmes de dialogue.

Sans reprendre les enjeux portant sur l’éventail des capacités attendues pour un système, nous avons montré que ces capacités sont garantes d’échanges plus pertinents et de dialogues plus naturels. Nous avons présenté un tour d’horizon, succinct, de quelques approches de la littérature qui tentent de trouver un équilibre entre le connu et la nouveauté dans le processus d’acquisition de connaissances. Elles apportent des pistes intéressantes pour résoudre les problématiques auxquelles nous sommes confrontés en permettant de faciliter la conception des systèmes.

Enfin, le méta-apprentissage se trouve être un domaine actif d’intérêt croissant et nous aspirons à adapter ses algorithmes à la gestion du dialogue. Nous souhaitons pour cela étendre les réseaux de codes hybrides (Williams et al., 2017) qui ont comme particularité de pouvoir concilier un apprentissage de bout en bout et l’intégration de codes métier (connaissances expertes) qui permettent de limiter certaines suites d’actions tout en réduisant considérablement la complexité d’apprentissage et la quantité de données requise pour l’entraînement. Pour ce faire il s’agira de repenser la représentation des actions et des états en considérant un espace «de plus haut niveau» tout en gardant la possibilité d’injecter de la supervision à l’aide de métarègles compatibles avec le paradigme du méta-apprentissage.

# Références

BAPNA A., TÜR G., HAKKANI-TÜR D. & HECK L. (2017). Towards zero-shot frame semantic parsing for domain scaling. In *Proceedings of the 2017 INTERSPEECH Conference*, p. 2476–2480. DOI: 10.21437/Interspeech.2017-518.

BUDZIANOWSKI P., WEN T.-H., TSENG B.-H., CASANUEVA I., ULTES S., RAMADAN O. & GAŠIĆ M. (2018). MultiWOZ - a large-scale multi-domain wizard-of-Oz dataset for task-oriented dialogue modelling. In *Proceedings of the 2018 EMNLP Conference*, p. 5016–5026. DOI: 10.18653/v1/D18-1547.

CARUANA R. (1993). Multitask learning: A knowledge-based source of inductive bias. In *Proceedings of the 1993 ICML Conference*, p. 41–48. DOI: 10.1016/b978-1-55860-307-3.50012-5.

CHEN Y., HAKKANI-TÜR D. & HE X. (2016). Zero-shot learning of intent embeddings for expansion by convolutional deep structured semantic models. In *Proceedings of the 2016 IEEE Conference on Acoustics, Speech and Signal Processing (ICASSP)*, p. 6045–6049.

FERREIRA E., JABAIAN B. & LEFÈVRE F. (2015). Online adaptive zero-shot learning for spoken language understanding using word-embedding. In *Proceedings of the 2015 ICASSP Conference*, p. 5321–5325. HAL: hal-02042298.

FINN C. (2018). *Learning to Learn with Gradients*. Thèse de doctorat, EECS Department, University of California, Berkeley.
HAKKANI-TÜR D., TÜR G., ÇELIKYILMAZ A., CHEN Y., GAO J., DENG L. & WANG Y. (2016). Multi-domain joint semantic frame parsing using bi-directional RNN-LSTM. In N. MORGAN, Éd., *Proceedings of the 2016 INTERSPEECH Conference*, p. 715–719. DOI: 10.21437/Interspeech.2016-402.

HENDERSON M., THOMSON B. & WILLIAMS J. D. (2014). The second dialog state tracking challenge. In *Proceedings of the 2014 SIGDIAL Conference*, p. 263–272. DOI: 10.3115/v1/W14-4337.

KELLEY J. F. (1984). An iterative design methodology for user-friendly natural language office information applications. *ACM Transactions on Office information systems*, **2**(1), 26–41. DOI: 10.1145/357417.357420.

KIM S., GALLEY M., GUNASEKARA R. C., LEE S., ATKINSON A., PENG B., SCHULZ H., GAO J., LI J., ADADA M., HUANG M., LASTRAS L., KUMMERFELD J. K., LASECKI W. S., HORI C., CHERIAN A., MARKS T. K., RASTOGI A., ZANG X., SUNKARA S. & GUPTA R. (2019). The eighth dialog system technology challenge. *CoRR*, abs/1911.06394.

KUMAR A., MUDDIREDDY P., DREYER M. & HOFFMEISTER B. (2017). Zero-shot learning across heterogeneous overlapping domains. In *Proceedings of the 2017 INTERSPEECH Conference*, p. 2914–2918. DOI: 10.21437/Interspeech.2017-516.

LAROCHELLE H., ERHAN D. & BENGIO Y. (2008). Zero-data learning of new tasks. In *Proceedings of the 2008 AAAI Conference*, p. 646–651.

LEE S. & JHA R. (2019). Zero-shot adaptive transfer for conversational language understanding. In *Proceedings of the 2019 AAAI Conference*, p. 6642–6649. DOI: 10.1609/aaai.v33i01.33016642.

LIN T.-E. & XU H. (2019). Deep unknown intent detection with margin loss. In *Proceedings of the 2019 ACL Conference*, p. 5491–5496. DOI: 10.18653/v1/P19-1548.

LIU B. & LANE I. (2016). Attention-based recurrent neural network models for joint intent detection and slot filling. In *Proceedings of the 2016 INTERSPEECH Conference*, p. 685–689. DOI: 10.21437/Interspeech.2016-1352.

MI F., HUANG M., ZHANG J. & FALTINGS B. (2019). Meta-learning for low-resource natural language generation in task-oriented dialogue systems. In S. KRAUS, Éd., *Proceedings of the 2019 IJCAI Conference*, p. 3151–3157. DOI: 10.24963/ijcai.2019/437.

PALATUCCI M., POMERLEAU D., HINTON G. E. & MITCHELL T. M. (2009). Zero-shot learning with semantic output codes. In *Advances in Neural Information Processing Systems*, p. 1410–1418.

PARISI G. I., KEMKER R., PART J. L., KANAN C. & WERMTER S. (2019). Continual life-long learning with neural networks: A review. *Neural Networks*, **113**, 54 – 71. DOI: https://doi.org/10.1016/j.neunet.2019.01.012.

RASTOGI A., ZANG X., SUNKARA S. K., GUPTA R. & KHAITAN P. (2019). Towards scalable multi-domain conversational agents: The schema-guided dialogue dataset. *To appear at AAAI 2020*.

SHALYMINOV I., SORDONI A., ATKINSON A. & SCHULZ H. (2020). Hybrid generative-retrieval transformers for dialogue domain adaptation. *CoRR*, abs/2003.01680.

THRUN S. & PRATT L., Éds. (1998). *Learning to Learn*. USA: Kluwer Academic Publishers.

TUR G., HAKKANI-TÜR D. & HECK L. (2014). Zero-shot learning and clustering for semantic utterance classification. In *Proceedings of the 2014 ICLR Conference*.

VANSCHOREN J. (2018). Meta-learning: A survey. *CoRR*, abs/1810.03548.
WANG W., ZHENG V. W., YU H. & MIAO C. (2019). A survey of zero-shot learning : Settings, methods, and applications. *ACM Transactions on Intelligent Systems and Technology*, **10**(2). DOI: 10.1145/3293318.

WEN T.-H., GAŠIĆ M., MRKŠIĆ N., ROJAS-BARAHONA L. M., SU P.-H., VANDYKE D. & YOUNG S. (2016). Multi-domain neural network language generation for spoken dialogue systems. In *Proceedings of the NAACL 2016 Conference*, p. 120–129. DOI: 10.18653/v1/N16-1015.

WILLIAMS J. D., ASADI K. & ZWEIG G. (2017). Hybrid code networks : practical and efficient end-to-end dialog control with supervised and reinforcement learning. In *Proceedings of the 2017 ACL Conference*, p. 665–677. DOI: 10.18653/v1/P17-1062.

WU C.-S., MADOTTO A., HOSSEINI-ASL E., XIONG C., SOCHER R. & FUNG P. (2019). Transferable multi-domain state generator for task-oriented dialogue systems. In *Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics*, p. 808–819, Florence, Italy : Association for Computational Linguistics. DOI: 10.18653/v1/P19-1078.

XIA C., ZHANG C., YAN X., CHANG Y. & YU P. (2018). Zero-shot user intent detection via capsule neural networks. In *Proceedings of the 2018 EMNLP Conference*, p. 3090–3099. DOI: 10.18653/v1/D18-1348.

XU P. & SARIKAYA R. (2013). Convolutional neural network based triangular crf for joint intent detection and slot filling. In *Proceedings of the 2013 IEEE Workshop on Automatic Speech Recognition and Understanding (ASRU)*, p. 78–83. DOI: 10.1109/ASRU.2013.6707709.

ZHANG X. & WANG H. (2016). A joint model of intent determination and slot filling for spoken language understanding. In *Proceedings of the 2016 IJCAI Conference*, p. 2993–2999.

ZHONG V., XIONG C. & SOCHER R. (2018). Global-locally self-attentive encoder for dialogue state tracking. In *Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1 : Long Papers)*, p. 1458–1467, Melbourne, Australia : Association for Computational Linguistics. DOI: 10.18653/v1/P18-1135.

ZOPH B., YURET D., MAY J. & KNIGHT K. (2016). Transfer learning for low-resource neural machine translation. In *Proceedings of the 2016 EMNLP Conference*, p. 1568–1575. DOI: 10.18653/v1/D16-1163.
# Simplification de textes : un état de l'art

Sofiane ELGUENDOUZE¹,²

(1) LS2N, Nantes, France

(2) ESI, Alger, Algérie

fs_elguendouze@esi.dz

## RÉSUMÉ

Cet article présente l'état de l'art en simplification de textes et ses deux grandes familles d'approches, à savoir les approches à base de règles et les approches statistiques. Nous présentons, en particulier, les récentes approches neuronales et les architectures mises en place ainsi que les méthodes d'évaluation des systèmes de simplification.

## ABSTRACT

### Text simplification (State of the art)

This paper presents the state of the art on text simplification, in particular the two main types of approaches, namely rule-based approaches and statistical approaches (or data-driven). We present, in particular, the recent neural approaches and the architectures implemented as well as the evaluation methods of text simplification systems.

**MOTS-CLÉS** : Simplification de textes, Apprentissage automatique, Apprentissage profond, Tra-duction automatique, Lexique, Syntaxe, Discours.

**KEYWORDS:** Text simplification, Machine learning, Deep learning, Machine translation, Lexicon, Syntax, Discourse.

# 1 Introduction

Les textes incorporent des constructions linguistiques complexes, ce qui peut entraîner des difficultés de lecture et/ou de compréhension chez les personnes avec des compétences linguistiques réduites comme les apprenants d'une langue non native ou les personnes ayant un trouble du langage telles que les autistes, les aphasiques, les dyslexiques etc.

La simplification de Texte (ST) est définie comme un processus permettant de détecter les phénomènes problématiques dans un texte, causant des difficultés de lecture et/ou de compréhension, et de procéder à l'adaptation de son contenu pour les résoudre. Cela peut être effectué par le remplacement des mots difficiles par des synonymes plus faciles à comprendre, le changement des temps de conjugaison difficiles par d'autres plus courants ou encore par la résolution d'anaphores. Tout cela a pour objectif de rendre les textes plus accessibles compréhensibles par une catégorie de lecteurs spécifiques.

Les premiers travaux de recherche sur la simplification de textes ont commencé dans les années 90, avec l'approche de simplification syntaxique proposée par (Chandrasekar et al., 1996), qui visait à améliorer les performances des analyseurs syntaxiques en langage naturel. Des recherches ultérieures ont principalement porté sur la ST pour des catégories d'utilisateurs avec des déficiences intellectuelles spécifiques. Certains travaux se sont concentrés sur l'aphasie (Carroll et al., 1998),

<figure><img src="image_45.png" /></figure>
la dyslexie (Quiniou & Daille, 2018), l'autisme (Štajner et al., 2012), les personnes avec un faible niveau de lecture (Williams & Reiter, 2008), les personnes sourdes (Inui et al., 2003), les apprenants d'une langue étrangère (Siddharthan & Katsos, 2010). L'intérêt porté à la simplification de texte a récemment augmenté grâce à la disponibilité des textes et l'explosion du web etc., et le nombre de langues sur lesquelles elle est appliquée ne cesse d'accroître : l'anglais (Siddharthan, 2006; Zhu et al., 2010; Xu et al., 2016), le français (Seretan, 2012; Brouwers et al., 2012, 2014; Gala et al., 2018), l'espagnol (Saggion et al., 2015), le portugais (Aluísio & Gasperin, 2010) ...

L'objectif de ce papier est de mettre en avant les dernières techniques de simplification notamment les approches neuronales qui ont largement contribué à l'amélioration des systèmes de simplification. La suite du papier présentera une typologie des phénomènes problématiques nécessitant une simplification, les différents types approches et les mesures d'évaluation les plus utilisées actuellement.

## 2 Taxonomie des problèmes

La complexité des textes et les informations implicites contenues dans ceux-ci affectent une tranche considérable de la population qui souffre de difficultés de lecture et de compréhension. Cela montre qu'il existe une multitude de domaines pour lesquels la simplification de textes pourra être utilisée. Plusieurs phénomènes problématiques tels que les phrases longues, les phrases complexes ou encore les pronoms et leurs référents implicites, sont généralement difficiles à comprendre par le lecteur. Des constructions syntaxiques telles que les phrases qui ne respectent pas la forme canonique (sujet, verbe, complément) peuvent également être problématiques pour les personnes aphasiques ou autistes. Il en va de même pour le vocabulaire très difficile ou spécialisé et les mots rares qui peuvent être ambigus. Les apprenants d'une langue étrangère peuvent avoir un lexique très restreint et ne seraient donc pas en mesure de comprendre certaines constructions grammaticales complexes ou certains mots difficiles. La Table 1 présente une synthèse d'analyse de certaines typologies de phénomènes linguistiques précédemment proposées par (Brouwers et al., 2012; Gala & Ziegler, 2016).

## 3 Simplification de textes

De la méthode manuelle classique aux méthodes automatiques, la simplification a connu une forte croissance, en termes de pertinence des résultats obtenus et de champs d'applications pour lesquels de tels systèmes ont été conçus.

### 3.1 Simplification manuelle

La simplification manuelle de textes adopte deux grandes approches pour simplifier un texte, la première consiste à créer un texte en suivant des recommandations linguistiques et textuelles destinées à faciliter la compréhension en fonction du type de public visé (la collection « La traversée », par exemple, s'adresse à des adultes débutants en lecture ou faibles lecteurs). La deuxième approche consiste à transformer un texte original, jugé difficile à comprendre, en un texte plus simple, destiné à un public particulier. L'exemple le plus connu est Vikidia, un ensemble de textes encyclopédiques destinés aux enfants et directement inspiré des articles de Wikipédia. Plusieurs études ont souligné
<table><caption>TABLE 1 – Typologie des phénomènes problématiques en ST</caption><thead><tr><th>Niveau</th><th>Phénomène</th><th>Explication</th></tr></thead><tbody><tr><td>Lexical</td><td>Termes issus d'une langue étrangère<br>Termes difficiles<br>Termes non pertinents à la compréhension</td><td>Termes anglais dans un texte français<br>Termes hors vocabulaire<br>Adjectifs, adverbes etc.</td></tr><tr><td>Syntaxique</td><td>Temps de conjugaison moins courants<br>et plus littéraires<br>Éléments grammaticaux secondaires ou<br>redondants<br>Structures syntaxiques complexes</td><td>Imparfait, plus que parfait, passé simple<br>etc.<br>Propositions subordonnées, adverbiales,<br>relatives, compléments circonstanciels<br>Forme négative, discours indirect,<br>forme passive (forme non canonique)</td></tr><tr><td>Discursif</td><td>Organisation compliquée de l'information<br>Cohérence et cohésion<br>Informations secondaires<br>Manque d'informations</td><td>Pour des raisons esthétiques ou autres<br>Anaphores (nominales et pronominales),<br>anaphores difficiles (chaînes anaphoriques, dialogues etc.)<br>Trop d'exemples, de définitions etc.<br>Manque d'exemples, de définitions etc.</td></tr></tbody></table>

le rôle de la simplification manuelle de textes pour la compréhension tel que (Anderson & Davison, 1986) etc.

## 3.2 Simplification automatique

La simplification automatique de textes (SAT) comporte deux tâches principales : la simplification lexicale (SL) et la simplification syntaxique (SS). Celles-ci peuvent être traitées séparément ou conjointement. La SL modifie le vocabulaire du texte en substituant par exemple les termes jugés difficiles par des synonymes ou paraphrases qui sont plus simples à comprendre. Par exemple, la phrase « *parce que sa femme le gouvernait entièrement* » pourra être remplacée par « *parce que sa femme le dirigeait entièrement* ». D'autre part, la SS a pour objectif de convertir les phrases contenant des structures syntaxiques complexes tels que les propositions subordonnées et les phrases en forme passive en phrases plus simples structurellement en préservant leur sens original (ou au moins en limitant son altération). Par exemple, « *Il reconnut que le cinquième compartiment avait été envahi par la mer* » ; pourra être remplacée par « *Il reconnut que la mer a envahi le cinquième compartiment* ».
La SAT comporte trois principales taches : (i) la détection automatique des phénomènes problématiques et des éléments linguistiques complexes impliquant des aspects lexicaux, syntaxiques ou autres (cf. Table 1) (ii) la production d'une version simplifiée des textes à l'aide d'un ensemble d'opérations de simplification (iii) l'évaluation des simplifications apportées.

Dans le domaine de SAT, la majorité des travaux se limite aux traitement de phénomènes problématiques lexicaux ou syntaxiques. Très peu d'attention a été portée au niveau discursif.
# 4 Approches de simplification

Les approches de SAT peuvent être regroupées en trois grandes familles, notamment les approches par règles classiques, les approches statistiques et finalement la combinaison des deux donnant naissance aux approches hybrides.

## 4.1 Approches par règles

Ce sont les toutes premières approches adoptées en SAT, elles ont été proposées pour des cas d'application spécifiques et pour une population bien ciblée. (Inui et al., 2003) ont réalisé un système de simplification pour les personnes sourdes, en considérant les deux niveaux lexical et syntaxique. (Williams & Reiter, 2008) ont proposé un système de génération de textes simplifiés au niveau discursif appelé SKILL-SUM pour les personnes avec faible niveau d'alphabétisation, en favorisant les mots et les phrases courtes qui sont plus lisibles et plus compréhensibles par les lecteurs.

La simplification s'effectue sur la base de règles définies explicitement par des experts, en analysant des textes originaux et leurs équivalents simplifiés. Par exemple, (Brouwers et al., 2014) ont utilisé 19 règles pour effectuer une simplification syntaxique sur des textes français, classés en 3 catégories : Suppression (12 règles), Modification (3 règles) et Division (4 règles). La suppression par exemple procède à l'élimination directe des éléments syntaxiques secondaires comme les propositions subordonnées. Exemple : la phrase « *Le candidat a proposé une idée intéressante, qui parait très originale.* » devient « *Le candidat a proposé une idée intéressante* ».

Bien qu'elle soit la plus ancienne, cette approche reste d'actualité notamment pour les langues peu dotées pour lesquelles il n'existe pas de corpus parallèles. Elle sont très adaptées à la simplification syntaxique. Leur principal inconvénient est toutefois une portabilité et une évolutivité réduites pour les nouveaux scénarios, qui nécessitent la création de nouveaux ensembles de règles à chaque fois qu'une nouvelle langue (ou un nouveau domaine) doit être couvert. De plus :

1. Elles consomment beaucoup de temps.

2. Elles requièrent beaucoup d'implication humaine pour la définition des règles.

3. Il est impossible de trouver et énumérer toutes les règles de simplification.

## 4.2 Approches statistiques

Ces approches reposent principalement sur la disponibilité de grands corpus utilisés à la place de connaissances expertes. L'objectif est d'apprendre les règles automatiquement depuis ces ressources de données.

L'approche de simplification par **transduction d'arbres** (Tree Transduction en anglais) vise à surgénérer des règles de simplification automatiquement, ensuite à choisir celles qui correspondent le mieux. (Paetzold & Specia, 2013) proposent une approche composée de trois modules : Un module d'entraînement qui sur-génère des règles de transformation candidates, pour cela il reçoit en entrée les représentations sous forme d'arbres syntaxiques du corpus parallèle aligné au niveau des mots, effectue les différentes transformations possibles sur l'arbre représentant la phrase complexe pour reproduire l'arbre représentant la phrase simplifiée, ce qui nous donne en sortie les différentes règles candidates (lexicales, syntaxiques, lexico-syntaxiques). Le module sélectionne ensuite les
transformations les plus susceptibles de représenter des opérations de simplification en vérifiant certains critères. Le module de simplification génère à partir d'une phrase complexe en entrée et des règles précédemment sélectionnées, des phrase simplifiées candidates. Finalement, le module de classement attribue des scores aux différentes candidates et les ordonne pour sélectionner la meilleure.

Les approches par **traduction automatique (TA) (MT pour Machine Translation)** considèrent la simplification de texte comme un problème de traduction monolingue. Initialement, elles ont été proposées pour faire de la traduction d'une langue en une autre, plus tard elles ont été utilisées pour faire la simplification de texte (Specia, 2010). Le début des années 90 a vu le lancement des approches de traduction automatique statistique (SMT pour Statistical machine translation) où les règles ainsi que les modèles de simplification peuvent être appris automatiquement à partir de corpus parallèles constitués de paires de phrases (Complexes-Simplifiées). Elles regroupent les méthodes suivantes :

- **Traduction automatique statistique fondée sur les mots** (Word Based Statistical Machine Translation) est la plus ancienne de ces méthodes et la moins utilisée, l'unité fondamentale étant le mot, les résultats obtenus étaient moins corrects vu qu'elle effectue une traduction mot à mot en ignorant l'aspect syntaxique et l'aspect sémantique bien entendu.

- **Traduction automatique statistique fondée sur les syntagmes** (Phrase Based Statistical Machine Translation) Le but étant de manipuler des séquences de mots (de taille variable) lors de la traduction à la place de mots seuls. La méthode consiste à segmenter une phrases en syntagmes, ensuite à faire la traduction syntagme par syntagme puis les réordonner pour formuler une phrase de sortie a priori simplifiée. Certains travaux avaient pour objectif la fragmentation des phrases longues en phrases plus courtes et plus simples (Specia, 2010), d'autres se sont intéressés à la suppression des expressions secondaires (Coster & Kauchak, 2011).

Cette méthode ne peut effectuer qu'un petit nombre d'opérations de simplification, telles que la substitution lexicale, la suppression et l'explication simple. Elle n'est pas bien adaptée aux opérations de réorganisation ou de fragmentation.

- **Traduction automatique statistique fondée sur la syntaxe** (Syntax Based Statistical Machine Translation) La différence avec la méthode précédente est qu'elle manipule des unités syntaxiques complètes au lieu de mots ou de syntagmes seuls, incorporant ainsi une représentation explicite de la syntaxe dans les systèmes MT (comme l'ordre des mots par exemple), et permettant donc d'effectuer de meilleures opérations de réorganisations. Exemples de travaux : (Zhu et al., 2010; Xu et al., 2016).

L'inconvénient principal des méthodes de traduction automatique statistiques est qu'elles fonctionnent séparément sur de petits composants de simplification (lexical seulement ou syntaxique seulement). De plus, nous trouvons que parfois, elles traitent partiellement un niveau linguistique, comme la fragmentation uniquement par rapport au niveau syntaxique.

La **Traduction automatique neuronale** (NMT pour Neural Machine Translation) est récemment apparue (Kalchbrenner & Blunsom, 2013) en tant qu'une nouvelle approche de TA, et a montré une forte amélioration par rapport aux approches précédentes classiques. De plus, contrairement aux méthodes traditionnelles qui fonctionnent séparément sur de petits composants, NMT réalise une simplification de bout en bout (end-to-end), cela veut dire qu'elle ne nécessite pas des décodeurs
externes, des modèles de langage<fnref n="1" /> etc.

L'approche centrale de NMT est l'architecture d'encodeur-décodeur implémentée par les réseaux de neurones récurrents (RNN), la séquence d'entrée est ainsi représentée par un vecteur (encodage), puis décodée pour obtenir la séquence de sortie représentant une phrase simplifiée. Par exemple, (Zhang & Lapata, 2017) ont introduit une architecture encodeur-décodeur à base de RNN, couplée à un modèle d'apprentissage par renforcement. L'encodeur-décodeur est considéré comme Agent du modèle d'apprentissage par renforcement. Etant donné une phrase complexe en entrée, l'encodeur la transforme en une séquence d'états cachés avec un réseau de neurones LSTM (Long Short Term Memory), et à chaque étape t il réalise une action ŷt appartenant à un vocabulaire fixe de sortie, suivant une certaine politique. L'agent continue à faire des actions, jusqu'à ce qu'il produise la fin de la phrase. La sortie simplifiée de l'encodeur-décodeur serait ainsi Ŷ = (ŷ1, ŷ2, ŷ3 ... ). Une récompense r est alors attribuée, et l'algorithme de renforcement met à jour l'agent. Y est la sortie 'Référence', elle est utilisée pour l'évaluation de la simplicité de la sortie simplifiée générée et le calcul de la récompense r.

Un problème avec toutes les approches statistiques, est que la pertinence des résultats dépend large-
ment de la taille des corpus parallèles utilisés, dont leur construction est en général très coûteuse.
Certaines solutions ont été proposées pour contourner ce problème de manque de ressources notam-
ment le travail de (Aprosio et al., 2019) où ils ont construit un nouveau modèle encodeur-décodeur
basé sur l'attention (Vaswani et al., 2017). Leur idée repose sur l'extension de petits corpus d'entraî-
nement avec des données synthétiques pour satisfaire le besoin en données volumineuses nécessaires
à l'entraînement de leur modèle. Le modèle de simplification fournit une solution de bout en bout
pour traiter à la fois la simplification lexicale et syntaxique, ceci en apprenant à faire des changements
structurels plus complexes que les changements terme à terme uniquement.

(Aprosio et al., 2019) ont suivi trois stratégies différentes pour l'augmentation (extension) des données, à partir des données « de référence » (gold) à leur disposition et qui sont en quantité limitée. La première stratégie est le sur-échantillonnage, celle-là consiste à faire augmenter la taille du corpus d'entraînement en dupliquant le corpus original plusieurs fois afin de maximiser l'exploitation des paires de phrases références à leur disposition. La deuxième consiste à créer des paires synthétiques simple-simple à partir de grands corpus monolingues, ceci est réalisé en extrayant automatiquement les phrases les plus simples avec des méthodes heuristiques, ensuite les dupliquer pour créer des paires simple-simple, celles-ci sont ensuite utilisées comme données synthétiques pour former le système de simplification. L'objectif étant d'introduire un biais dans le décodeur en vue d'améliorer la simplicité des sorties. La troisième stratégie est la création de paires synthétiques complexe-simple pour former un système complexifiant qui génère des phrases complexes à partie de celles simples précédemment sélectionnées (en utilisant des outils d'Open-NMT). Les paires sont ensuite inversées pour former le système de simplification. L'intuition étant de conserver les phrases simplifiées générées par l'expertise humaine dans la partie cible des données parallèles afin d'améliorer la génération de phrases simplifiées.

Leur système de simplification fonctionne de la manière suivante : Initialement, une séquence de
mots est transmise à l'encodeur. A chaque pas de temps, sur la base des représentations générées par
l'encodeur et du mot généré dans le pas de temps précédent, le décodeur génère le mot suivant. Ce

<footnote n="1">1. Un modèle de langage correspond à une fonction, qui prend une phrase traduite et renvoie la probabilité qu'elle soit dite par un locuteur natif, de plus elle peut aider à choisir une traduction parmi plusieurs pour un mot donné, selon son contexte.</footnote>
processus se poursuit jusqu'à ce que le décodeur génère le symbole de fin de phrase. Un module de génération de pointeurs est rajouté à ce modèle, il permet à la fois de copier des mots à partir de la phrase source et de générer des mots à partir d'un vocabulaire fixe partagé contenant tous les mots des phrases d'apprentissage complexes et simples. À chaque pas de temps, le réseau estime la probabilité de générer un mot et utilise cette probabilité pour décider de générer ou de copier le mot.

Récemment, des techniques impliquant de l'apprentissage non supervisé ont vu le jour. (Surya et al., 2018) ont conçu un modèle avec un encodeur partagé et deux décodeurs à base d'attention, en plus d'un discriminateur pour influencer le comportement du décodeur et d'un classifieur pour la diversification, selon la nature de l'entrée (simple/complexe). Le modèle reconstitue d'un coté l'entrée originale complexe à partir de la phrase simplifiée, et de l'autre génère une version simplifiée de l'entrée. Ceci est réalisé en examinant la structure et les schémas linguistiques d'un grand nombre de phrases simples et complexes non alignées (à partir de Wikipédia) qui sont beaucoup moins coûteuses et faciles à obtenir que les données parallèles alignées.

## 4.3 Approches hybrides

L'objectif de ces approches est de tirer profit des avantages des deux approches précédentes (par règles et statistiques) en combinant la simplification syntaxique par règles, et la simplification lexicale par approches statistiques. Ceci en fait est dû aux limitations de la simplification lexicale basée sur les règles (trop de règles à énumérer manuellement), et celles de la simplification syntaxique statistique (qui produit des résultats moins bons grammaticalement et qui sont très limitées dans leur portée, comme le cas du passage de la voix passive à la voix active, chose qui est beaucoup plus pertinente par règles). Un exemple de travaux est celui de (Siddharthan & Mandya, 2014), qui ont proposé un système hybride combinant un module de simplification lexicale statistique, et un module de simplification syntaxique basée sur 136 règles.

Les approches neuronales sont considérés plus performantes, en effet elles traitent la simplification de textes de bout en bout, d'une façon plus rapide et en donnant des résultats plus pertinents contrairement aux méthodes hybrides modulaires où les résultats sont relativement moins pertinents pour certaines opérations.

# 5 Evaluation des systèmes de simplification de textes

L'évaluation des systèmes de SAT vise généralement à tester leur pertinence en termes de qualité des sorties, ou à évaluer leur efficacité/utilité en mesurant le temps de lecture et la compréhension des lecteurs (utilisateurs finaux). Cependant, ce n'est pas toujours possible de procéder à un test réel effectué par la population cible comme les dyslexiques où les apprenants de langue. Une évaluation par des experts du domaine est alors effectuée, en attribuant des scores sur la simplicité des résultats, leur pertinence en termes grammaticalité, et leur préservation du sens. Cette méthode est dite manuelle ou humaine, et elle n'opère qu'au niveau de la phrase. Des méthodes automatiques sont alors apparues pour faciliter la tâche aux concepteurs de systèmes de simplification, en leur économisant du temps et de coût. Ces évaluations automatiques s'appliquent sur le texte entier, en s'appuyant par exemple sur des mesures dédiées aux systèmes MT ou des formules spécifiques. La figure 1 montre un schéma synthétisant les techniques l'évaluation existantes.

Il est à noter que l'évaluation s'effectue sur les textes simplifiés aussi bien que sur les textes originaux
complexes. Pour le premier cas comme nous l'avons mentionné plus haut, elle mesure la lisibilité des textes pour tester l'efficacité du système de simplification et la qualité de ces sorties. La deuxième vise à identifier à partir du texte original, les parties qui sont particulièrement complexes et qui doivent par conséquent être simplifiées.

La qualité du résultat généré par les systèmes de simplification de textes est généralement évaluée en utilisant une combinaison de mesures de lisibilité automatiques (mesure du degré de simplicité principalement) et d'évaluation humaine (mesure de grammaticalité, de simplicité et de préservation du sens).

<figure><img src="image_46.png" /><figcaption>FIGURE 1 – Évaluation des systèmes de SAT. Schéma inspiré de (Štajner & Saggion, 2018)</figcaption></figure>

## 5.1 Évaluation manuelle

L'évaluation manuelle (EM) se fait en mesurant certains critères sur les textes simplifiés en sortie à savoir : l'aisance (ou la facilité) de lecture qui mesure l'exactitude et la grammaticalité, le degré de simplicité et la préservation du sens qui mesure la correspondance du sens de la phrase simplifiée à celui de la phrase originale. En général, ces mesures sont données sur une échelle de 1 à 5. Plus le score est élevé, plus la qualité du texte simplifié en sortie est meilleure.

## 5.2 Évaluation automatique

Comme pour les nouvelles méthodes de SAT, leur évaluation en parallèle a eu sa part d'automatisation. En effet, l'EM présente quelques inconvénients, notamment le coût élevé, la consommation du temps, le manque d'adaptabilité, et la non-reproductibilité. L'évaluation automatique (EA) vient alors non pas pour remplacer l'EM mais plutôt pour la compléter. En effet, parfois elle ne mesure que le degré
de simplicité des sorties, contrairement à l'EM qui mesure la grammaticalité, la préservation du sens et la simplicité. Elle s'applique de l'une des manières suivantes :

**Formules de lisibilité** Depuis 1950, plus de 200 formules d'évaluation ont été développées pour l'anglais, or ce n'était pas le cas pour le Français où on ne retrouve que quelques travaux comme celui de (François & Watrin, 2011). Les toutes premières formules ont été calculées sur la base de la longueur des mots et la longueur moyenne des phrases seulement, parce que ces deux paramètres se corrèlent bien avec les tests de lecture, parmi ces formules : FKGL 'Flesch-Kincaid Grade Level index' (Kincaid et al., 1975); FRE 'Flesch Reading Ease score' (Flesch & Gould, 1949); Ces formules sont restées largement utilisées jusqu'à maintenant. D'autres formules comme Dale-Chall (Dale & Chall, 1948) ont été calculées sur la base de la longueur moyenne des phrases et de la proportion de mots hors le vocabulaire simple.

Cependant, ces formules présentent plusieurs lacunes. Par exemple, elles ne prennent en compte que les caractéristiques superficielles, en ignorant d'autres aspects importants contribuant à la difficulté du texte, tels que la cohérence, la densité du contenu, la capacité d'inférence<fnref n="2" /> du lecteur etc. Ils omettent également l'aspect interactif du processus de lecture.

L'avancement puissant en méthodes du TAL et des techniques du ML ont fait émerger de nouvelles approches pour l'évaluation de la lisibilité qui donnent de meilleurs résultats par rapport aux formules précédentes. (Petersen & Ostendorf, 2009) ont utilisé des modèles de langues<fnref n="3" /> et des SVM avec de nouveaux attributs tels que la hauteur moyenne de l'arbre syntaxique, le nombre moyen de phrases nominales et verbales, nombre moyen de syllabes par mot etc. (Feng et al., 2010), a montré que d'autres attributs tels que la longueur des chaînes lexicales, la densité des entités nommées dans le document, la longueur moyenne des phrases (qui est plus utile et moins coûteuse), se corrèlent mieux que le FKGL avec la compréhension du lecteur, notamment les apprenants d'une langue étrangère et les enfants avec troubles de lecture. (François & Fairon, 2012) ont présenté une nouvelle formule d'évaluation de la lisibilité pour 'le Français comme langue étrangère (FLE)', en utilisant les SVMs et 46 caractéristiques textuelles couvrant les trois niveaux lexical, syntaxique et sémantique, ainsi que des caractéristiques spécifiques au FLE tels que la fréquence moyenne des expressions multi-mots dans le texte, la nature du texte qui s'obtient en calculant certains indicateurs (le taux de ponctuation, présence des virgules etc.). (Vajjala & Meurers, 2014) ont utilisé un modèle de régression entraîné sur des documents entiers pour comparer la lisibilité des phrases parallèles alignés du corpus Wikipédia-SimpleWikipédia (Zhu et al., 2010).

**Mesures des systèmes de traduction automatique** En raison du développement large des systèmes de simplification de TA, il est devenu de plus en plus indispensable d'évaluer leurs performances, non seulement pour établir une comparaison, mais aussi pour savoir s'ils réalisaient des progrès. Cependant, l'évaluation de la traduction automatique est difficile car les langues naturelles sont très ambiguës et le contenu s'exprime différemment d'une langue à une autre.

Les techniques actuelles se basent principalement sur la comparaison entre les résultats produits par les systèmes de simplification et les textes simplifiés manuellement considérés 'de référence', ici on distingue différentes manières de faire : soit en fournissant une seule référence ou bien en donnant des références multiples pour améliorer la précision de la comparaison. D'autres mesures n'utilisent

<footnote n="2">2. Une opération mentale qui permet au lecteur de déduire les non-dits ou les éléments implicites dans un texte</footnote>

<footnote n="3">3. Prédisent la probabilité qu'une séquence de mots particulière se produise</footnote>
pas de textes de référence. En général, les mesures des systèmes MT évaluent la **similitude lexicale** par le moyen de l'ordre des mots dans les phrases, la distance de modification, et le chevauchement des séquences des mots. Des **caractéristiques linguistique** sont également pris en compte, telles que la syntaxe et la sémantique (l'étiquetage morpho-syntaxique ou POS-tagging, les structures des phrases, les synonymes, les entités nommées, les rôles sémantiques et les modèles de langage etc.) Ces deux catégories sont généralement inséparables, en effet certaines mesures de la première catégorie utilisent certaines caractéristiques linguistiques et vice versa. Les dernières recherches appliquent des modèles d'apprentissage **profond** pour l'évaluation. Nous présentons en particulier certaines mesures d'évaluation pour la similarité lexicale :

## 1. Distance des modifications

Elle se calcule en comptant le nombre minimum de changements à apporter au texte simplifié pour le transformer en texte de référence. On trouve :

- WER (Word Error Rate) : introduit par (Su et al., 1992), elle tient compte de l'ordre des mots. Les opérations possibles sont l'insertion, la suppression et la substitution des mots. Le nombre minimum des modifications est calculé par la formule suivante :

$$ WER = \frac{N(\text{Substitutions}) + N(\text{Insertions}) + N(\text{Suppressions})}{\text{LongueurRef}} $$

tel que : N(x) est le nombre d'opérations x effectuées et LongueurRef est la longueur de la phrase de référence. Une des faiblesses de WER est qu'elle ne tient pas compte de l'ordre des mots correctement, en effet elle est très réduite lorsque l'ordre d'un mot ne correspond pas à celui du texte de référence (Fausses phrases).

- PER (Position-independent Word Error Rate) : proposée par (Tillmann et al., 1997) pour résoudre ce problème de fausses phrases, en ignorant l'ordre des mots lors de la reconstitution de la phrase de référence. La mesure se fait en calculant le nombre de fois qu'un mot apparaît identiquement dans les deux phrases (simplifié-référence) qui est donné par le paramètre 'Correct', et selon la différence en longueur entre les deux phrases, le reste des mots sont insérés ou supprimés. Voici la formule correspondante :

$$ PER = 1 - \frac{\text{Correct} - \text{Max}(0, \text{LongSortie} - \text{LongRef})}{\text{LongRef}} $$

## 2. Précision et rappel

Ce sont deux propriétés qui ont été confirmées par plusieurs mesures comme étant essentielles pour une corrélation élevée avec les jugements humains. Nous introduisons :

- BLEU (Bilingual Evaluation Understudy) : est la plus utilisée et la moins coûteuse, proposée par (Papineni et al., 2002). Elle montre une corrélation élevée avec les jugements humains pour la grammaticalité et la préservation du sens, elle n'est cependant pas bien adaptée pour l'évaluation de la simplicité des résultats. Le calcul du score se fait en premier lieu au niveau de chaque segment du texte simplifié (généralement une phrase), ensuite un score total correspondant à la moyenne géométrique est calculé, elle est basée sur le calcul de la précision pour des n-grammes de taille 1 à 4 avec un coefficient de pénalité de brièveté (BP), et donne des poids égaux pour les différents n-grammes. Le résultat est toujours compris entre 0 et 100 %, plus il est proche de 100, meilleure est la simplification. Cette mesure pénalise fortement la réorganisation des mots et le raccourcissement des phrases. Sa formule étant :

$$ BLEU = BP * \exp \sum_{i=1}^{n} \lambda_{n} \log Precision_{n} $$
$$ BP = \begin{cases} 1 & \text{si } c > r \\ \exp(1-r/c) & \text{si } c \le r \end{cases} $$

Où "c" est la longueur totale de la phrase simplifiée; "r" la longueur de la phrase de référence, et si plusieurs références existent, celle de longueur la plus proche à celle de la phrase simplifiée est choisie; $\lambda_n$ sont des poids positifs de précision pour les n-grammes (leur somme est à 1) généralement pris identiques.

— SARI : proposée récemment par (Xu et al., 2016). Elle mesure la simplicité à travers des opérations d'ajout, de suppression et de conservation. Elle se différencie par le fait que la phrase simplifiée est comparée aux phrases de référence ainsi que la phrase d'origine non simplifiée. SARI a montré une forte corrélation avec les jugements humain pour la simplicité et est actuellement la principale mesure utilisée pour évaluer les modèles de simplification. Sa formule :

$$ SARI = c1 * F_{ajout} + c2 * F_{conservation} + c3 * F_{suppression} $$

$$ F_{oper} = \frac{2*P_{oper}*R_{oper}}{R_{oper} + P_{oper}} \mid P_{oper} = \frac{1}{k} * \sum_{n=1}^{k} p_{oper}(n) \mid R_{oper} = \frac{1}{k} * \sum_{n=1}^{k} r_{oper}(n) $$

Tel que : c1 = c2 = c3 = 1/3; "k" représente l'ordre le plus grand des n-grammes; oper ∈ {ajout, conservation, suppression}; $p_{oper}(n)$ et $r_{oper}(n)$ représentent respectivement la précision et le rappel des n-grammes correspondants à l'opération en question.

— F-mesure : c'est une combinaison de la précision P et du rappel R, elle était d'abord adoptée par la recherche d'information, ensuite par l'extraction d'information et l'évaluation des systèmes de simplification TA. La formule utilisée étant :

$$ F_{\beta} = (1 + \beta^2) \frac{P * R}{R + \beta^2 * P} $$

### 3. Ordre des mots

L'ordre des mots est un facteur très significatif pour évaluer la similarité lexicale. La diversité linguistique permet toutefois différentes apparences ou structures pour une phrase, le défi est donc de pouvoir appliquer la pénalité sur les mots qui sont vraiment incorrects (des phrases mal structurées) plutôt que sur des mots corrects avec un ordre différent. Au contraire, une phrase simplifiée ayant un ordre de mots différent de celui de la référence mais correcte est un vrai point d'intérêt, vu que ça permettra éventuellement une meilleure représentation de l'information dans la phrase d'une manière pouvant être plus claire est plus simple que dans la phrase référence. On trouve les mesures : ATEC (Assessment of Text Essential Characteristic), PORT (Precision-Order-Recall MT Evaluation Metric for Tuning), LEPOR (Length Penalty, Precision, n-gram Position difference Penalty and Recall) etc.

## 6 Conclusion et perspectives

Nous avons présenté à travers cet article, l'état de l'art en simplification de texte. Cette dernière est définie comme un processus permettant de modifier des textes difficiles afin de les rendre plus simples et plus accessibles à certaines catégories de lecteurs. Nous avons élaboré en premier lieu une typologie de phénomènes problématiques comprenant trois niveaux linguistiques (Lexical, syntaxique
et discursif). Ensuite nous avons abordé les différents types d'approches pour la simplification, notamment l'approche par règles, l'approche statistique et l'approche hybride. Les approches statistiques consistent actuellement à faire en grande partie de l'apprentissage automatique/profond qui prennent de plus en plus de l'ampleur en TAL, notamment en simplification de textes. Finalement, nous avons introduit certaines mesures d'évaluation pour les systèmes de simplification telles que les formules de lisibilité et les mesures des systèmes MT.

La simplification de textes implique toutefois des problèmes majeurs liés à l'apprentissage et à la compréhension, vu qu'elle introduit des erreurs et des ambiguïtés lors de la modification du texte original. De plus, une simplification excessive risque de limiter l'apprentissage et la transmission d'informations. Nous travaillons par conséquent sur un nouveau paradigme que nous appelons l'explicitation de textes, et qui permet de ne pas modifier le texte original. Cela consiste en revanche à adapter les approches de simplification de bout en bout (qui intègrent à la fois la détection et la simplification des difficultés), de sorte à faire la détection mais à traiter les phénomènes problématiques différemment, en enrichissant le texte original d'éléments explicitant ses informations implicites et difficiles. Les architectures récentes à base de transformeurs peuvent être très intéressantes dans le cadre de l'explicitation, et notre travail consiste à proposer un tel système d'explicitation pour deux catégories de lecteurs (Les enfants dyslexiques et les apprenants du français comme langue étrangère).

## Remerciements

Nous remercions Solen QUINIOU et Béatrice DAILLE pour leur encadrement et leur appui scientifique. Nous remercions Lynda SAID LHADJ pour son support et pour le partage de savoir-faire et de connaissances. Merci à tous les trois pour la relecture de l'article.

## Références

ALUI'SIO S. M. & GASPERIN C. (2010). Fostering digital inclusion and accessibility : the porsimples project for simplification of portuguese texts. In *Proceedings of the NAACL HLT 2010 Young Investigators Workshop on Computational Approaches to Languages of the Americas*, p. 46–53 : Association for Computational Linguistics.

ANDERSON R. C. & DAVISON A. (1986). Conceptual and empirical bases of readability formulas. *Center for the Study of Reading Technical Report; no. 392*.

APROSIO A. P., TONELLI S., TURCHI M., NEGRI M. & DI GANGI M. A. (2019). Neural text simplification in low-resource conditions using weak supervision. In *Proceedings of the Workshop on Methods for Optimizing and Evaluating Neural Language Generation*, p. 37–44.

BROUWERS L., BERNHARD D., LIGOZAT A.-L. & FRANÇOIS T. (2012). Simplification syntaxique de phrases pour le français (syntactic simplification for french sentences)[in french]. In *Proceedings of the Joint Conference JEP-TALN-RECITAL 2012, volume 2 : TALN*, p. 211–224.

BROUWERS L., BERNHARD D., LIGOZAT A.-L. & FRANÇOIS T. (2014). Syntactic sentence simplification for french. In *Proceedings of the 3rd Workshop on Predicting and Improving Text Readability for Target Reader Populations (PITR)*, p. 47–56.

CARROLL J., MINNEN G., CANNING Y., DEVLIN S. & TAIT J. (1998). Practical simplification of english newspaper text to assist aphasic readers. In *Proceedings of the AAAI-98 Workshop on Integrating Artificial Intelligence and Assistive Technology*, p. 7–10.
CHANDRASEKAR R., DORAN C. & SRINIVAS B. (1996). Motivations and methods for text simplification. In *Proceedings of the 16th conference on Computational linguistics-Volume 2*, p. 1041–1044 : Association for Computational Linguistics.

COSTER W. & KAUCHAK D. (2011). Learning to simplify sentences using wikipedia. In *Proceedings of the workshop on monolingual text-to-text generation*, p. 1–9 : Association for Computational Linguistics.

DALE E. & CHALL J. S. (1948). A formula for predicting readability : Instructions. *Educational research bulletin*, p. 37–54.

FENG L., JANSCHE M., HUENERFAUTH M. & ELHADAD N. (2010). A comparison of features for automatic readability assessment. In *Proceedings of the 23rd international conference on computational linguistics : Posters*, p. 276–284 : Association for computational linguistics.

FLESCH R. & GOULD A. J. (1949). *The art of readable writing*, volume 8. Harper New York.

FRANÇOIS T. & FAIRON C. (2012). An ai readability formula for french as a foreign language. In *Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning*, p. 466–477 : Association for Computational Linguistics.

FRANÇOIS T. & WATRIN P. (2011). Quel apport des unités polylexicales dans une formule de lisibilité pour le français langue étrangère. *Traitement Automatique des Langues Naturelles*, p. 49.

GALA N., FRANÇOIS T., JAVOUREY-DREVET L. & ZIEGLER J. C. (2018). La simplification de textes, une aide à l’apprentissage de la lecture. *Langue française*, (3), 123–131.

GALA N. & ZIEGLER J. (2016). Reducing lexical complexity as a tool to increase text accessibility for children with dyslexia. In *Computational Linguistics for Linguistic Complexity, workshop at COLING (Computational Linguistics conference)*, Osaka, Japan. HAL : hal-01757941.

INUI K., FUJITA A., TAKAHASHI T., IIDA R. & IWAKURA T. (2003). Text simplification for reading assistance : a project note. In *Proceedings of the second international workshop on Paraphrasing-Volume 16*, p. 9–16 : Association for Computational Linguistics.

KALCHBRENNER N. & BLUNSOM P. (2013). Recurrent continuous translation models. In *Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing*, p. 1700–1709.

KINCAID J. P., FISHBURNE JR R. P., ROGERS R. L. & CHISSOM B. S. (1975). Derivation of new readability formulas (automated readability index, fog count and flesch reading ease formula) for navy enlisted personnel.

PAETZOLD G. H. & SPECIA L. (2013). Text simplification as tree transduction. In *Proceedings of the 9th Brazilian Symposium in Information and Human Language Technology*.

PAPINENI K., ROUKOS S., WARD T. & ZHU W.-J. (2002). Bleu : a method for automatic evaluation of machine translation. In *Proceedings of the 40th annual meeting on association for computational linguistics*, p. 311–318 : Association for Computational Linguistics.

PETERSEN S. E. & OSTENDORF M. (2009). A machine learning approach to reading level assessment. *Computer speech & language*, 23(1), 89–106.

QUINIOU S. & DAILLE B. (2018). Towards a Diagnosis of Textual Difficulties for Children with Dyslexia. In *11th International Conference on Language Resources and Evaluation (LREC)*, Miyazaki, Japan. HAL : hal-01737726.

SAGGION H., ŠTAJNER S., BOTT S., MILLE S., RELLO L. & DRNDAREVIC B. (2015). Making it simplext : Implementation and evaluation of a text simplification system for spanish. *ACM Transactions on Accessible Computing (TACCESS)*, 6(4), 1–36.
SERETAN V. (2012). Acquisition of syntactic simplification rules for french.

SIDDHARTHAN A. (2006). Syntactic simplification and text cohesion. *Research on Language and Computation, 4*(1), 77–109.

SIDDHARTHAN A. & KATSOS N. (2010). Reformulating discourse connectives for non-expert readers. In *Human Language Technologies: The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics*, p. 1002–1010 : Association for Computational Linguistics.

SIDDHARTHAN A. & MANDYA A. (2014). Hybrid text simplification using synchronous dependency grammars with hand-written and automatically harvested rules. In *Proceedings of the 14th Conference of the European Chapter of the Association for Computational Linguistics*, p. 722–731.

SPECIA L. (2010). Translating from complex to simplified sentences. In *International Conference on Computational Processing of the Portuguese Language*, p. 30–39 : Springer.

ŠTAJNER S., EVANS R., ORASAN C. & MITKOV R. (2012). What can readability measures really tell us about text complexity. In *Proceedings of the Workshop on Natural Language Processing for Improving Textual Accessibility (NLP4ITA)*, p. 14–21 : Citeseer.

ŠTAJNER S. & SAGGION H. (2018). Data-driven text simplification. In *Proceedings of the 27th International Conference on Computational Linguistics : Tutorial Abstracts*, p. 19–23.

SU K.-Y., WU M.-W. & CHANG J.-S. (1992). A new quantitative quality measure for machine translation systems. In *Proceedings of the 14th conference on Computational linguistics-Volume 2*, p. 433–439 : Association for Computational Linguistics.

SURYA S., MISHRA A., LAHA A., JAIN P. & SANKARANARAYANAN K. (2018). Unsupervised neural text simplification. *arXiv preprint arXiv :1810.07931*.

TILLMANN C., VOGEL S., NEY H., ZUBIAGA A. & SAWAF H. (1997). Accelerated dp based search for statistical translation. In *Fifth European Conference on Speech Communication and Technology*.

VAJJALA S. & MEURERS D. (2014). Assessing the relative reading level of sentence pairs for text simplification. In *Proceedings of the 14th Conference of the European Chapter of the Association for Computational Linguistics*, p. 288–297.

VASWANI A., SHAZEER N., PARMAR N., USZKOREIT J., JONES L., GOMEZ A. N., KAISER Ł. & POLOSUKHIN I. (2017). Attention is all you need. In *Advances in neural information processing systems*, p. 5998–6008.

WILLIAMS S. & REITER E. (2008). Generating basic skills reports for low-skilled readers. *Natural Language Engineering, 14*(4), 495–525.

XU W., NAPOLES C., PAVLICK E., CHEN Q. & CALLISON-BURCH C. (2016). Optimizing statistical machine translation for text simplification. *Transactions of the Association for Computational Linguistics, 4*, 401–415.

ZHANG X. & LAPATA M. (2017). Sentence simplification with deep reinforcement learning. In *Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing*, p. 584–594, Copenhagen, Denmark : Association for Computational Linguistics. DOI : 10.18653/v1/D17-1062.

ZHU Z., BERNHARD D. & GUREVYCH I. (2010). A monolingual tree-based translation model for sentence simplification. In *Proceedings of the 23rd international conference on computational linguistics*, p. 1353–1361 : Association for Computational Linguistics.
# Évolution phonétique des langues et réseaux de neurones :
travaux préliminaires

Clémentine Fourrier

Inria, 2 rue Simone Iff, 75012 Paris, France

clementine.fourrier@inria.fr

## RÉSUMÉ

La prédiction de cognats est une tâche clef de la linguistique historique et présente de nombreuses similitudes avec les tâches de traduction automatique. Cependant, alors que cette seconde discipline a vu fleurir l'utilisation de méthodes neuronales, celles-ci restent largement absentes des outils utilisés en linguistique historique. Dans ce papier, nous étudions donc la performance des méthodes neuronales utilisées en traduction (les réseaux encodeur-décodeur) pour la tâche de prédiction de cognats. Nous nous intéressons notamment aux types de données utilisables pour cet apprentissage et comparons les résultats obtenus, sur différents types de données, entre des méthodes statistiques et des méthodes neuronales. Nous montrons que l'apprentissage de correspondances phonétiques n'est possible que sur des paires de cognats, et que les méthodes statistiques et neuronales semblent avoir des forces et faiblesses complémentaires quant à ce qu'elles apprennent des données.

## ABSTRACT

### Sound change and neural networks: preliminary experiments

Cognate prediction is a key task in historical linguistics that presents a number of similarities with machine translation. However, although neural methods are now widespread in machine translation, they are still largely unused in historical linguistics. In this paper, we study the performance of neural methods (more specifically encoder-decoder networks) for the task of cognate prediction. We focus in particular on the types of data that can be used for this task, and compare the performance of statistical and neural methods. We show that sound correspondances can only be learned using cognate datasets, and that statistical and neural methods seem to have complementary strengths and weaknesses regarding what they learn about the data.

**MOTS-CLÉS** : Changements phonétiques, réseaux de neurones, prédiction de cognats, linguistique historique.

**KEYWORDS:** Regular sound changes, neural networks, cognate prediction, historical linguistics.

## 1 Contexte

Osthoff et al. (2014) furent les premiers à formaliser la notion de régularité des changements phonétiques, pierre angulaire de la méthode comparative sur laquelle reposent toutes les études réalisées depuis en phonétique historique. Leur observation empirique était la suivante : une transformation diachronique d'un phone en un autre phone, dans un contexte donné, est régulière et sans exception ; à ce titre, tous les mots contenant ce même phone dans ce même contexte vont eux aussi subir cette transformation phonétique. Cette observation fut rendue possible par la comparaison des représentations.

<figure><img src="image_47.png" /></figure>
tions phonétisées d'ensembles de mots appelés cognats<fnref n="1" />, qui permit d'identifier des motifs récurrents dans les correspondances phonétiques.

L'utilisation itérative de cette méthode pour, successivement, identifier de nouvelles règles de changement phonétique en comparant des cognats, puis trouver des cognats inédits grâce aux règles nouvellement identifiées, constitue le cœur de la phonétique historique, et permet de définir deux de ses tâches principales : l'identification de cognats et la prédiction de changements phonétiques.

Avec l'émergence des méthodes informatiques, de nouvelles façons de traiter ces tâches, s'appuyant sur le traitement massif de nombreuses données, virent le jour. Une grande majorité d'entre elles reposent sur des comparaisons automatiques de lexèmes, qui combinent des méthodes d'alignement phonétique, soit avec des calculs de distances de type Levenshtein ou Turchin, soit avec des méthodes d'agrégation (List et al. (2017) font une comparaison de ces différents méthodes). Plus récemment, certains travaux commencèrent à capitaliser sur les fortes similitudes entre les tâches précédemment décrites et la traduction automatique : les deux visent à apprendre le passage d'une séquence d'éléments ordonnés à une autre séquence d'éléments ordonnés (problème « *many to many* »). Dans cette optique, Beinborn et al. (2013) utilisent Moses, logiciel appliquant des méthodes de traduction statistique (Koehn et al., 2007), pour de la prédiction de cognats (avec une définition large de cognat).

Cependant, le domaine de la traduction automatique s'est maintenant enrichi de méthodes neuronales, et, au vu de leur prééminence dans la discipline, on est en droit de se demander pourquoi ces méthodes n'ont quasiment jamais été appliquées à l'heure actuelle pour les problématiques de linguistique historique, notamment en ce qui concerne le modèle de référence de la traduction : l'encodeur-décodeur. A notre connaissance, le seul travail de recherche réalisé pour l'instant sur l'application de cette architecture à ces problématiques est le rapport de mémoire de Dekker (2018), dont les conclusions sont peu reluisantes : pour la tâche de prédiction de cognats, un simple perceptron surpasse les réseaux récurrents de type encodeur-décodeur (en utilisant 1016 formes phonétisées appartenant à une centaine de langues).

Ces travaux ont donc soulevé la problématique suivante : est-il possible d'utiliser des réseaux de neurones de type encodeur-décodeur pour apprendre des correspondances phonétiques, et si oui, sur quel type de données ?

Nous tentons de répondre à ces questions, avec quelques expériences préliminaires. En premier lieu, nous étudions les types de données sur lesquelles il est possible d'apprendre des correspondances phonétiques, et notamment s'il est possible de pallier le faible nombre de données de cognats en utilisant des lexiques bilingues. La seconde expérience s'intéresse à la pertinence de l'utilisation et au paramétrage de réseaux de neurones pour cette tâche. Enfin, les dernières expériences visent à étendre, de façon préliminaire, ces résultats à des données réelles.

<footnote n="1">1. Des cognats sont des mots de langues différentes, descendants d'un même « mot-ancêtre » commun, celui-ci appartenant à une langue parente de toutes les langues concernées. Ces mots ont donc vécu toutes les évolutions phonétiques de leurs langues respectives. Par exemple, les mots polonais *być* ‘être’, *tchèque být* ‘id.’ et *lituanien būti* ‘id.’ sont tous cognats, et descendent d’un ancêtre commun en proto-balto-slave.</footnote>
# 2 Cadre expérimental

## 2.1 Tâche à résoudre

Dans cet article, nous désirons étudier si un modèle neuronal peut apprendre des correspondances phonétiques. Nous définissons à cet effet la tâche d'intérêt comme étant la « traduction » de cognats phonétisés d'une langue vers une autre.

Cette tâche n'est pas triviale, et ce pour plusieurs raisons. Déjà, les données de cognats sont rares. Les jeux de cognats font en général de 100 à 200 mots, ce qui est très peu pour apprendre avec des méthodes neuronales sans sur-apprentissage (ces méthodes comprenant elles-même plusieurs centaines de poids mathématiques à ajuster). Ensuite, c'est une tâche qui peut présenter des ambiguïtés importantes, selon la direction de prédiction étudiée. Si l'on va d'une langue mère vers sa langue fille, les changements phonétiques sont strictement réguliers, et à un mot de la langue mère est associé un seul mot de la langue fille, sans ambiguïtés. Mais la transformation inverse n'est pas évidente : un mot de la langue fille pourrait, formellement, descendre de plusieurs mots de la langue mère<fnref n="2" />. Pour cette raison, nous demanderons à nos modèles de produire plusieurs prédictions, de une à trois, et nous comparerons l'impact du nombre de réponse prédites sur la précision. Enfin, les données qui sont accessibles sont généralement bruitées, et à ce titre, présentent un défi supplémentaire : en apprendre les correspondances phonétiques sans en apprendre le bruit.

## 2.2 Modèle étudié : modèle neuronal (MEDeA)

L'architecture neuronale que nous utilisons est un des modèles de référence en traduction automatisque : l'encodeur-décodeur (Sutskever et al., 2014) avec attention (Bahdanau et al., 2015; Luong et al., 2015). Ce type de modèle transforme l'entrée (une séquence ordonnée, de phones dans notre cas, de mots en traduction automatique) en une représentation intermédiaire vectorielle (« *hidden representation* ») grâce à l'encodeur, une succession de réseaux de neurones récurrents. Cette représentation intermédiaire est ensuite lue par le décodeur, qui prédit chaque phone (resp. mot) de la séquence finale successivement (dans la langue de sortie) en fonction de l'enchaînement des phones (resp. mots) précédemment prédits. Pour cet article, nous utilisons notre implémentation de cet algorithme, MEDeA (Multiway Encoder Decoder Architecture, en Python et PyTorch), qui utilise un encodeur différent pour chaque langue d'entrée, et un décodeur indépendant, avec sa propre attention, et différent pour chaque langue de sortie. Pour contraindre la représentation intermédiaire à un seul espace, le réseau apprend sur toutes les paires de langues possibles (y compris d'une langue vers elle-même). Notre architecture permet de passer d'un grand nombre de langues à un grand nombre de langues identiques ou non.

<footnote n="2">2. Par exemple, considérons un son [son1], dans la langue mère, qui évolue régulièrement en [son2] dans sa langue fille, tandis que [son2] dans la langue mère reste [son2] dans la langue fille. Pour passer de la langue mère à la langue fille, la situation ne présente pas d'ambiguïté : [son1] devient [son2], et [son2] devient [son2]. Par contre, à l'inverse, si on a [son2] dans la langue fille, il peut correspondre à [son1] comme à [son2] dans la langue mère.
Prenons un exemple concret. Dans certains cas, le [b] latin évolue en un [v] en italien, comme pour [ka'bal.lus], 'cheval' qui devient en italien [ka'va:lo] 'id.' Cependant, le son [v] latin reste un [v] en italien, comme dans [vita] 'vie', identique dans les deux langues. Un [v] italien correspond-il à un [v] ou à un [b] initial en latin ? Remonter de la langue fille à la langue mère présente ici une ambiguïté.</footnote>
## 2.3 Modèle de référence : modèle statistique (Moses)

Moses est le modèle statistique de référence en traduction automatique statistique (Koehn et al., 2007). Il fonctionne en deux étapes. Pour la première, l'entraînement, les données bilingues sont tokenisées et alignées avec l'aide de GIZA++ (Och & Ney, 2003), puis servent à l'apprentissage d'un modèle de langue tri-gramme de la langue de sortie, d'un tableau de correspondances entre les phones de la langue d'entrée et de la langue de sortie, et un modèle de réorganisation pour gérer l'ordre des phones. Lors de la seconde étape, la mise au point (« *fine tuning* »), les poids respectifs de chacun de ces modèles dans le système global sont ajustés grâce à un jeu de données de développement. Il est à noter qu'une différence notable entre le modèle neuronal et le modèle statistique est que le second ne peut apprendre que la traduction d'une langue vers une autre, là où le modèle neuronal apprend la correspondance de plusieurs langues en même temps.

## 2.4 Métrique d'évaluation : BLEU

Notre métrique d'évaluation est BLEU (Papineni et al., 2002), plus spécifiquement l'implémentation SacreBLEU (Post, 2018). Le score BLEU calcule le pourcentage d'éléments communs (mots en traduction automatique, phones dans notre cas) entre la séquence de départ et celle d'arrivée, des unigrammes aux quadrigrammes d'éléments. La critique usuelle de cette métrique est qu'elle tend à mal noter des traductions correctes mais non présentes dans le jeu de référence; cette critique ne s'applique pas à nos expériences, dans la mesure où il n'existe qu'une seule « traduction » possible d'un cognat en son équivalent dans une autre langue.

# 3 En l'absence de jeux de cognats, les lexiques bilingues peuvent-ils être utilisés pour étudier l'évolution phonétique des langues ?

## 3.1 Données

Notre tâche est définie comme l'apprentissage, à partir de paires de cognats, de régularités phonétiques (issues des changements phonétiques réguliers que ces mots ont vécu dans leurs langues respectives). Cependant, les jeux de cognats, des plus classiques comme les listes de Swadesh (1955) à des versions plus récentes comme les initiatives de Dunn (2012) ou Dunn et al. (2016), sont de taille trop restreinte (d'une cinquantaine à quelques centaines de paires de mots) pour entraîner des réseaux de neurones. Nous avons donc décidé d'explorer l'utilisation de lexiques bilingues génériques, qui, pour des langues proches, incluent forcément des paires de cognats (en un nombre possiblement plus important que les jeux de référence<fnref n="3" />) au sein d'une majorité de paires qui, ne l'étant pas, constituent du bruit pour notre tâche.

Pour ces expériences préliminaires, nous nous sommes donc intéressés à deux types de données : des

<footnote n="3">3. Les jeux de références contiennent, au grand maximum, quelques centaines de paires de mots comme cognats attestés. On peut supposer que dans un lexique bilingue d'au moins une dizaine de milliers de mots se trouvent, en plus de ceux-ci, des cognats non attestés pour le moment, mais qui, par leur nature, contiennent les changements phonétiques que l'on cherche à étudier. Ce nombre est malheureusement difficilement quantifiable.</footnote>
<table><caption>TABLE 1 – Nombre de paires de mots par jeu de données</caption><thead><tr><th>Langues</th><th>PL-CZ</th><th>PL-LT</th><th>PL-IT</th></tr></thead><tbody><tr><td>Jeu d'entrainement (lexique bilingue)</td><td>13,216</td><td>6,290</td><td>17,158</td></tr><tr><td>Jeu de test (paires de cognats)</td><td>370</td><td>47</td><td>57</td></tr></tbody></table>

jeux de cognats (jeux de test), et des lexiques bilingues (jeux d'entraînement), entre du polonais (PL) et, de la langue la plus proche à la moins proche, du tchèque (CZ), du lituanien (LT), et de l'italien (IT).

### 3.1.1 Extraction et pré-traitement

EtymDB (Sagot, 2017) est une base de données étymologique extraite automatiquement du Wiktionary, comprenant des lexèmes (triplets de la forme «langue, lemme, sens représenté par une ou plusieurs glosses en anglais») reliés par différentes relations étymologiques typées, dont la relation « hérité de ». Pour générer les paires de cognats pour nos premières expériences, nous suivons les chemins entre les mots, considérant que deux d'entre eux sont cognats si jamais ils partagent un ancêtre dans une de leurs langues parentes communes, et en descendent en ligne droite<fnref n="4" />.

YaMTG (Hanoka & Sagot, 2014) est un graphe de traduction multilingue et libre extrait automatiquement du Wiktionary, et une des rares bases de données libres contenant nos langues d'intérêt. Nous en extrayons les entrées bilingues pour nos trois paires de langues, pour créer trois lexiques bilingues (après en avoir retiré les paires de mots contenant des caractères inattendus).

Ces deux jeux sont ensuite phonétisés avec Espeak (Duddington, 2015). Dans le cas où des paires de mots contiennent un lexème identique à l'entrée mais des traductions différentes dans la langue de sortie, ne sont conservées que les paires avec la distance de Levenshtein la plus courte (méthode permettant le meilleur rappel de cognat d'après List et al. (2017)).

### 3.1.2 Propriétés

Les jeux d'entraînement résultants (Table 1) comprennent environ 13 000 paires entre le polonais et le tchèque, 6 000 entre le polonais et le lituanien, et 17 000 entre le polonais et l'italien. Les jeux de cognats sont en moyenne 100 fois plus petits : 370 paires entre le polonais et le tchèque, contre seulement 47 entre le polonais et le lituanien, et 57 entre le polonais et l'italien.

<footnote n="4">4. Les ancêtres communs présents dans la base sont le slave commun, le proto-balto-slave et le proto-indo-européen pour le polonais et le tchèque, les deux derniers pour le polonais et le lituanien, et seulement le proto-indo-européen pour le polonais et l'italien.</footnote>
## 3.2 Paramètres expérimentaux

Après des expériences préliminaires, nous avons déterminé que les meilleurs paramètres pour le modèle neuronal, dans le cadre de cette expérience, étaient l'utilisation d'une couche cachée de type Gated Recurrent Units (GRU) de dimension 100 pour l'encodeur et le décodeur. Les décodeurs utilisent de plus l'attention « dot » de Luong (Luong et al., 2015). L'optimiseur est de type Adam, avec un taux d'apprentissage de 0,001.

Pour le modèle statistique, les paramètres utilisés sont ceux décrits précédemment.

Le jeu d'entraînement est séparé en 70%-30%, 80%-20%, et 90%-10% pour les étapes, respectivement, d'apprentissage et de mise au point. Chaque séparation est aléatoirement générée 10 fois, de façon à observer l'impact de la variation des tailles respectives de ces deux jeux sur l'entraînement. Dans notre cas, cette séparation n'ayant eu aucun impact statistiquement significatif sur les résultats, ceux-ci sont tous traités ensemble ici.

## 3.3 Résultats

<table><caption>TABLE 2 – Scores BLEU de MEDeA et Moses (moyenne sur 30 expériences).</caption><thead><tr><th>LANGUES</th><th>PL→CZ</th><th>PL→LT</th><th>PL→IT</th></tr><tr><td colspan="4" style="text-align: center;">Résultats sur les jeux de tests</td></tr></thead><tbody><tr><td>MEDeA</td><td>48.44 ± 1.13</td><td>19.22 ± 0.99</td><td>26.75 ± 1.05</td></tr><tr><td>Moses</td><td>54.43 ± 0.41</td><td>20.55 ± 0.62</td><td>28.37 ± 0.62</td></tr></tbody></table>

En observant la Table 2, le premier constat que nous faisons est que tous nos résultats sont masqués par une contrainte matérielle : la quantité de données d'entraînement. En effet, le jeu PL-LT est deux à trois fois plus petit que ses confrères, et il est le jeu avec les plus mauvais résultats. Cependant, si seule la taille des données avait un impact sur l'apprentissage, on s'attendrait à ce que le jeu le mieux prédit soit celui entre l'italien et le polonais, soit le plus gros jeu, alors que les meilleurs résultats sont ceux obtenus entre le polonais et le tchèque, de 20 points BLEU meilleurs pour un jeu d'entraînement 30% plus petit. Nous supposons donc que, sous réserve d'avoir suffisamment de données, plus des langues sont proches, plus leurs correspondances sont faciles à apprendre.

Le second constat est que la méthode neuronale est systématiquement moins bonne que la méthode statistique sur la tâche de prédiction de cognats après un entraînement sur des lexiques bilingues. Ceci peut indiquer soit que les méthodes neuronales de type encodeur-décodeur ne sont pas adaptées à cette tâche dans l'absolu, soit que les méthodes statistiques ont une meilleure capacité à extraire des informations de données très bruitées. Nous notons également que les résultats ne sont en moyenne pas très bons, et que la piste des lexiques bilingues ne semble pas être aussi intéressante qu'elle aurait pu. Pour différencier entre ces hypothèses, nous proposons les expériences suivantes.
# 4 Les méthodes neuronales conviennent-elles à l'apprentissage de correspondances phonétiques ? Expériences sur des données artificielles

## 4.1 Contexte

L'utilisation de lexiques bilingues pour apprendre à prédire des cognats s'est avérée être une piste peu satisfaisante. Cependant, deux raisons majeures peuvent être à l'origine des difficultés rencontrées par nos modèles : soit les réseaux de neurones ne sont pas aussi bien adaptés que les méthodes statistiques à l'apprentissage de ces changements, soit ils sont plus sensibles au bruit que des méthodes statistiques, et les lexiques bilingues constituaient des données trop bruitées pour l'apprentissage de notre tâche.

Il est possible d'invalider facilement une des hypothèses évoquées précédemment : si les réseaux de neurones ne conviennent pas à l'apprentissage des changements phonétiques, alors ils n'apprendront jamais aussi bien ou mieux que des méthodes statistiques, même sur des données parfaites. Par contre, s'ils sont capables d'apprendre sur des données parfaites, alors le problème vient plus probablement de leur sensibilité au bruit que de leur inadéquation à la tâche.

Pour comprendre ce qu'il est effectivement possible d'apprendre ou non, nous décidons de générer des lexiques phonétiques artificiels, composé d'une proto-langue, et de deux langues filles générées en appliquant à la langue mère des changements phonétiques réguliers. Cette méthode présente deux avantages : elle permet d'étudier la taille minimale de données nécessaires pour apprendre, et de maîtriser complètement les paramètres liés aux données elles-mêmes, de la richesse à la quantité de bruit. Cependant, il est important que les données, bien qu'artificielles, obéissent à des règles de construction et d'évolution réalistes, pour que les résultats des expériences puissent être transposables à des données réelles.

## 4.2 Données artificielles

Nous choisissons pour cela de créer une proto-langue à partir d'un inventaire de phones et d'une phonotactique (organisation syllabique des sons dans la langue), puis d'en dériver les langues filles à partir de l'application séquentielle de changements phonétiques plausibles.

Nous avons ainsi développé un algorithme, qui, à partir d'un inventaire de phones et d'une phonotactique, génère un lexique d'une taille choisie. Dans le cadre de ces expériences, nous choisissons de nous inspirer du latin pour la proto-langue, et des langues romanes pour ses langues filles. Nous utilisons donc trois sources historiques. Pour la génération de la proto-langue (PL) nous utilisons tout d'abord l'inventaire phonétique des langues romanes : chaque lexique généré en utilise les phones communs à toutes les langues et tire aléatoirement un sous-ensemble des phones moins courants. Nous utilisons ensuite une version simplifiée de la phonotactique du latin classique (inspirée de (Cser, 2016)), qui nous permet de générer des mots à partir d'un nombre de syllabes aléatoirement choisi, lesquelles sont construites en suivant les règles phonotactiques liées à leur emplacement au sein des mots. Enfin, la dernière source sont les changements phonétiques des langues romanes. Pour générer les langues filles, l'algorithme choisit aléatoirement un sous-ensemble de changements phonétiques parmi ceux possibles (dont l'apocope, l'épenthèse, la palatalisation, la lénition, la prothèse de voyelles et la diphtongaison), puis les applique successivement au lexique de la proto-langue pour générer le
lexique d'une langue fille.

Pour nos expériences, nous avons finalement généré, à partir d'une proto-langue (PL), deux langues filles (F1 et F2) avec 15 changements phonétiques chacune, soit 20 000 triplets de mots. Voici deux exemple du type de données phonétisées obtenues : [stra]_{PL} > [isdre]_{F1}, [estre]_{F2} et [zolpast]_{PL} > [zolbes]_{F1}, [zolpes]_{F2}

## 4.3 Paramètres expérimentaux

Notre but lors de ces expériences est double : déjà, vérifier si les méthodes neuronales peuvent apprendre, mais également, le cas échéant, déterminer si la quantité de données a un impact sur les performances relatives des deux types de modèles. Pour cette raison, nous réitérons les expériences pour différentes tailles de jeux de données : 500, 1000, 1500, 2000 et 3000 triplets de mots, divisées en 80% pour l'entraînement et 20% pour le test. Ces données sont choisies aléatoirement parmi les 20 000 triplets générés précédemment, selon 3 graines d'aléa (« *random seeds* ») différentes.

En ce qui concerne les modèles statistiques, 80% du jeu d'entraînement est utilisé pour leurs étapes d'apprentissage et 20% pour leurs étapes de mise au point ; un modèle statistique différent doit être entraîné par paire de langue possible.

Le modèle neuronal, quand à lui, utilise toutes les données d'entraînement pour l'apprentissage, de toutes les langues à toutes les langues en une seule fois ; la taille de couche cachée donnant les meilleurs résultats était de 25 après des expériences préliminaires<fnref n="5" />.

Les deux modèles prédisent de la meilleure aux trois meilleures réponses.

## 4.4 Résultats

Sur les données synthétiques dénuées de bruit, le modèle statistique comme le modèle neuronal apprennent très bien à prédire d'une langue fille (F1) à une autre langue fille (F2), et atteignent des scores très nettement supérieurs à ceux obtenus lors des expériences préliminaires sur les lexiques bilingues : entre 88 et 97 BLEU pour MEDeA et 90 à 96 pour Moses, soit des résultats équivalents, comme on peut le voir sur les colonnes F1-F2 et F2-F1 de la figure 1. Les réseaux de neurones peuvent donc apprendre à prédire des cognats d'une langue fille à une autre langue fille, à partir de données de cognats, si tant est que ces données soient de qualité et de quantité suffisante.

### 4.4.1 Impact de la direction de prédiction sur les résultats

Cependant, nous notons également que toutes les directions de prédicitions ne sont pas équivalentes. Prédire de la proto-langue (PL) à une langue fille (F) donne les meilleurs résultats (de 94 à 99 BLEU), tandis que prédire d'une langue fille à la langue mère est, de très loin, la tâche la plus difficile (de 60 à 80 BLEU). De plus, prédire la deuxième et la troisième meilleure réponse augmente considérablement les scores BLEU dans le cas des situations présentant une ambiguïté forte (F→PL), et ce quel que soit le modèle considéré.

<footnote n="5">5. La différence considérable de taille de la couche cachée entre cette expérience et la précédente s'explique par la différence de taille entre les données utilisées, d'un facteur de 3 à 20.</footnote>
<figure><img src="image_48.png" /><figcaption>FIGURE 1 – Scores BLEU pour les *n* meilleures prédicitions, à partir de 1000 paires de mots (en fonction de la direction de prédiction).</figcaption></figure>

4.4.2 Impact de la taille des données et du nombre de prédicitions sur les résultats

<figure><img src="image_49.png" /><figcaption>FIGURE 2 – Scores BLEU pour les *n* meilleures prédicitions.</figcaption></figure>

Le modèle statistique est systématiquement meilleur que le modèle neuronal quand on calcule le score BLEU sur la meilleure réponse seulement, encore que les performances se rejoignent quand on dépasse 2000 triplets de mots pendant l'entraînement, comme on peut le voir dans la figure 2.

Par contre, pour les deux ou trois meilleures réponses, les résultats changent : le modèle statistique est significativement meilleur pour de très petites tailles de données (500 triplets) 6, mais le modèle neuronal est bien meilleur pour un grand nombre de données (2000 triplets et plus). Sur la zone intermédiaire, entre 1000 et 1500 triplets, les performances sont à peu près équivalentes entre les modèles.

Cette expérience nous a donc permis de montrer que, pour des données idéales, un modèle neuronal

<footnote n="6">6. On suppose que le réseau de neurone est moins performant pour de petites tailles de données car il sur-apprend.</footnote>
est aussi performant qu’un modèle statistique à partir de 1500 paires de mots par couple de langue, notamment quand on s’intéresse aux situations impliquant de l’ambiguïté. Qu’en est-il sur des données réelles ?

# 5 Peut-on apprendre des changements phonétiques sur des données réelles ?

Pour déterminer si nos résultats sont généralisables, nous menons les mêmes expériences sur des données réelles. Il est attendu que ces expériences fonctionneront moins bien que les précédentes, dans la mesure où les données réelles contiennent du bruit, complètement absent de nos données artificielles.

## 5.1 Données réelles

Nous avons besoin de travailler sur un jeu de cognats de langues réelles liées impliquant une langue parente bien connue et plusieurs langues filles proches mais différentes. Nous choisissons d'étudier le latin (LA) comme langue mère et l'italien (IT) et l'espagnol (ES) comme langues filles.

Pour extraire nos jeux de données, nous utilisons EtymDB 2.0 (Fourrier & Sagot, 2020), la version la plus récente de la base de données EtymDB présentée à la section 3.1.1. Nous utilisons le même raisonnement pour extraire les cognats : 2 mots sont cognats s'ils partagent un ancêtre pour une de leurs langues parentes communes (ici, le latin, le latin pré-classique, le proto-italique et le proto-indo-européen pour les paires LA-IT et LA-ES, et ces langues plus le latin vulgaire pour la paire IT-ES). La phonétisation et le pré-traitement sont de nouveau effectués avec Espeak puis l'application d'une distance de Levensthein pour retirer les doublons erronés. Toute séquence de phone est précédée d'un token de début de phrase indiquant sa langue, et terminée par un token de fin de phrase.

Le jeu final contient 605 triplets LA-ES-IT, qui ont été manuellement ré-examinés, et serviront principalement de jeu de test (2/3 de test, 1/3 de train). Les données d'entraînement sont constituées de 5040 paires de cognats pour IT-LA, 4208 pour ES-LA, et 1801 pour ES-IT, desquelles sont retirées les données de test.

## 5.2 Paramètres expérimentaux

MEDeA est entraîné avec toutes les données sur toutes les combinaisons possibles entre les langues (IT, ES, LA), pendant 50 itérations (« epochs »). Nous l'entraînons sur 3 graines d'aléa, et comparons des tailles de couche cachée entre 12 et 50, et la précision de la meilleure aux trois meilleures prédictions. Après observations, nous constatons que pour ces jeux, la meilleure taille de couche cachée est de 37, avec des plongements vectoriels de taille 10, et ce sont les valeurs que nous utiliserons pour la suite des expériences.

Moses est entraîné sur les différentes combinaisons de paires de langues séparément, avec les mêmes divisions dans les données. Les données triples sont traitées comme des combinaisons de paires.