JINDAL N. & LIU B. (2006). Identifying comparative sentences in text documents. In *Proceedings of the 29th annual international ACM SIGIR conference on Research and development in information retrieval*, p. 244–251 : ACM.

KENNEDY C. (2007). Modes of comparison. In *Proceedings from the annual meeting of the Chicago Linguistic Society*, volume 43.1, p. 141–165 : Chicago Linguistic Society.

KIM H. D. & ZHAI C. (2009). Generating comparative summaries of contradictory opinions in text. In *Proceedings of the 18th ACM conference on Information and knowledge management*, p. 385–394 : ACM.

KUSNER M., SUN Y., KOLKIN N. & WEINBERGER K. (2015). From word embeddings to document distances. In *International Conference on Machine Learning*, p. 957–966.

LERNER J.-Y. & PINKAL M. (2003). Comparatives and nested quantification. In J. GUTIÉRREZ-REXACH, Éd., *Semantics : critical concepts in linguistics. Vol. V : Operators and sentence types*, chapitre 68, p. 70–87. Routledge.

LIN C.-Y. (2004). ROUGE : A package for automatic evaluation of summaries. In *Text Summarization Branches Out*, p. 74–81, Barcelona, Spain : Association for Computational Linguistics. Anthologie ACL : W04-1013.

LIU J., WAGNER E. & BIRNBAUM L. (2007). Compare&contrast : using the web to discover comparable cases for news stories. In *Proceedings of the 16th international conference on World Wide Web*, p. 541–550.

LOUIS A. & NENKOVA A. (2013). Automatically assessing machine summary content without a gold standard. *Computational Linguistics*, **39**(2), 267–300. doi : 10.1162/COLI_a_00123.

MCDONALD R. (2007). A study of global inference algorithms in multi-document summarization. In *European Conference on Information Retrieval*, p. 557–564 : Springer.

NAVIGLI R. & PONZETTO S. P. (2012). BabelNet : The automatic construction, evaluation and application of a wide-coverage multilingual semantic network. *Artificial Intelligence*, **193**, 217–250.

NENKOVA A. & PASSONNEAU R. (2004). Evaluating content selection in summarization : The pyramid method. In *Proceedings of the Human Language Technology Conference of the North American Chapter of the Association for Computational Linguistics : HLT-NAACL 2004*, p. 145–152, Boston, Massachusetts, USA : Association for Computational Linguistics.

PAUL M. J., ZHAI C. & GIRJU R. (2010). Summarizing contrastive viewpoints in opinionated text. In *Proceedings of the 2010 conference on empirical methods in natural language processing*, p. 66–76 : Association for Computational Linguistics.

PEDERSEN T., PATWARDHAN S. & MICHELIZZI J. (2004). Wordnet : : Similarity : measuring the relatedness of concepts. In *Demonstration papers at HLT-NAACL 2004*, p. 38–41 : Association for Computational Linguistics.

PISINGER D., RASMUSSEN A. & SANDVIK R. (2007). Solution of large-sized quadratic knapsack problems through aggressive reduction. *INF ORM S Journal on Computing*, **19**(2), 280–290. doi : 10.1287/ijoc.1050.0172.

PRAWER S. S. (1973). *Comparative literary studies : an introduction*. Duckworth London.

WAN X., JIA H., HUANG S. & XIAO J. (2011). Summarizing the differences in multilingual news. In *Proceedings of the 34th international ACM SIGIR conference on Research and development in Information Retrieval*, p. 735–744 : ACM.
WANG D., ZHU S., LI T. & GONG Y. (2009). Comparative document summarization via discriminative sentence selection. In *Proceedings of the 18th ACM conference on Information and knowledge management*, p. 1963–1966.

WANG D., ZHU S., LI T. & GONG Y. (2012). Comparative document summarization via discriminative sentence selection. *ACM Transactions on Knowledge Discovery from Data (TKDD)*, **6**, 12.

ZHAI C., VELIVELLI A. & YU B. (2004). A cross-collection mixture model for comparative text mining. In *Proceedings of the tenth ACM SIGKDD international conference on Knowledge discovery and data mining*, p. 743–748 : ACM.
Réseaux de neurones pour la résolution d'analogies
entre phrases en traduction automatique par l'exemple

Valentin Taillandier¹ Liyan Wang² Yves Lepage²

(1) École Normale Supérieure de Lyon, 46 allée d'Italie, 69007 Lyon, France

(2) Université Waseda, 2-7 Hibikino, Wakamatu, 808-0135 Kitakyûsyû, Japon

valentin.taillandier@ens-lyon.fr, wangliyan0905@toki.waseda.jp,

yves.lepage@waseda.jp

RÉSUMÉ

Cet article propose un modèle de réseau de neurones pour la résolution d'équations analogiques au niveau sémantique et entre phrases dans le cadre de la traduction automatique par l'exemple. Son originalité réside dans le fait qu'il fusionne les deux approches, directe et indirecte, de la traduction par l'exemple.

ABSTRACT

Neural networks for the resolution of analogies between sentences in EBMT

We introduce a neural network architecture for the resolution of semantic analogies between sentences
for the purpose of example-based machine translation. Our proposal merges the direct and indirect
approaches in example-based machine translation.

MOTS-CLÉS : Analogie, traduction par l'exemple, réseaux de neurones.

KEYWORDS: Analogy, example-based machine translation, neural networks.

1 Introduction

1.1 Approche directe en traduction par l'exemple

Dans l'approche directe de traduction automatique par l'exemple (Nagao, 1984), étant donnée une
phrase à traduire et un couple constitué d'une phrase exemple et de sa traduction, les similarités et les
différences entre la phrase à traduire et la phrase exemple sont identifiées, puis transférées en langue
cible en se fondant sur des connaissances symboliques ou autres.

Formellement, soit une phrase *D* dans une langue source *L* à traduire dans une langue cible *L*',
l'approche directe consiste à chercher un couple de phrases (*A*, *A*') dans un bi-corpus donné afin
de produire une phrase *D*', proposée comme traduction candidate, qui soit solution de l'équation
analogique bilingue *A* : *A*' :: *D* : *D*' (voir figure 1).

<figure><img src="image_27.png" /></figure>
he 's coming. : il est en train d' arriver. :: i am eating an apple. : ??

FIGURE 1 – Approche directe en traduction automatique par analogie. Une phrase en langue source correspond à une phrase en langue cible. De la même manière, à quelle phrase en langue cible correspond une nouvelle phrase en langue source ?

he 's coming. : i am coming. :: he 's eating an apple. : i am eating an apple.
il est en train d' arriver. : j'arrive. :: il est en train de manger une pomme. : ??

FIGURE 2 – Approche indirecte en traduction automatique par analogie. Une phrase en langue source (en haut à droite) est en relation d’analogie avec trois autres phrases en langue source (en haut). La traduction en langue cible de ces trois phrases étant connue (en bas), quelle est la phrase en langue cible en relation d’analogie avec elles, que l’on peut supposer traduction de la première phrase ?

## 1.2 Approche indirecte en traduction par l’exemple

Le problème de l’approche directe est la nécessaire expression explicite du transfert des différences par traduction. Afin de remédier à ce problème, l’approche indirecte en traduction automatique par l’exemple (Lepage & Denoual, 2005; Langlais et coll., 2008; Dandapat et coll., 2010) ne cherche pas un seul couple de phrases en traduction, mais trois. La traduction s’effectue en deux étapes : si l’analogie entre les quatre phrases en langue source tient, alors l’analogie en langue cible est tentée.

Formellement, soit la phrase *D* à traduire. On explore des triplets de couples de phrases en relation de traduction ((A, A'), (B, B'), (C, C')). Si l’analogie monolingue en langue source *A* : *B* :: *C* : *D* est vérifiée, on peut essayer la résolution monolingue en langue cible de l’analogie *A'* : *B'* :: *C'* : *D'* d’inconnue *D'* (voir figure 2). Différents algorithmes et méthodes de résolution d’analogies monolingues ont été proposés, soit par approche symbolique (Lepage, 1998; Langlais et coll., 2009; Lepage, 2017; Rhouma & Langlais, 2018; Rhouma, 2018), soit par apprentissage automatique (Kaveeta & Lepage, 2016).

L’approche indirecte suppose d’avoir accès à trois phrases dont la traduction est connue et formant une analogie avec la phrase à traduire. La partie en haut à gauche de la figure 3 montre un exemple de phrase à traduire. La figure est séparée en deux : à gauche, les phrases en langue source ; à droite, les phrases en langue cible. À gauche, trois phrases ont été trouvées pour former une analogie monolingue en langue source avec la phrase à traduire. Les traductions de ces trois phrases sont supposées connues. Elles peuvent provenir d’une mémoire de traduction, d’un corpus bilingue ou de précédentes épreuves de traduction. Elles sont représentées à droite de la figure. Résoudre l’analogie en langue cible (celle qui est représentée à droite du plan) permet d’obtenir la traduction souhaitée.

## 1.3 Fusion des approches directe et indirecte

L’approche directe peut être fusionnée avec l’approche indirecte. En effet la phase d’extraction de l’approche indirecte fait apparaître quatre nouvelles analogies bilingues dont deux pourraient permettre la résolution, par approche directe, de la traduction souhaitée (voir la figure 3, en haut à droite).
<figure><img src="image_28.png" /><figcaption>FIGURE 3 – En haut à gauche, l’approche indirecte consiste à résoudre la seule analogie monolingue, visualisée par des traits pleins. Mais on voit en haut à droite que deux analogies bilingues, données en traits pleins, peuvent aussi être utilisées. La fusion des deux approches directe et indirecte, visualisée en bas de la figure, consiste à utiliser ces trois analogies pour produire la traduction souhaitée.</figcaption></figure>

## 1.4 Contribution

La contribution essentielle de cet article est de montrer comment utiliser les deux analogies bilingues de l'approche directe en complément de la seule analogie monolingue de l'approche indirecte. Autrement dit, il s'agit de se fonder sur trois analogies pour obtenir une traduction.

Le premier pas dans cette direction consiste à utiliser la notion d'appariement aussi bien monolingue que bilingue. Cette notion est en effet unificatrice : elle permet de prendre en considération les trois analogies mentionnées plus haut, grâce aux techniques d'appariement issues par exemple de la traduction automatique statistique.

Le second pas consiste à ne pas se limiter à l'appariement mais à élargir à la notion de matrices de correspondances entre phrases. Il s'agit de passer d'une vue binaire, celle qui existait dans les approches en traduction automatique statistique, à une vue plus souple, grâce, par exemple, aux représentations vectorielles des mots. Ces représentations permettent en effet de calculer des valeurs réelles comme mesure de similarité ou de distance entre les mots de deux phrases, cela aussi bien de façon monolingue que bilingue, grâce, par exemple, aux représentations vectorielles multilingues de mots.

## 2 Matrices d'appariement mot à mot

Nous reformulons maintenant le problème en redonnant les notations nécessaires. Nous donnons aussi des informations plus précises sur les notions de similarité utilisées dans notre proposition.

Soit une phrase *D* dans une langue source *L*. Le problème de la traduction de *D* dans une langue
cible $\mathcal{L}'$ consiste à rechercher dans un corpus bilingue trois phrases A, B et C en langue source $\mathcal{L}$ qui soient telles que $A : B :: C : D$, (à ce sujet, voir p. ex., (Langlais, 2016)) puis à réutiliser leurs traductions en langue $\mathcal{L}', A', B'$ et $C'$, extraits de ce corpus bilingue, en les adaptant pour trouver une phrase $D'$ qui soit telle que :

$$ \left\{ \begin{array}{l} A' : B' :: C' : D' \\ B : B' :: D : D' \\ C : C' :: D : D' \end{array} \right. \qquad (1) $$

La phrase $D'$ est alors proposée comme traduction de D.

Si on ajoute le fait que la phrase D et sa traduction $D'$ peuvent être ajoutées au corpus bilingue, on aura alors reconnu, à la suite de (Collins & Somers, 2003), les principales étapes du raisonnement à partir de cas (Aamodt & Plaza, 1994) : la recherche de cas connus (angl. : retrieve), leur réutilisation (angl. : reuse), leur adaptation (angl. : revise) et la mémorisation du nouveau cas créé (angl. : retain).

Nous ne nous intéressons pas ici à la recherche de cas dans le corpus bilingue. Nous partons de quadruplets de phrases donnés (A, A'), (B, B'), (C, C') et (D, D'). En retirant l'une des phrases en langue cible, nous créons une instance du problème. La phrase retirée servira de référence lors de l'évaluation de la traduction obtenue.

Notre structure de données de base est celle de matrices d'appariement. Pour un couple de phrases, chacune vue comme une chaîne de mots, une matrice d'appariement mot à mot est composée de cases contenant chacune une valeur réelle reflétant la proximité entre les mots des deux phrases. Pour chacun des deux cas, monolingue et bilingue, nous utilisons une mesure de proximité différente.

Pour le cas monolingue, nous exploiterons des plongements lexicaux. Nous utiliserons la similarité couramment utilisée qui repose sur le calcul du cosinus entre les vecteurs représentant les mots. Pour deux mots $m_1$ et $m_2$, on posera donc :

$$ \mathrm{sim}(m_1, m_2) = \cos(\overrightarrow{m_1}, \overrightarrow{m_2}) \qquad (2) $$

Pour le cas bilingue, nous exploiterons les probabilités de traduction entre mots. On peut obtenir de telles probabilités, conditionnelles, à partir d'une table de traduction. Nous utiliserons la moyenne géométrique de telles probabilités conditionnelles. Pour deux mots m et $m'$, on posera donc :

$$ \mathrm{sim}(m, m') = \sqrt{p(m|m') \times p(m'|m)} \qquad (3) $$

Dans le cas où les deux mots n'apparaissent pas comme traduction possibles l'un de l'autre dans la table de traduction, la valeur est évidemment zéro.

Les deux mesures de proximité données ci-dessus ont évidemment la propriété de symétrie. Dans le cas où les deux mots sont égaux (cas monolingue) ou traduction l'un de l'autre sans variante possible (cas bilingue), la valeur de la proximité est 1.

On remarque bien sûr que l'utilisation de plongements lexicaux bilingues permet de se dispenser de table de traduction. De tels plongements bilingues permettent une vue unifiée. La formule (2) peut alors être utilisée dans le cas bilingue comme monolingue.

En toute généralité, étant données deux phrases X et Y n'appartenant pas nécessairement à la même langue, il est toujours possible de construire la matrice $M_{X,Y}$ dont les cases portent les valeurs des similarité entre les mots correspondant aux indices dans les phrases. La figure 4 donnent deux exemples de telles matrices. À gauche, entre deux phrases appartenant à la même langue ; à droite,
<figure><img src="image_29.png" /><figcaption>FIGURE 4 – Exemples de matrices d'appariement. À gauche, entre deux phrases françaises du corpus Tatoeba, avec des proximités calculées à l'aide de la formule 3. À droite, entre deux phrases traduction l'une de l'autre, issue de la partie anglais-français du même corpus, avec des proximités calculées à l'aide de la formule (3). La noirceur des cases reflète la proximité.</figcaption></figure>

entre deux phrases traduction l'une de l'autre. Pour notre problème, nous aurons affaire aux trois types de matrices suivantes :

— $M_{X,Y}$ entre deux phrases $X$ et $Y$ de la langue source $\mathcal{L}$;

— $M_{X',Y'}$ entre deux phrases $X'$ et $Y'$ de la langue cible $\mathcal{L}'$;

— $M_{X,X'}$ entre deux phrases traduction l'une de l'autre, et appartenant respectivement à $\mathcal{L}$ et à $\mathcal{L}'$.

# 3 Réseaux de neurones

## 3.1 Architectures proposées

Comme *baseline*, nous utiliserons une architecture de réseaux de neurones composée d'une unique couche dépourvue de fonction d'activation. Il s'agit donc d'une simple application affine. Elle permet de justifier l'usage des architectures plus complexes suivantes.

La première architecture *Architecture 1* est un perceptron multicouche à deux ou trois couches cachées de type *ReLu*. La couche de sortie est équipée de l'activation tanh pour imposer une sortie dans $[-1, 1]$. Cette architecture prend en entrée le vecteur composée de toutes les cellules de chacune des matrices d'entrée et retourne un vecteur composée de toutes les cellules des matrices de sorties. Dans cette architecture chacune des cellules d'entrée peut influer sur chacune des cellules de sorties.

La deuxième architecture *Architecture 2* exploite la remarque suivante. Chacune des matrices de sortie est impliquée dans deux analogies. Par exemple, la matrice $M_{B',D'}$ est impliquée dans les analogies $B: B' :: D: D'$ et $A' : B' :: C' : D'$. Cette matrice peut donc être calculée en utilisant les informations contenues dans les matrices $M_{B,D}$, $M_{B,B'}$, $M_{A',B'}$ et $M_{A',C'}$ (les matrices $M_{C,D}$ et $M_{C,C'}$ sont ici exclues du calcul de la matrice $M_{B',D'}$). On utilise donc un réseau de neurones unique pour chacune des matrices de sortie à calculer. Chacun des réseaux prend en entrée les quatre
matrices impliquées dans la résolution de la matrice de sortie et adopte la même architecture que celle donnée dans le paragraphe précédent (Architecture 1). Chacun des trois réseaux est donc un canal isolé d'un réseau plus grand contraignant les trois matrices de sortie à partir des six matrices d'entrée.

La dernière architecture *Architecture* 3 utilise un canal séparé pour chacune des cases des matrices de sortie. Chaque canal est conçu selon le modèle précédent (Architecture 2) et prend en entrée les quatre matrices impliquées dans la résolution de chaque case.

Bien que le nombre de neurones sur les couches externes soit fixé par les dimensions des entrées et des sorties des réseaux, le nombre de neurones des couches cachées peut varier. Pour une architecture donnée, il est possible de moduler le nombre de neurones de chaque couche cachée et donc de faire varier le nombre de paramètres entrainables. Un nombre de paramètre élevé tend à améliorer la précision d'un réseau mais requiert plus de puissance de calcul lors de l'apprentissage et l'utilisation. Une bonne architecture devant pouvoir fournir un bon compromis entre précision et coût, la figure 6 permet de comparer la capacité des différentes architectures selon le nombre de paramètres alloués.

Toutes les architectures précédentes produisent en sortie des estimations des valeurs contenues dans les trois matrices d'appariement $M_{D,D'}$, $M_{B',D'}$ et $M_{C',D'}$. La figure 7 donne un exemple de sortie réelle. On y distingue clairement trois parties qui correspondent aux trois matrices : en haut la matrice bilingue $M_{D,D'}$ avec au dessous les deux matrices monolingues $M_{B',D'}$ et $M_{C',D'}$.

## 3.2 Décodage des matrices en phrase de la langue cible

Le décodage des matrices en sortie en une phrase en langue cible est effectué à partir des valeurs de proximité données par les matrices d'appariement en sortie. Le mot $\hat{m}'_j$ à la position $j$ dans $D'$ est choisi par minimisation classique de l'erreur quadratique.

$$ \hat{m}'_j = \arg \min_{m' \in \mathcal{L}'} \sum_{X \in \{D, B', C'\}} \sum_{i=1}^{|X|} (M_{X,D'}[i,j] - \text{sim}(X[i], m'))^2 \quad (4) $$

Dans la formule (4), les matrices d'appariement en sortie $M_{D,D'}$, $M_{B',D'}$ et $M_{C',D'}$ apparaissent sour la forme $M_{X,D'}$ avec $X$ parcourant l'ensemble $\{D, B', C'\}$. Les valeurs trouvées dans ces matrices de sortie, sont interprétées comme des valeurs de similarité. Pour un mot candidat $m'$, elles sont comparées avec les similarités du mot $m'$ aux mots des phrases $D, B'$ et $C'$ donnés dans la formule (4) par $X[i]$, avec $X$ parcourant encore l'ensemble $\{D, B', C'\}$. Pour un problème similaire, (Kaveeta & Lepage, 2016) utilisent le même type de minimisation de l'erreur quadratique.

Dans l'expérience rapportée plus bas, les analogies utilisées, décrites dans la section 4, sont des analogies formelles. Pour de telles analogies, on sait que les mots de $D'$ apparaissent nécessairement soit dans $B'$, soit dans $C'$, soit dans les deux à la fois. Notre propos est de tester l'approche en toute généralité. C'est pourquoi la formule (4) ne fait pas une telle hypothèse : tout le vocabulaire de la langue cible est théoriquement exploré pour choisir chacun des mots $\hat{m}'_j$.

En pratique, cependant, avec une table de traduction, nous restreignons l'espace de recherche à un ensemble de mots candidats prédéfinis, construit en trois étapes. Nous construisons d'abord un premier ensemble de mots candidats qui correspond à l'ensemble des mots de la table de traduction qui sont traduction des mots de $A, B$ et $C$. Nous élargissons ensuite à un deuxième ensemble de mots candidats en ajoutant tous les mots de la langue cible qui font partie des vingt mots les plus proches
d'au moins un mot du premier ensemble. Enfin, pour construire le troisième et dernier ensemble de mots candidats, nous ajoutons au deuxième ensemble les cent mots les plus fréquents de la langue cible. Cet ajout se justifie par des expériences, non rapportées ici, qui ont montré que cela améliorait les scores de traduction.

# 4 Jeu de données

## 4.1 Corpus

Nous utilisons la partie français-anglais du corpus Tatoeba.org<fnref n="1" />. Chaque phrase a au plus dix mots. Toutes les analogie formelles de commutation (Lepage, 2003) entre phrases françaises d'une part et entre phrases anglaises d'autre part ont été extraites automatiquement grâce à une librairie dédiée au calcul des analogies (Fam & Lepage, 2018)<fnref n="2" />. L'intersection par traduction permet d'obtenir un jeu de quadruplets de bi-phrases ((A, A'), (B, B'), (C, C'), (D, D')) tels que la partie française, comme la partie anglaise, constitue une analogie. Nous avons obtenu de cette façon 327 461 quadruplets de bi-phrases.

En réordonnant les termes d'un quadruplet, on augmente facilement les données : trois autres quadruplets, vérifiant aussi les analogies dans les deux langues, sont obtenues grâce aux axiomes de l'analogie <fnref n="3" />. À partir de 327 461 quadruplets de bi-phrases, l'énumération des quatre formes équivalentes pour chaque analogie nous permet d'obtenir un jeu de données contenant 1 309 844 quadruplets de bi-phrases (327 461 × 4 = 1 309 844).

A des fins d'entraînement et de test, notre jeu de données a été divisé aléatoirement en trois parties distinctes :

- 60 % constitue le jeu d'entraînement;

- 20 % sert de jeu de validation : l'apprentissage est arrêté quand les performances sur le jeu de validation n'augmentent plus;

- les 20 % restants constituent le jeu de test.

Les statistiques sur les données sont présentées dans le tableau 1. Le jeu de test contient 261 969 analogies, soit autant de phrases à traduire. Beaucoup de phrases à traduire sont répétées dans le jeu de test : il n'y a en fait que 15 470 phrases anglaises distinctes. Il faut observer que certaines de ces phrases sont traduites différemment selon les analogies dans lesquelles elles interviennent. C'est ce que reflète le nombre supérieur de phrases françaises distinctes, 18 089, dans le tableau 1. Un exemple de phrase anglaise à traduire de deux façons différentes est donné dans la figure 5.

Enfin, on peut constater, chose caractéristique de la ressource Tatoeba utilisée, que le vocabulaire utilisé dans notre ressource n'est pas très riche : 1 450 mots différents en anglais et 2 533 en français sur l'ensemble de notre jeu de données. Ces chiffres sont donnés en dernière ligne dans le tableau 2.

<footnote n="1">1. https://tatoeba.org/</footnote>

<footnote n="2">2. http://lepage-lab.ips.waseda.ac.jp > Projects > Kakenhi 15K00317 > Tools - Nlg Module</footnote>

<footnote n="3">3. Voir (Lepage, 2003, p. 116). Il existe huit formes équivalentes de l'analogie qui sont en fait le groupe de transformations des coins du carré connu en algèbre sous le nom de $D_8$. Ici, pour notre problème, quatre formes redondantes sont éliminées par échange des moyens qui affirme que $A : B :: C : D \Leftrightarrow A : C :: B : D$.</footnote>
<table><caption>TABLE 1 – Statistique des données utilisées. Les nombres de phrases sont les nombres de phrases distinctes.</caption><thead><tr><th rowspan="2">Jeu de données</th><th rowspan="2">d'analogies</th><th colspan="2">de phrases</th><th colspan="2">Nombre<br>de mots / phrase</th><th colspan="2">de carac. / phrase</th></tr><tr><th>angl.</th><th>fr.</th><th>angl.</th><th>fr.</th><th>angl.</th><th>fr.</th></tr></thead><tbody><tr><td>entraînement</td><td>785 906</td><td>17 208</td><td>20 465</td><td>5,8±1,5</td><td>5,8±1,7</td><td>22,6±6,3</td><td>26,1±7,7</td></tr><tr><td>validation</td><td>261 969</td><td>15 461</td><td>18 129</td><td>5,7±1,5</td><td>5,8±1,7</td><td>22,4±6,2</td><td>25,9±7,6</td></tr><tr><td>test</td><td>261 969</td><td>15 470</td><td>18 089</td><td>5,7±1,5</td><td>5,8±1,7</td><td>22,4±6,2</td><td>25,9±7,6</td></tr><tr><td>total</td><td>1 309 844</td><td></td><td></td><td></td><td></td><td></td><td></td></tr></tbody></table>

<table><caption>TABLE 2 – Taille du vocabulaire pour les données utilisées. En comparant les tailles sur l'ensemble des données et celles pour chacune des parties, on observe qu'il existe un important recouvrement des vocabulaires des trois parties du jeu de données. On fait aussi la remarque classique qu'à contenu équivalent le nombre de mots distincts en français est plus important que celui de l'anglais.</caption><thead><tr><th rowspan="2">Jeu de données</th><th rowspan="2">Nombre<br>d'analogies</th><th colspan="2">Taille du vocabulaire</th></tr><tr><th>angl.</th><th>fr.</th></tr></thead><tbody><tr><td>entraînement</td><td>785 906</td><td>1 449</td><td>2 532</td></tr><tr><td>validation</td><td>261 969</td><td>1 416</td><td>2 459</td></tr><tr><td>test</td><td>261 969</td><td>1 428</td><td>2 463</td></tr><tr><td>total</td><td>1 309 844</td><td>1 450</td><td>2 533</td></tr></tbody></table>

## 4.2 Matrices d'appariement

Les matrices d'appariement sont produites automatiquement pour chaque quadruplet de bi-phrases. Elles se répartissent en deux groupes : celles qui n'impliquent pas $D'$, utilisées en entrée du système, et celles qui impliquent $D'$, qui servent de comparaison pour l'évaluation des sorties du système.

Pour les matrices monolingues, des modèles de plongement lexicaux pré-entrainés pour chacune des langues ont été utilisés (Bojanowski et coll., 2017)<fnref n="4" />. Pour les matrices bilingues, les valeurs des cases ont été calculées de deux manières différentes : d'une part, avec les probabilités d'une table de traduction obtenue à partir du corpus avec l'outil *Hieralign* (Wang & Lepage, 2017)<fnref n="5" /> ; d'autre part, à partir de l'alignement automatique des deux plongements monolingues précédents, au préalable toilettés<fnref n="6" />, avec l'outil MUSE (Artetxe et coll., 2018)<fnref n="7" />.

Les matrices d'appariement étant de dimensions variables selon les longueurs des phrases, nous leur donnons une taille fixe. Chaque phrase ayant moins de dix mots, nous re-dimensionnons les matrices à 10 × 10. Chaque mot d'une phrase est répété un même nombre de fois afin d'approcher au plus la longueur de dix mots. L'espace restant est rempli à l'aide d'un mot réservé de fin de phrase. Par exemple la phrase *Bonjour à tous* est re-dimensionnée en *Bonjour Bonjour à tous tous*.

<footnote n="4">4. https://fasttext.cc/docs/en/crawl-vectors.html.</footnote>

<footnote n="5">5. https://github.com/wang-h/Hieralign</footnote>

<footnote n="6">6. Nous éliminons les mots contenant un signe de ponctuation, les séquences de longueur supérieure à 21, et les mots contenant plus d'un tiret ou mélangeant les casse. Ce toilettage réduit la taille des plongements par deux environ.</footnote>

<footnote n="7">7. https://github.com/facebookresearch/MUSE</footnote>
<table><tr><td>he 's my best friend.</td><td>he 's a liar.</td><td>::</td><td>you 're my best friend.</td><td>you 're a liar.</td></tr><tr><td>c' est mon meilleur ami.</td><td>c' est un menteur.</td><td>::</td><td>tu es mon meilleur ami.</td><td>tu es un menteur.</td></tr><tr><td>i 'm not crazy.</td><td>you 're crazy.</td><td>::</td><td>i 'm not a liar.</td><td>you 're a liar.</td></tr><tr><td>je ne suis pas fou.</td><td>tu es fou.</td><td>::</td><td>je ne suis pas une menteuse.</td><td>tu es une menteuse.</td></tr><tr><td>he 's coming.</td><td>i am coming.</td><td>::</td><td>he 's eating an apple.</td><td>i am eating an apple.</td></tr><tr><td>il est en train d'arriver.</td><td>j' arrive.</td><td>::</td><td>il est en train de manger une pomme.</td><td>je mange une pomme.</td></tr></table>

FIGURE 5 – Exemples d’analogies en deux langues extraites de la partie anglais-français de Tatoeba. On observera que la même phrase anglaise à droite dans les deux premiers quadruplets de bi-phrases se traduit par deux phrases différentes en français. Cette ressource contient beaucoup de phrases ne différant que par un adjectif au masculin ou au féminin.

<figure><img src="image_30.png" /></figure>

FIGURE 6 – Perte moyenne sur le jeu de test après entraînement dans les expériences pour le choix de l’architecture. Pour rendre les architectures comparables entre elles, les pertes moyennes sont exprimées en fonction du nombre de paramètres entraînables alloué. L’architecture 2 à trois couches offre le meilleur rapport perte / nombre de paramètres.

<fin> <fin>. Ce re-dimensionnement conserve l’analogie formelle de commutation s’il est appliqué pareillement aux quatre phrases de l’analogie (Lepage, 2018).

# 5 Résultats et conclusion

## 5.1 Évaluation des modèles neuronaux

Les différentes architectures de réseaux de neurones présentées précédemment ont été entraînées puis testées sur le jeu de données décrit ci-dessus.

La fonction de perte utilisée est simplement l’erreur quadratique moyenne entre la sortie du réseau et la sortie attendue. La figure 6 présente la perte moyenne obtenue sur le jeu de test après entraînement des différentes architectures dans une expérience préliminaire. L’architecture permettant d’obtenir la plus petite perte moyenne est l’architecture 2 à trois couches cachées qui correspond à un canal par matrice de sortie. Comme le montre la figure 6, cette architecture offre le meilleur compromis entre
<table><caption>TABLE 3 – Caractéristiques et nombre de paramètres pour chacun des trois canaux effectuant la prédiction de $M_{DD'}$, $M_{B'D'}$ ou $M_{C'D'}$. Un canal prend quatre matrices de taille 10 × 10 en entrée et retourne une matrice de taille 10 × 10 en sortie. Il aurait été possible de partager les paramètres entre les canaux pour $M_{B'D'}$ et $M_{C'D'}$ puisqu'ils effectuent un travail de même nature.</caption><thead><tr><th>Type de couche</th><th>Dimension de l'entrée</th><th>Dimension de la sortie</th><th>Activation</th><th>Nombre de paramètres</th></tr></thead><tbody><tr><td>linéaire</td><td>4 × 10 × 10</td><td>352</td><td>ReLU</td><td>141 152</td></tr><tr><td>linéaire</td><td>352</td><td>352</td><td>ReLU</td><td>124 256</td></tr><tr><td>linéaire</td><td>352</td><td>352</td><td>ReLU</td><td>124 256</td></tr><tr><td>linéaire</td><td>352</td><td>1 × 10 × 10</td><td>tanh</td><td>35 300</td></tr><tr><td>total</td><td></td><td></td><td></td><td>424 964</td></tr></tbody></table>

<table><caption>TABLE 4 – Hyper-paramètres utilisés lors de l'entrainement.</caption><thead><tr><th>Paramètres</th><th>Valeurs</th></tr></thead><tbody><tr><td>taille des lots</td><td>64</td></tr><tr><td>taux d'apprentissage initial</td><td>0,001</td></tr><tr><td>décroissance</td><td>0,9</td></tr><tr><td>patience</td><td>20</td></tr><tr><td>optimiseur</td><td>Adam</td></tr><tr><td>critère de convergence</td><td>erreur quadratique en moyenne</td></tr></tbody></table>

<figure><img src="image_31.png" /><figcaption>FIGURE 7 – Exemple de sortie du réseau (à gauche) comparée à sa sortie attendue (à droite). Une sortie est constituée par les trois matrices $M_{DD'}$, bilingue, en haut et $M_{B'D'}$ et $M_{C'D'}$, toutes deux monolingues, dessous.</figcaption></figure>
le coût de calcul, lié au nombre de paramètres, et sa capacité d’apprentissage, donnée par la perte moyenne après convergence.

La version finale du réseau utilisée dans les expériences décrites au paragraphe 5.2 utilise 352 neurones par couches cachées pour chaque canal prédisant une matrice (voir tableau 3), ce qui fait un nombre total de 424 964 paramètres. Au total on a donc $3 \times 424 964 = 1 274 892$ paramètres. Les hyper-paramètres utilisés sont listés dans le tableau 4.

Dans nos expériences, la perte moyenne atteint des valeurs autour de 0,0012, soit environ un millième. Ce résultat est assez positif pour des valeurs dans l’intervalle [-1, 1]. La figure 7 présente un exemple de sortie comparée à la sortie attendue : les deux sont visuellement très proches.

## 5.2 Évaluation de la traduction

Les résultats d’évaluation de la traduction sont donnés dans le tableau 5, page suivante. Dans une expérience avec des tables de traduction pour le calcul des matrices d’appariement bilingues, le décodage des phrases cibles à partir des matrices sorties par le réseau de neurones, par application de la formule (4), permet d’obtenir un score BLEU de 94,7 sur les phrases du jeu de test 8.

Quatre-vingt-dix pour cent des phrases ont été exactement traduites par notre méthode. En moyenne, les phrase traduites diffèrent de la phrase de référence par un cinquième de mot ou un peu plus de la moitié d’un caractère. Rappelons qu’une phrase contient 5,8 mots ou 25,9 caractères en moyenne (voir tableau 1). On observe en parcourant les résultats que cette différence consiste assez souvent dans le « e » du féminin.

Il est indéniable que la tâche est facile, et le système de traduction automatique neuronal OpenNMT 9, dans sa configuration la plus simple, obtient un score BLEU de 90,3 sur le même jeu de données. Ce score est cependant en retrait du nôtre et la différence statistique est significative comme le montrent les intervalles de confiance donnés dans le tableau 5.

Ces très bons résultats contrastent avec ceux obtenus avec des plongements lexicaux bilingues. Les scores sont extrêmement décevants. Ils sont certainement à expliquer d’une part par la quantité considérable de bruit provenant des plongements monolingues, même toilettés, et d’autre part par le manque de fiabilité de l’alignement automatique des plongements monolingues.

## 5.3 Remarques finales

Le point le plus critiquable de l’approche de traduction automatique mentionnée ici est la supposition que la recherche de trois couples de bi-phrases peut toujours être couronnée de succès. Cette première étude a laissé ce point important de côté. Il est cependant à noter que l’utilisation de plongements lexicaux, et donc de mesures de similarité sémantique, ouvre des portes qui étaient fermées par l’utilisation d’analogies formelles reposant sur des égalités entre mots. Les résultats de l’étape de recherche pourront être beaucoup moins rigides.

Les données utilisées dans cette première étude étaient très particulières : ce sont en fait des analogies

<footnote n="8">8. En référence à la construction de l’ensembles des mots candidats d’un mot donné décrite au paragraphe 3.2, mentionnons que l’ajout des 100 mots les plus fréquents du français permet un gain de 2 ou 3 points BLEU.</footnote>

<footnote n="9">9. https://opennmt.net/</footnote>
<table><thead><tr><th rowspan="2">Méthode</th><th rowspan="2">BLEU</th><th colspan="2">Distance</th><th rowspan="2">Exactitude (%)</th></tr><tr><th>en mots</th><th>en caractères</th></tr></thead><tbody><tr><td>OpenNMT</td><td>90,3 ± 0,1</td><td>0,5</td><td>1,0</td><td>82,7</td></tr><tr><td>méthode proposée :</td><td></td><td></td><td></td><td></td></tr><tr><td>table de traduction</td><td>94,7 ± 0,1</td><td>0,2</td><td>0,6</td><td>90,2</td></tr><tr><td>plongement bilingue</td><td>14,4 ± 0,1</td><td>6,3</td><td>20,6</td><td>2,5</td></tr></tbody></table>

TABLE 5 – Résultats de traduction sur les phrases du jeu de test. La méthode proposée est testée pour deux configurations pour l’appariement bilingue : l’une utilise les scores données par une table de traduction ; l’autre utilise un espace de représentations vectorielles de mots partagé par les langues source et cible. La système de traduction neuronal OpenNMT est utilisé à titre de comparaison.

formelles de commutation. Nous désirons étendre nos travaux à des cas plus souples, comme les analogies sémantico-formelles introduites dans (Lepage, 2019), ou généraliser encore en exploitant directement des représentations vectorielles de phrases comme dans (Diallo et coll., 2019).

## Remerciements

Les résultats de cette étude ont été en partie obtenus dans le cadre d'un projet subventionné par la Société japonaise pour la promotion de la science, JSPS, Kakenhi Kiban C, n° 18K11447 intitulé « Self-explainable and fast-to-train example-based machine translation using neural networks. »

## Références

AAMODT A. & PLAZA E. (1994). Case-based reasoning : Foundational issues, methodological variations, and system approaches. *AI Communications*, 7(1), 39–59. DOI: 10.3233/AIC-1994-7104.

ARTETXE M., LABAKA G. & AGIRRE E. (2018). A robust self-learning method for fully unsupervised cross-lingual mappings of word embeddings. In *Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 789–798, Melbourne, Australia : Association for Computational Linguistics. DOI: 10.18653/v1/P18-1073.

BOJANOWSKI P., GRAVE E., JOULIN A. & MIKOLOV T. (2017). Enriching word vectors with subword information. *Transactions of the Association for Computational Linguistics*, 5, 135–146. DOI: 10.1162/tacl_a_00051.

COLLINS B. & SOMERS H. (2003). EBMT seen as case-based reasoning, In *Recent Advances in Example-Based Machine Translation*, p. 115–153. Springer Netherlands : Dordrecht. DOI: 10.1007/978-94-010-0181-6_4.

DANDAPAT S., MORRIESSY S., NASKAR S. K. & SOMERS H. (2010). Mitigating problems in analogy-based EBMT with SMT and vice versa : a case study with named entity transliteration. In *Proceedings of the 24th Pacific Asia Conference on Language Information and Computation (PACLIC 2010)*, p. 365–372, Sendai, Japan. ACL anthology : Y10-1041.

DIALLO A., ZOPF M. & FÜRNKRANZ J. (2019). Learning analogy-preserving sentence embeddings for answer selection. In *Proceedings of the 23rd Conference on Computational Natural Language*
*Learning (CoNLL)*, p. 910–919, Hong Kong, China : Association for Computational Linguistics.
DOI : 10.18653/v1/K19-1085.

FAM R. & LEPAGE Y. (2018). Tools for the production of analogical grids and a resource of n-gram analogical grids in 11 languages. In *Proceedings of the 11th International Conference on Language Resources and Evaluation (LREC 2018)*, p. 1060–1066, Miyazaki, Japan : ELRA. ACL anthology : L18-1171.

KAVEETA V. & LEPAGE Y. (2016). Solving analogical equations between strings of symbols using neural networks. In *Proceedings of the Computational Analogy Workshop at the 24th International Conference on Case-Based Reasoning (ICCBR-16)*, volume 1815, p. 67–76, Atlanta, Georgia. CEUR-WS : Vol-1815/paper7.

LANGLAIS P. (2016). Efficient identification of formal analogies. In *Proceedings of the Computational Analogy Workshop at the 24th International Conference on Case-Based Reasoning (ICCBR-16)*, p. 77–86, Atlanta, Georgia. CEUR-WS : Vol-1815/paper8.

LANGLAIS P., YVON F. & ZWEIGENBAUM P. (2008). Analogical translation of medical words in different languages. In A. RANTA & N. NORDSTRÖM, Éds., *Gotal’08 : Proceedings of the 6th international conference on Advances in Natural Language Processing*, volume 5221 of *Lecture Notes in Artificial Intelligence*, p. 284–295, Berlin, Heidelberg : Springer Verlag. DOI : 10.1007/978-3-540-85287-2_27.

LANGLAIS P., ZWEIGENBAUM P. & YVON F. (2009). Improvements in analogical learning : application to translating multi-terms of the medical domain. In *Proceedings of the 12th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2009)*, p. 487–495, Athens, Greece : Association for Computational Linguistics. ACL anthology : E09-1056.

LEPAGE Y. (1998). Solving analogies on words : an algorithm. In *Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics (ACL’98) and the 17th International Conference on Computational Linguistics (COLING’98)*, volume I, p. 728–735, Montreal. DOI : 10.3115/980845.980967.

LEPAGE Y. (2003). *De l'analogie rendant compte de la commutation en linguistique*. Mémoire d'habilitation à diriger les recherches, Université de Grenoble. HAL Id : tel-00004372.

LEPAGE Y. (2017). Character-position arithmetic for analogy questions between word forms. In *Proceedings of the Computational Analogy Workshop at the 24th International Conference on Case-Based Reasoning (ICCBR-17)*, p. 17–26, Trondheim, Norway. CEUR-WS : Vol-2028/paper2.

LEPAGE Y. (2018). String transformations preserving analogies. In *Proceedings of the 2018 International Conference on Advanced Computer Science and Information Systems (ICACSIS 2018)*, Yogyakarta. DOI : 10.1109/ICACSIS.2018.8618162.

LEPAGE Y. (2019). Semantico-formal resolution of analogies between sentences. In Z. VETULANI & P. PAROUBEK, Éds., *Proceedings of the 9th Language & Technology Conference (LTC 2019) – Human Language Technologies as a Challenge for Computer Science and Linguistics*, p. 57–61. En ligne.

LEPAGE Y. & DENOUAL E. (2005). Purest ever example-based machine translation : detailed presentation and assessment. *Machine Translation*, **19**, 251–282. DOI : 10.1007/s10590-006-9010-x.

NAGAO M. (1984). A framework of a mechanical translation between Japanese and English by analogy principle. In A. ELITHORN & R. BANERJI, Éds., *Proceedings of the international NATO symposium on Artificial and human intelligence*, p. 173–180 : Elsevier Science Publishers, NATO. En ligne.
RHOUMA R. (2018). *Apprendre à résoudre des analogies de forme*. Thèse de doctorat, université de Montréal. Permalien : 1866/21742.

RHOUMA R. & LANGLAIS P. (2018). Experiments in learning to solve formal analogical equations. In M. T. COX, P. FUNK & S. BEGUM, Éds., *Proceedings of the 26th International Conference on Case-Based Reasoning (ICCBR-18)*, p. 438–453, Stockholm, Sweden : Springer. DOI : 10.1007/978-3-030-01081-2_40.

WANG H. & LEPAGE Y. (2017). Hierarchical sub-sentential alignment with IBM models for statistical phrase-based machine translation. *Journal of Natural Language Processing*, **24**(4), 619–646. DOI : 10.5715/jnlp.24.619.
# Impact de la structure logique des documents sur les modèles distributionnels : expérimentations sur le corpus TALN

Ludovic Tanguy, Cécile Fabre, Yoann Bard

CLLE : Université de Toulouse & CNRS, France

ludovic.tanguy@univ-tlse2.fr, cecile.fabre@univ-tlse2.fr,

yoann.bard@hotmail.fr

## RÉSUMÉ

Nous présentons une expérience visant à mesurer en quoi la structure logique d'un document impacte les représentations lexicales dans les modèles de sémantique distributionnelle. En nous basant sur des documents structurés (articles de recherche en TAL) nous comparons des modèles construits sur des corpus obtenus par suppression de certaines parties des textes du corpus : titres de section, résumés, introductions et conclusions. Nous montrons que malgré des différences selon les parties et le lexique pris en compte, ces zones réputées particulièrement informatives du contenu d'un article ont un impact globalement moins significatif que le reste du texte sur la construction du modèle.

## ABSTRACT

### Impact of document structure on distributional semantics models: a case study on NLP research articles

We present an experiment which aims at measuring the impact of document structure on distributional semantics models. Based on a structured corpus of French research articles in NLP, we have built different models by removing specific parts of the corpus: section headers, abstracts, introductions and conclusions. We show that removing these parts has different effects, depending on the target words and the nature of the removed part. Most importantly, we show that these different parts of a research article that are considered particularly informative of its content have a significantly lesser effect than the rest of the text on the resulting distributional models.

**MOTS-CLÉS** : structure de document, analyse distributionnelle, corpus spécialisé.

**KEYWORDS:** Document structure, distributional semantics, specialised corpus.

## 1 Introduction

Les modèles de sémantique distributionnelle sont généralement construits à partir de très grands corpus rassemblant des textes hétérogènes, afin de tirer bénéfice de la masse des données, dont l'impact sur la qualité du modèle généré a été maintes fois démontré, par exemple par Sahlgren & Lenci (2016). Or, de nombreuses applications nécessitent de construire des représentations sémantiques propres à un domaine de spécialité dans le cadre d'un travail terminologique qui vise en particulier la construction de vocabulaires contrôlés et d'ontologies. C'est le cas par exemple de Bernier-Colborne (2014) pour le domaine de l'environnement, ou de Cohen & Widdows (2009) dans le domaine bio-médical. Dans le cadre de ces travaux à visée applicative où la nature précise des données importe,

<figure><img src="image_32.png" /></figure>
ces modèles génériques ne sont pas directement utilisables (El Boukkouri et al., 2019). Or, construire des word embeddings à partir de corpus spécialisés pose des problèmes spécifiques : ces corpus sont généralement de taille plus modeste que les grands corpus qui servent à entraîner les modèles de référence –même s’il faut nuancer cette affirmation pour certains domaines comme la médecine, dans le cas de l’anglais. En outre, les unités de sens sont souvent des termes complexes, qui, du fait de leur spécificité, réduisent encore le volume des contextes exploitables. Enfin, les protocoles d’évaluation sont plus difficiles à établir, sauf à disposer de ressources termino-ontologiques. En revanche, ces corpus spécialisés peuvent posséder des caractéristiques potentiellement intéressantes : le lexique est réduit, moins ambigu, et les documents sont généralement très structurés. C’est cette dernière caractéristique dont nous cherchons à tirer parti dans ce travail.

L’expérience que nous décrivons dans cet article cherche à évaluer la possibilité de prendre en compte la structure des documents dans la construction de modèles sémantiques distributionnels à partir de corpus spécialisés. Ce niveau d’information structurel a été exploité dans différentes tâches, comme le résumé ou l’extraction de connaissances (Hofmann et al., 2009; Teufel & Moens, 2002), en partant du principe que certaines zones textuelles facilitent la détection de contenus plus saillants et donc plus utiles. Dans le même ordre d’idées, notre objectif ici est de déterminer si certaines zones de texte ont un impact particulier sur le modèle sémantique et pourraient donc être privilégiées. Notre hypothèse est en effet que certaines parties des textes comme le résumé ou l’introduction sont particulièrement denses en information et susceptibles de fournir une information distributionnelle de meilleure qualité.

Dans cet objectif, nous avons choisi de privilégier un corpus structuré homogène, dont les parties peuvent être identifiées de façon systématique. Le corpus sur lequel est fondé notre expérience est constitué d’articles scientifiques dans le domaine du traitement automatique des langues. Le caractère standardisé des articles scientifiques a été largement étudié. La spécificité des différentes sections ou étapes qui jalonnent ces textes a permis de dégager des modèles argumentatifs génériques valables à travers la diversité des disciplines (Swales, 1990; Teufel et al., 2009). Dans les disciplines expérimentales, le format de type IMRaD (Introduction, Method, Results and Discussion) s’est imposé (Sollaci & Pereira, 2004). Cette codification facilite l’exploitation de la structure des textes, accessible par les titres de section, qui constituent des indices de présentation externe relativement stables. La spécificité argumentative de chaque section se traduit également sur le plan lexical, ce qui permet de faire l’hypothèse de différences de contribution dans la construction de modèles distributionnels. Ainsi, (Bertin & Atanassova, 2014), s’intéressant au vocabulaire verbal lié aux contextes de citation, font état de différences lexicales importantes d’une section à l’autre. Plus près des objectifs qui sont les nôtres dans cet article, (Badenes-Olmedo et al., 2017) ont étudié la capacité de différents fragments spécifiques d’un article à fournir un équivalent informationnel représentatif de l’ensemble. Leur étude compare l’apport du résumé et celui d’autres zones du texte présentant le contexte, l’approche, ou les résultats de l’article. Ils montrent des différences nettes de représentativité selon les sections considérées, mettant en cause l’utilisation par défaut du résumé comme source privilégiée d’accès au texte.

Nous examinons le rôle spécifique de certaines zones des documents, à savoir l’introduction, le résumé, les titres de section et les conclusions, qui constituent les sections les plus systématiquement représentées dans les articles du corpus TALN, dont le degré de codification est limité. Nous mesurons leur impact en utilisant comme critère le score de variation entre des modèles construits en intégrant ou en supprimant les zones concernées. Nous présentons tout d’abord le dispositif déployé : le corpus constitué pour l’occasion (section 2), les modèles distributionnels construits et la façon de les comparer (section 3). La section 4 présente les analyses quantitatives (mesures globales de la variation entre les modèles) et quantitatives (étude des éléments du lexique plus ou moins impactés).
## 2 Le corpus TALN

Le corpus TALN utilisé dans cette expérience a été construit à partir des archives qui rassemblent les articles des conférences TALN et RÉCITAL<fnref n="1" /> des années 1997 à 2019. Ce corpus a été constitué en plusieurs étapes :

- constitution des archives PDF et récupération des métadonnées des articles de 1997 à 2015, cf. (Boudin, 2013)<fnref n="2" />;

- collecte additionnelle des actes de 2016 à 2019 sur le site des éditions de la conférence;

- sélection des articles rédigés en français;

- extraction du contenu textuel en balisant les éléments de la structure logique du document présentée dans la figure 1.

<figure><img src="image_33.png" /><figcaption>FIGURE 1 – Éléments structurels extraits et annotés dans un article TALN</figcaption></figure>

Cette dernière étape a été réalisée en convertissant les fichiers PDF au format XML grâce à des outils de conversion comme la bibliothèque *pdfminer* de python<fnref n="3" />, puis en récupérant le contenu textuel pertinent et en segmentant chaque partie des articles grâce à l'outil *ParsCit* (Councill *et al.*, 2008).

Un premier travail de restructuration a été effectué sur la sortie de *ParsCit* pour conserver la structure interne des articles en la représentant dans un format XML *ad hoc*. Nous avons ensuite procédé à un nettoyage automatique pour corriger certains problèmes liés aux caractères spéciaux, traiter les césures et éliminer des éléments résiduels comme les numéros de page et les noms d'auteur figurant dans les en-têtes et les pieds de page, ainsi que différents symboles et idéogrammes. Plusieurs légendes de figures et de tableaux, titres de section et notes de bas de page n'avaient pas été segmentés correctement ou se trouvaient affectés à d'autres éléments du document. La plupart de ces erreurs de segmentation suivant un schéma bien précis, il a été possible de les corriger automatiquement. Les erreurs qui subsistaient après cette phase correspondaient à des ambiguïtés d'interprétation de la

<footnote n="1">1. Disponibles sur https://www.atala.org/-Conference-TALN-RECITAL</footnote>

<footnote n="2">2. Disponibles sur https://github.com/boudinfl/taln-archives</footnote>

<footnote n="3">3. https://pypi.org/project/pdfminer/</footnote>
forme des documents, parmi lesquelles des titres de section identifiés comme des notes de bas de page ou encore des parties de légende sectionnés qui se confondaient avec le corps d'un paragraphe. Nous avons opté pour une approche semi-automatique consistant à développer des règles pour identifier les cas ambigus et à faire ensuite appel à une vérification manuelle des zones correspondantes.

Le marquage obtenu indique donc les méta-données (auteurs, date, type d'article), les informations de la première page ( titre, résumés et mots-clés en français et en anglais), les titres des sections et sous-sections, les paragraphes, les légendes de figures et de tableaux, les notes de bas de page ainsi que la bibliographie (mais cette dernière reste non analysée à ce stade). Les sections ont été dotées d'un attribut supplémentaire qui indique leur fonction sur la base de règles ad hoc, pour identifier les introductions et les conclusions. Nous n'avons considéré comme introductions que les sections dont le titre est "Introduction". Pour identifier les conclusions nous avons intégré un ensemble de variantes ("Conclusion", "Perspectives", "Conclusion et Perspectives", etc.). Notons que certains articles ne disposent pas de telles sections, soit parce que les auteurs ont fait un autre choix dans la structuration ou le titrage, soit parce qu'ils relèvent d'un type de communication spécifique (démonstration de logiciel, prise de position, charte, etc.).

Le corpus final est constitué de 1602 articles pour un total de 5,8 millions de mots (tokens). Parmi
eux, 1321 articles contiennent un corps de texte. Pour les autres, seuls les métadonnées, résumés
et mots-clés ont pu être identifiés. Ce cas de figure s'explique par le codage PDF spécifique de
certains fichiers empêchant leur conversion en texte, et par la présence d'articles en anglais dont les
métadonnées ont été conservées lorsqu'on disposait d'au moins un contenu exploitable en français
(résumé, traduction du titre, mots-clés). L'ensemble du corpus (métadonnées et contenu) a été mis
sous format XML en respectant la norme TEI P5. Le corpus TALN est utilisable librement pour les
besoins de la recherche et à des fins non commerciales grâce à une licence spécifique accordée par
l'ATALA. Il est disponible sur la plateforme de diffusion Ortolang<fnref n="4" />.

3 Construction et comparaison des modèles distributionnels

Nous présentons ici les opérations qui mènent du corpus TALN aux modèles sémantiques et à leur comparaison.

## 3.1 Construction des versions de corpus

Nous avons créé pour notre expérience plusieurs corpus dérivés du corpus TALN décrit dans la section précédente. Nous avons commencé par en supprimer les éléments suivants : métadonnées, titre de l'article, auteurs et bibliographie. Nous avons ensuite construit un corpus de référence et 4 sous-corpus correspondant chacun à la suppression d'une zone particulière des documents :

— un corpus de référence comportant l'ensemble du contenu des zones de document suivantes : titre, résumé en français, titres des sections et sous-sections, paragraphes, notes de bas de page et légendes de figure ou de tableau (pour un total de 4 915 365 mots).

— un corpus sans titres de section et sous-section (4 865 324 mots, 99% du corpus de référence).

— un corpus sans les résumés (4 734 393 mots, 96 % du corpus de référence).

— un corpus sans les introductions (4 420 989 mots, 90 % du corpus de référence).

— un corpus sans les conclusions (4 640 218 mots, 94 % du corpus de référence).

La taille et le nombre des éléments supprimés du corpus de référence peuvent varier selon les articles.

<footnote n="4">4. https://www.ortolang.fr/market/corpora/corpus-taln</footnote>
La table 1 fournit les caractéristiques des segments pris en compte.

<table><caption>TABLE 1 – Nombre et taille des zones de documents étudiées dans le corpus</caption><thead><tr><td>Zone</td><td>Nombre</td><td>Longueur moy.</td><td>Longueur min.</td><td>Longueur max.</td><td>Total (mots)</td></tr></thead><tbody><tr><td>Titres de section</td><td>14 027</td><td>4 mots</td><td>1 mot</td><td>28 mots</td><td>50 041</td></tr><tr><td>Résumés</td><td>1534</td><td>118 mots</td><td>16 mots</td><td>907 mots</td><td>180 972</td></tr><tr><td>Introductions</td><td>1202</td><td>422 mots</td><td>23 mots</td><td>1798 mots</td><td>494 376</td></tr><tr><td>Conclusions</td><td>1165</td><td>241 mots</td><td>21 mots</td><td>1171 mots</td><td>275 147</td></tr></tbody></table>

## 3.2 Modèles distributionnels

Ces corpus ont été utilisés pour construire des modèles distributionnels en utilisant une technique fréquentielle classique, basée sur l'outil DISSECT (Dinu et al., 2013). Ces modèles sont plus précisément construits en extrayant les cooccurrences entre mots dans une fenêtre symétrique de trois mots (en respectant les limites des phrases et des éléments de structure). Les mots sont identifiés par leur lemme et leur catégorie grammaticale. Nous retenons ceux qui appartiennent à une classe ouverte (nom, adjectif, verbe ou adverbe) et qui ont une fréquence minimale de 50 occurrences. La valeur de la cooccurrence entre deux mots est mesurée par le score d'information mutuelle positive (PPMI) et la similarité entre les mots par la mesure de cosinus entre les vecteurs correspondants, sans étape préalable de réduction du nombre de dimensions de la matrice. La simplicité de ces modèles est justifiée par notre volonté de préserver leur interprétabilité et notamment de pouvoir identifier le rôle des contextes individuels sur les similarités calculées.

Nous avons ainsi construit cinq modèles distributionnels à partir des cinq corpus présentés en 3.1, que nous appelons : (1) modèle complet, (2) modèle sans titres, (3) modèle sans résumés, (4) modèle sans introductions, (5) modèle sans conclusions. La comparaison entre le modèle complet et un modèle calculé sur un sous-corpus nous permet d'observer les variations induites par le retrait d'une des quatre zones de document et d'identifier les mots dont la représentation est modifiée de façon importante, ou est au contraire inchangée.

## 3.3 Modèles de contrôle

Afin de vérifier si ces éléments structurels jouent un rôle spécifique, nous avons également construit des modèles basés sur des corpus construits en retirant de manière aléatoire une quantité de mots égale à celle des structures étudiées, sans scinder les phrases. Pour chacun des quatre sous-modèles nous avons construit dix modèles aléatoires équivalents. L'analyse de ces derniers par rapport aux sous-modèles originaux nous aide à vérifier si la variation est seulement causée par la diminution de la taille du corpus ou si le contenu des zones ciblées a un impact spécifique.

Nous avons également testé des versions plus récentes des modèles distributionnels, en construisant des modèles prédictifs. Nous nous sommes limités à l'utilisation de la version de base de Word2vec (Mikolov et al., 2013) et construit pour chacun des cinq corpus un modèle SGNS (skip-gram with negative sampling) en choisissant pour les hyperparamètres les valeurs par défaut de l'outil (plus précisément de son implémentation dans la bibliothèque GenSim (Řehůřek & Sojka, 2010)) sauf pour ceux qui font écho aux caractéristiques des modèles fréquentiels précédents : fréquence minimale de 50 occurrences et fenêtre de taille 3 pour les contextes.
## 3.4 Mesure de la variation entre deux modèles

Pour évaluer la variation nous utilisons le *Ranked Biased Overlap* (ou RBO) (Webber et al., 2010) qui calcule la similarité entre deux listes ordonnées $L_1$ et $L_2$ jusqu'au rang $n$ suivant la formule suivante :

$$RBO(L_1, L_2, n) = (1 - p) \sum_{k=1}^{n} p^{k-1} \frac{|L_1(1:k) \cap L_2(1:k)|}{k}$$

Où $L(1:k)$ représente les $k$ premiers éléments de la liste $L$. Cette mesure considère donc le recouvrement partiel des deux listes comparées à chaque rang, en accordant plus d'importance aux débuts des listes. Le paramètre $p$ (fixé ici à 0,9) est le coefficient d'atténuation de la prise en compte des différences lorsque l'on avance dans les listes. Les listes comparées ici sont les $n = 20$ plus proches voisins d'un mot donné dans deux modèles distributionnels. Le score RBO est normalisé pour varier de 0 (aucun voisin commun) à 1 (listes identiques).

La table 2 illustre cette mesure dans le cas du nom significativité dont les 5 premiers voisins sont donnés pour 3 modèles. On peut voir que le RBO est très élevé (0,89) dans le cas d'une suppression des titres de section, avec une différence très faible entre les deux listes (identiques pour les 5 premiers voisins). Le voisinage est de plus en plus perturbé par les autres suppressions, avec un score RBO qui tombe à 0,1 lorsqu'on enlève les conclusions.

<table><caption>TABLE 2 – Comparaison du score RBO et des voisins du mot significativité entre le modèle de référence et chacun des quatre modèles obtenus par suppression d'une zone de texte dans le corpus</caption><thead><tr><th>Rang</th><th>Modèle complet</th><th>Modèle sans titres</th><th>Modèle sans résumés</th><th>Modèle sans introductions</th><th>Modèle sans conclusions</th></tr></thead><tbody><tr><td>1</td><td>corrélation</td><td>corrélation</td><td>corrélation</td><td>corrélation</td><td>performance</td></tr><tr><td>2</td><td>statistiquement</td><td>statistiquement</td><td>performance</td><td>statistiquement</td><td>proximité</td></tr><tr><td>3</td><td>performance</td><td>performance</td><td>statistiquement</td><td>proximité</td><td>statistiquement</td></tr><tr><td>4</td><td>proximité</td><td>proximité</td><td>proximité</td><td>significatif</td><td>empiriquement</td></tr><tr><td>5</td><td>cohésion</td><td>cohésion</td><td>empiriquement</td><td>performance</td><td>confiance</td></tr><tr><td>RBO</td><td>-</td><td>0,89</td><td>0,46</td><td>0,34</td><td>0,10</td></tr></tbody></table>

Nous avons également considéré deux autres mesures qui permettent de comparer le voisinage distributionnel d'un mot entre deux modèles. La première est le coefficient de Jaccard, autrement dit le ratio de voisins en commun qu'a un mot entre les deux modèles. Cette mesure a été couramment utilisée pour comparer des modèles distributionnels, notamment dans (Pierrejean & Tanguy, 2018b). Nous l'avons calculé en prenant en compte, comme pour le RBO, les 20 premiers voisins de chaque mot dans l'ordre de similarité. La différence principale avec le RBO est que l'ordre des voisins n'est pas pris en compte.

La dernière mesure que nous avons calculée se concentre exclusivement sur le plus proche voisin du mot dans chacun des deux modèles comparés, et consiste en la moyenne des différences de rangs de ces plus proches voisins, comme indiqué dans la formule ci-dessous :

$$\text{diffrang}_{M_1, M_2}(m) = \frac{|\text{rang}_{M_2}^m(m_1)| + |\text{rang}_{M_1}^m(m_2)|}{2}$$

où $m_i$ est le plus proche voisin du mot-cible $m$ suivant le modèle $M_i$ et $\text{rang}_M^m(n)$ est le rang du mot $n$ dans la liste des voisins du mot $m$ suivant le modèle $M$, ordonnés par similarité décroissante
(en comptant à partir de 0). Suivant cette formule, une différence de zéro indique que les deux plus proches voisins sont identiques et une différence importante indique que l'un ou l'autre de ces premiers voisins (ou les deux) se trouve relégué plus loin dans la liste.

## 3.5 Mesure de la spécificité des mots

Dans un corpus spécialisé, la question de la qualité de la représentation des termes du domaine est cruciale. Afin de distinguer l'impact des modèles sur les mots spécifiques au domaine du TAL, nous avons utilisé une mesure de spécificité en comparant les fréquences dans notre corpus avec celles du corpus FrWac telles que fournies par le lexique GLAFF (Sajous et al., 2013). Nous avons utilisé le score de $\chi^2$ pour identifier les mots dont la fréquence relative est significativement plus élevée dans le corpus TALN. Les mots relatifs au domaine de spécialité comme *corpus*, *sémantique*, *annotation*, *supervisé* ou encore *syntaxique* se démarquent ainsi avec un $\chi^2$ élevé. On y retrouve aussi des mots du discours scientifique tels que *afin* et *ci-dessous*. Certains mots sont, à l'inverse, sous-représentés (*avoir*, *numéro* ou *national*). Pour les calculs statistiques utilisant cette mesure, nous avons attribué un signe négatif au $\chi^2$ des mots dont la fréquence relative est inférieure dans le corpus TALN.

Nous avons repris le même procédé pour identifier le vocabulaire spécifique aux zones de texte étudiées par rapport au corpus TALN entier. La table 3 donne les cinq mots les plus spécifiques de chaque partie envisagée (par rapport au reste du corpus).

<table><caption>TABLE 3 – Mots avec le score de spécificité ($\chi^2$) le plus élevé pour chaque partie d'article</caption><thead><tr><td>Titres de section</td><td>Résumés</td><td>Introductions</td><td>Conclusions</td></tr></thead><tbody><tr><td>introduction</td><td>article</td><td>introduction</td><td>conclusion</td></tr><tr><td>conclusion</td><td>présenter</td><td>section</td><td>perspective</td></tr><tr><td>référence</td><td>automatique</td><td>automatique</td><td>envisager</td></tr><tr><td>perspective</td><td>montrer</td><td>travail</td><td>améliorer</td></tr><tr><td>discussion</td><td>proposer</td><td>langue</td><td>montrer</td></tr></tbody></table>

On voit que les mots les plus spécifiques aux titres sont ceux des sections génériques (*introduction*, *conclusion*, *références* etc.), que l'on retrouve également dans les parties correspondantes. Les mots des autres colonnes sont aisément interprétables comme des éléments de formulations canoniques pour les résumés ("Dans cet article nous présentons/montrons/proposons [...]") ou les conclusions ("Nous avons montré que [...]; dans la suite nous envisageons de [...]"). Les introductions contiennent quant à elles des termes très génériques du domaine (*langue*, *automatique*) qu'on retrouvera moins dans le développement du texte, conformément au rôle de cette section de créer une niche au sein d'un espace de recherche englobant (Swales, 1990). Quant à *section*, il correspond à la présentation du plan de l'article qui est une des fonctions de l'introduction d'un article scientifique.

## 4 Analyse

Toutes les analyses présentées ici portent sur les mots dont la fréquence est de 50 ou plus dans chacun des quatre sous-corpus considérés, soit 3107 mots représentés par leur catégorie et leur lemme (uniquement les classes ouvertes).
## 4.1 Variation entre les modèles distributionnels

Dans un premier temps, nous avons calculé le score RBO de chaque lemme en comparant chaque modèle au modèle de référence. La figure 2 montre la distribution de ce score dans les quatre cas.

<figure><img src="image_34.png" /><figcaption>FIGURE 2 – Distribution du score de RBO pour les quatre modèles comparés à celui du corpus complet</figcaption></figure>

Dans le modèle sans titres de section, le RBO moyen est à 0,77, avec une importante proportion de valeurs très élevées, correspondant à des voisinages distributionnels inchangés (RBO de 1). Ce score est nettement plus bas pour les autres modèles : il tombe à 0,36 lorsqu'on supprime les introductions, ce qui correspond au modèle le plus éloigné du corpus entier, avec un nombre important de voisinages radicalement différents (RBO proche de 0). Les modèles correspondant à la suppression des résumés et des conclusions présentent des profils intermédiaires (RBO moyen de 0,52 et 0,45 respectivement) avec une distribution plus symétrique et plus homogène, indiquant que la plupart des mots y voient leur voisins sémantiques partiellement modifiés, mais que les perturbations majeures sont minoritaires.

Cette différence de comportement s'explique en grande partie par le fait que l'amplitude de la variation est proportionnelle à la taille de la zone supprimée. Néanmoins, il apparaît au vu des distributions de la figure 2 que les scores de RBO varient de façon importante au sein du lexique, l'ensemble du spectre étant occupé dans les quatre cas. Ces observations soulèvent deux questions : l'instabilité d'un modèle dépend-elle uniquement de la quantité de texte supprimé ou bien la nature des zones de document ciblées joue-t-elle aussi un rôle déterminant ? Peut-on identifier les principaux facteurs expliquant les variations internes au sein du lexique ?
La première question nous amène à l'analyse des modèles aléatoires. Nous avons calculé la moyenne des RBO (par rapport au modèle complet) pour chacune des quatre séries de 10 modèles aléatoires puis nous l'avons comparée au RBO moyen de chacun des quatre modèles correspondant aux suppressions de parties spécifiques, les résultats étant présentés en table 4.

<table><caption>TABLE 4 – Comparaison des RBO moyens pour les quatre modèles et de la moyenne sur les dix modèles aléatoires équivalents en taille, par rapport au modèle complet.</caption><thead><tr><th>Zones supprimées</th><th>RBO du modèle</th><th>RBO moyen des 10 modèles aléatoires (IC 95%)</th></tr></thead><tbody><tr><td>Titres de section</td><td>0,772</td><td>0,757 ± 0,002</td></tr><tr><td>Résumés</td><td>0,519</td><td>0,497 ± 0,003</td></tr><tr><td>Introductions</td><td>0,360</td><td>0,358 ± 0,002</td></tr><tr><td>Conclusions</td><td>0,447</td><td>0,443 ± 0,007</td></tr></tbody></table>

On peut y voir une différence entre le modèle sans titres de section et les dix modèles aléatoires équivalents : le RBO est plus élevé (i.e. la variation est moindre) quand on enlève ces titres que lorsqu'on retire une quantité de texte identique choisie aléatoirement (0,772 contre 0,757), la différence étant significative pour les 10 modèles ($p < 0,05$) suivant le test des rangs signés de Wilcoxon sur l'ensemble du vocabulaire. L'analyse du modèle sans les résumés donne des résultats identiques avec un RBO moyen de 0,519 contre 0,497 sur les modèles aléatoires (différence significative également). Par contre, le RBO moyen d'un modèle sans introductions est identique à celui des modèles aléatoires (0,360 et 0,358, aucune différence significative pour les 10). La situation des conclusions est plus mitigée mais la différence avec les modèles aléatoires n'est significative que dans 5 cas sur 10, ce qui nous conduit à conclure que la différence n'est pas suffisamment marquée pour être prise en considération.

Les résumés et les titres de section ont donc bien un effet singulier, mais qui va à l'encontre de notre hypothèse de départ : ces zones influencent moins les modèles distributionnels que d'autres parties de texte de taille équivalente. Quant aux introductions et aux conclusions, elles n'apportent aucune différence nette : elles se comportent sur ce plan comme le reste du texte.

Nous avons enfin calculé le coefficient de corrélation ($\rho$ de Spearman) entre le RBO et le $\chi^2$ du vocabulaire distinctif de chaque zone. La relation linéaire est négative pour les quatre modèles au même niveau : titres de section $\rho = -0,39$, résumés $\rho = -0,37$, introductions $\rho = -0,38$ et conclusions $\rho = -0,35$. En toute logique, plus un mot est spécifique à une zone du texte (quelle qu'elle soit), moins sa représentation a de chances d'être stable lorsqu'on la retire. Ce n'est cependant pas systématique car la relation linéaire négative n'est pas si forte. La variation dépend donc également d'autres facteurs.

## 4.2 Variation sur le vocabulaire spécifique

Nous avons cherché à mesurer si la représentation du vocabulaire spécifique du corpus TALN était plus affectée que le vocabulaire courant par le retrait d'une des différentes zones de document. Nous avons mesuré son impact sur le vocabulaire spécialisé du corpus (3.5) en calculant le coefficient de corrélation de Spearman entre le $\chi^2$ (obtenu en comparant les fréquences dans notre corpus et dans FrWac) et le RBO dans la table 5.

Pour les modèles sans résumés, sans introductions et sans conclusions le $\rho$ de Spearman est positif (de 0,15 à 0,24). Les mots spécifiques du corpus TALN (avec un $\chi^2$ élevé) tendent donc à être moins perturbés dans leur représentation (RBO plus haut) que les autres. La corrélation est pratiquement
<table><caption>TABLE 5 – Corrélation de Spearman entre spécificité du mot dans le corpus ($\chi^2$) et variation (RBO) par rapport au modèle complet</caption><thead><tr><td>Modèles</td><td>ρ de Spearman</td></tr></thead><tbody><tr><td>Sans titres de section</td><td>-0,06</td></tr><tr><td>Aléatoires</td><td>0,10</td></tr><tr><td>Sans résumés</td><td>0,15</td></tr><tr><td>Aléatoires</td><td>0,18</td></tr><tr><td>Sans introductions</td><td>0,24</td></tr><tr><td>Aléatoires</td><td>0,19</td></tr><tr><td>Sans conclusions</td><td>0,15</td></tr><tr><td>Aléatoires</td><td>0,18</td></tr></tbody></table>

nulle (-0,06) pour les titres de section qui n'influent pas plus sur le vocabulaire du domaine que sur les autres mots. Si l'on regarde les modèles aléatoires utilisés comme point de comparaison, la corrélation entre le $\chi^2$ et la moyenne du RBO de ceux-ci est plus élevée, sauf pour les introductions. L'effet de perturbation des mots du domaine semble donc être amoindri à mesure que l'on ôte des portions de texte plus larges.

## 4.3 Autres mesures

Comme indiqué en section 3.4, nous avons mesuré la variation du voisinage distributionnel d'un mot en utilisant deux autres techniques : le recouvrement des 20 premiers voisins avec le coefficient de Jaccard et la différence de rang des premiers voisins.

Concernant le Jaccard, il est fortement corrélé avec le RBO ($\rho$ de 0,6 à 0,8 suivant les modèles) si bien que l'ensemble des conclusions obtenues précédemment avec le RBO sont confirmées par cette mesure.

La variation du rang des premiers voisins, quant à elle, présente un profil de distribution différent : pour les quatre paires de modèles ce score est nul dans 87% des cas (i.e. les deux modèles comparés ont le même premier voisin pour un mot donné) ce qui rend son usage très délicat pour les analyses statistiques. Sa corrélation est de ce fait faible avec les deux autres coefficients ($\rho$ de 0,1 à 0,4 en valeur absolue<fnref n="5" />). Par contre, ce score est très utile pour isoler les cas de perturbation importante du voisinage distributionnel et donc effectuer une analyse qualitative permettant de mieux comprendre les mécanismes à la base de ces variations.

Nous avons enfin voulu comparer ces résultats à ceux que l'on obtient en utilisant des méthodes prédictives de construction des représentations distributionnelles. En mesurant les scores RBO pour comparer les modèles construits sur les sous-corpus à celui du corpus complet, nous n'observons que très peu de différence entre les modèles. Le RBO moyen va en effet de 0,62 à 0,68 en suivant le même ordre que celui observé en 4.1, mais avec un resserrement qui ne permet pas de distinguer clairement le rôle des différentes parties de corpus supprimées. On observe d'ailleurs une très forte corrélation entre les 4 séries de score RBO (0,7 en moyenne, contre seulement 0,4 sur les modèles fréquentiels). Il nous apparaît donc clairement que ces modèles prédictifs sont des instruments trop grossiers pour mettre au jour des variations fines, et que les différences entre les corpus d'apprentissage ne sont pas suffisantes au vu des techniques qui tendent à lisser le matériau (notamment les processus aléatoires qui ont une influence très importante sur les modèles, cf (Pierrejean & Tanguy, 2018a)).

<footnote n="5">5. La corrélation est négative, deux listes identiques entraînent un RBO de 1 et une variation de rang de 0.</footnote>
## 4.4 Analyse qualitative

Dans cette dernière partie nous effectuons des observations plus fines en nous basant sur les scores (RBO et différence de rang), les listes des plus proches voisins, et les contextes d'apparition. Nous nous concentrons tout d'abord sur les variations des représentations des termes dans le modèle **sans résumés**, en observant les mots présentant des variations importantes. On y trouve deux cas de figure distincts :

- Des mots spécifiques aux résumés (fort $\chi^2$ par rapport aux autres parties du corpus), qui subissent donc en toute logique une forte variation de voisins relative à la diminution de leur fréquence. C'est le cas de **démonstration**, **assistance**, **arboré** et **informatisé**. Ces termes sont employés régulièrement dans le domaine.

- Des mots non spécifiques aux résumés mais présentant contre toute attente une forte variation. Ces mots sont pour la plupart polysémiques, tels que **synthétique**, **couper**, **interrompre** et ont des emplois multiples dans le corpus. Cela se voit notamment dans la grande variété de leurs voisins, que l'on peut rattacher à plusieurs sens. Leurs contextes sont donc très variés. Logiquement, une légère modification des données d'entrée du calcul distributionnel suffit à provoquer leur instabilité, sans qu'on puisse pour autant identifier clairement une variation de sens.

À l'inverse, si l'on regarde du côté des mots très stables (RBO élevé) lorsqu'on supprime les résumés, on trouve deux cas de figure :

- Des mots spécifiques aux résumés dont les voisins sont stables malgré la baisse importante de leur fréquence. Parmi eux on retrouve les verbes d'exposition tels que **présenter**, **finaliser** ou encore des évaluatifs comme **vaste**, **important**, **faiblement**. Leur stabilité viendrait de leur ancrage dans des contextes très réguliers, ce qui les rendrait moins vulnérable à la suppression d'un passage spécifique. La suppression de ces zones n'affecte donc pas leur représentation.

- Des mots non spécifiques aux résumés et dont le voisinage n'est pas affecté tels que **nœud**, **pattern** ou **possessif**. Ils sont aussi inscrits dans des zones de texte stables indépendantes de la structure du document.

Cette étude qualitative confirme certains résultats des analyses précédentes. Tout d'abord on retrouve peu de mots du domaine du TAL affectés par l'absence de résumés. La plupart du vocabulaire instable est en fait spécifique à cette zone du texte et pas au corpus. Cependant on remarque que certaines classes (ou clusters) de mots sont très stables et leur représentation le restera quels que soient la quantité ou le type de texte supprimé. L'instabilité d'un mot n'est donc pas seulement provoquée par la suppression de ses occurrences mais dépend surtout des contextes dont il est entouré.

L'examen des variations entraînées par la suppression d'une autre zone nous permet de dégager des phénomènes sémantiques intéressants. C'est le cas lorsqu'on observe les voisinages fortement impactés par la suppression des **conclusions**. Parmi les mots spécifiques à cette partie des articles, on trouve le champ lexical habituel à la présentation des perspectives d'un travail de recherche : **futur**, **prévoir**, **affiner**, **approfondir**, **poursuivre**. Les perturbations des voisinages sont importantes mais limitées à un réordonnancement local des mots les plus proches sans tendance globale précise, comme on l'a vu pour les résumés. En revanche, pour certains de ces mots spécifiques la baisse de fréquence s'accompagne plus clairement d'un changement de sens. C'est le cas notamment de l'adjectif **idéal** qui voit ses voisins passer d'un sens technique (**optimal**, **final**, **contrôlé**) à un évaluatif (**trivial**, **véritable**, **suffisant**). Une autre distinction polysémique est observable pour **engager** dont les emplois correspondent au sens de /participer/, /initier une action/ (avec des voisins comme **participant**, **organisateur**, **entreprendre**), ou au sens plus abstrait et dialectique : **défendre**, **exprimer**, **confronter**, **inciter**.
Ces observations nous conduisent à formuler l'hypothèse que la stabilité d'un mot quand on compare deux modèles distributionnels est liée à l'existence d'un groupe de "bons" voisins, dont l'identification résiste à des modifications partielles des contextes. L'absence de tels points d'ancrage semble entraîner une forte instabilité, quelle que soit la modification subie par le corpus. Les cas intéressants mais rares (qu'illustrent *idéal* et *engager*) que nous recherchons correspondraient à des situations où la représentation d'un mot passe d'un cluster de proches voisins à un autre.

# 5 Conclusion et perspectives

Les études de variation entre un modèle distributionnel de référence et d'autres modèles obtenus en retirant une partie du document des mêmes données d'apprentissage nous permettent de tirer certaines conclusions concernant l'impact de la structure des articles scientifiques sur la représentation distributionnelle d'un corpus spécialisé. De manière globale les résumés et titres de section impactent moins le voisinage des mots que les autres parties de texte. Ce résultat, qui semble contre-intuitif, peut s'expliquer en faisant l'hypothèse que ces passages sont redondants par rapport au reste du texte, ou qu'y figurent des mots qui s'y comportent différemment, comme nous le suggère l'analyse qualitative. Quant aux introductions et aux conclusions, elles n'ont pas d'influence significative, les enlever a le même effet que retirer une part aléatoire équivalente du corpus.

La représentation des mots spécifiques au domaine et au genre n'est pas affectée par le retrait des titres et se trouve même plus stable que les autres lorsque les résumés et introductions sont retirés. Nous pouvons en déduire que le cœur du vocabulaire technique n'est pas particulièrement employé à l'intérieur de ces zones. Seul le vocabulaire propre à la zone est logiquement touché. Ce dispositif nous pousse à penser que ces parties de document scientifique ne jouent pas de rôle prépondérant vis-à-vis de l'analyse distributionnelle. Une optimisation/pondération des contextes au regard de la zone dans laquelle ils se trouvent serait donc négligeable voir déconseillée selon l'objectif de modélisation recherché.

Pour mettre au jour de véritables variations entre les emplois des mots dans les différentes parties d'un document, l'idéal aurait été de comparer directement des espaces sémantiques construits sur des parties différentes du corpus, à la manière des travaux initiés par (Hamilton *et al.*, 2016) pour la diachronie. Cependant, notre corpus et les sous-parties visées représentent clairement un trop petit volume pour ce type de méthode. L'approche indirecte que nous avons suivie ici pourrait néanmoins être poursuivie à plus large échelle, mais devrait alors se concentrer sur le discours scientifique général, puisque la restriction à un domaine particulier ne permettrait pas d'atteindre la masse critique nécessaire.

# Remerciements

Le travail présenté dans cet article a été réalisé dans le cadre du projet ADDICTE 6 (Analyse distributionnelle en domaine spécialisé), financé par l'Agence Nationale de la Recherche (ANR-17-CE23-0001). Il a également reçu le soutien du consortium CORLI pour la finalisation du corpus TALN. Les auteurs tiennent à remercier l'ATALA et son président Patrick Paroubek pour avoir autorisé l'utilisation et la diffusion du corpus constitué des actes des conférences TALN et RECITAL. Ils remercient enfin Alice Adnot-Albinet, Charline Fabre et Clémentine Mailly pour leur aide dans la correction du corpus.

<footnote n="6">6. https://anr-addicte.ls2n.fr/</footnote>
Références

BADENES-OLMEDO C., GARCÍA J. L. R. & CORCHO O. (2017). An initial analysis of topic-based similarity among scientific documents based on their rhetorical discourse parts. In *Workshop on Enabling Open Semantic Science co-located with the 16th International Semantic Web Conference (ISWC)*, p. 15–22, Vienna, Austria.

BERNIER-COLBORNE G. (2014). Identifying semantic relations in a specialized corpus through distributional analysis of a cooccurrence tensor. In *Proceedings of the Third Joint Conference on Lexical and Computational Semantics (*SEM 2014)*, p. 57–62.

BERTIN M. & ATANASSOVA I. (2014). A study of lexical distribution in citation contexts through the IMRaD standard. In *Proceedings of the First Workshop on Bibliometric-enhanced Information Retrieval co-located with the 36th European Conference on Information Retrieval (ECIR 2014)*, Amsterdam, Netherlands.

BOUDIN F. (2013). TALN Archives : une archive numérique francophone des articles de recherche en Traitement Automatique de la Langue. In *Actes de TALN'2013*, p. 507–514, Les Sables d'Olonne.

COHEN T. & WIDDOWS D. (2009). Empirical distributional semantics : methods and biomedical applications. *Journal of biomedical informatics*, **42**(2), 390–405.

COUNCILL I. G., LEE GILES C. & KAN M.-Y. (2008). An open-source CRF reference string and logical document structure parsing package. In *Proceedings of the Language Resources and Evaluation Conference (LREC 08)*, Marrakesh, Morocco, May.

DINU G., THE PHAM N. & BARONI M. (2013). Dissect - distributional semantics composition toolkit. In *Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics : System Demonstrations*, p. 31–36.

EL BOUKKOURI H., FERRET O., LAVERGNE T. & ZWEIGENBAUM P. (2019). Embedding strategies for specialized domains : Application to clinical entity recognition. In *Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics : Student Research Workshop*, p. 295–301.

HAMILTON W. L., LESKOVEC J. & JURAFSKY D. (2016). Diachronic word embeddings reveal statistical laws of semantic change. In *Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics*, p. 1489–1501, Berlin.

HOFMANN K., TSAGKIAS M., MEIJ E. & DE RIJKE M. (2009). The impact of document structure on keyphrase extraction. In *Proceedings of the 18th ACM conference on Information and knowledge management*, p. 1725–1728.

MIKOLOV T., CHEN K., CORRADO G. & DEAN J. (2013). Efficient estimation of word representations in vector space. In *ICLR 2013, workshop track*.

PIERREJEAN B. & TANGUY L. (2018a). Predicting word embeddings variability. In *Proceedings of the Seventh Joint Conference on Lexical and Computational Semantics (*SEM)*, New Orleans.

PIERREJEAN B. & TANGUY L. (2018b). Towards qualitative word embeddings evaluation : Measuring neighbors variation. In *Conference of the North American Chapter of the Association for Computational Linguistics : Student Research Workshop*, p. 32–39.

ŘEHŮŘEK R. & SOJKA P. (2010). Software Framework for Topic Modelling with Large Corpora. In *Proceedings of the LREC 2010 Workshop on New Challenges for NLP Frameworks*, p. 45–50, Valletta, Malta : ELRA.
SAHLGREN M. & LENCI A. (2016). The effects of data size and frequency range on distributional semantic models. In *Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing*, p. 975–980, Austin, Texas : Association for Computational Linguistics.

SAJOUS F., HATHOUT N. & CALDERONE B. (2013). GLÁFF, un Gros Lexique Á tout Faire du Français. In *Actes de la 20e conférence sur le Traitement Automatique des Langues Naturelles (TALN’2013)*, p. 285–298, Les Sables d’Olonne, France.

SOLLACI L. B. & PEREIRA M. G. (2004). The introduction, methods, results, and discussion (imrad) structure : a fifty-year survey. *Journal of the medical library association*, **92**(3), 364.

SWALES J. (1990). *Genre analysis : English in academic and research settings*. Cambridge University Press.

TEUFEL S. & MOENS M. (2002). Summarizing scientific articles : experiments with relevance and rhetorical status. *Computational linguistics*, **28**(4), 409–445.

TEUFEL S., SIDDHARTHAN A. & BATCHELOR C. (2009). Towards discipline-independent argumentative zoning : evidence from chemistry and computational linguistics. In *Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing : Volume 3-Volume 3*, p. 1493–1502 : Association for Computational Linguistics.

WEBBER W., MOFFAT A. & ZOBEL J. (2010). A similarity measure for indefinite rankings. *ACM Transactions on Information Systems (TOIS)*, **20**.
Deuxième partie

Articles courts
# Prédire automatiquement les intentions du locuteur dans des questions issues du discours oral spontané

Angèle Barbedette¹ Iris Eshkol-Taravella¹

(1) Université Paris Nanterre, MoDyCo UMR 7114, 200 avenue de la République, 92000 Nanterre, France
angele.barbedette@gmail.com, ieshkolt@parisnanterre.fr

## RÉSUMÉ

Cette étude porte sur la classification automatique des intentions exprimées dans des questions issues d'un corpus d'échanges oraux spontanés. Nous proposons une typologie dans laquelle nous distinguons trois classes d'intentions (AVIS, VOLONTÉ et DOUTE). Après plusieurs prétraitements et ajouts de traits lexicaux aux données (lexiques, nombre de mots et de caractères), nous implémentons un algorithme de classification automatique et nous en présentons et évaluons les résultats qui atteignent une F-mesure de 0,62. Nous proposons ensuite une interprétation de ceux-ci, basée sur une comparaison entre les expériences menées et des mesures liées aux traits linguistiques intégrés avant la tâche de classification.

## ABSTRACT

Automatically predicting the speaker's intentions in questions from spontaneous oral speech

This study focuses on the automatic classification of intentions expressed in questions from a corpus of spontaneous oral interactions. We suggest a typology in which we distinguish three categories of intentions (OPINION, WILL and DOUBT). After several preprocessings and additions of lexical features to the data (lexicons, number of words and characters), we implement an automatic classification algorithm and we present and evaluate the results which reach a F-measure of 0.62. We then provide an interpretation of these, based on a comparison between our experiments and some measures related to the linguistic features we integrated before the classification task.

**MOTS-CLÉS** : intentions, implicite, actes de dialogue, discours oral spontané.

**KEYWORDS:** intentions, implicit, dialog acts, spontaneous oral speech.

## 1 Introduction

L'objectif de ce travail est d'étudier les spécificités linguistiques de l'aspect non-littéral, c'est-à-dire de ce qui n'est pas dit de façon explicite, dans des questions issues de transcriptions d'échanges oraux et spontanés. Il s'agit d'une tâche primordiale pour tendre vers des systèmes de dialogue homme-machine plus performants et plus proches de conversations dites « naturelles ». Pour rendre compte de sa complexité, nous proposons un bref état de l'art des travaux en lien avec cette étude réalisés dans les domaines de la linguistique et du TAL.

L'énoncé est porteur d'une valeur illocutoire correspondant à la force ou l'intention qui lui est attribuée (Austin, 1962; Kerbrat-Orecchioni, 1986). Searle introduit de son côté la notion d'acte de langage indirect qui se compose d'un acte illocutoire primaire (non littéral), et d'un acte illocutoire

<figure><img src="image_35.png" /></figure>
secondaire (littéral) (Searle, 1975). Dans (Allen & Perrault, 1980), les auteurs parlent également d'action intentionnelle pour définir l'acte de langage. Ces différents travaux introduisent la notion d'intention. Du point de vue du TAL, les travaux sur les intentions s'inscrivent dans les domaines de l'analyse d'opinion et des actes de dialogue. D'après (Karoui et al., 2019, 2014), une opinion est une « expression subjective du langage » qui est soit explicite (repérée à l'aide d'indices textuels), soit implicite (s'appuyant sur des connaissances culturelles ou pragmatiques communes). Les actes de dialogue ont quant à eux pour objectif d'aider à l'analyse fine de la conversation et de tous les types d'énoncés qui la composent. Ils correspondent, selon Bunt, à la combinaison entre le contenu sémantique de l'énoncé et sa fonction communicative (Bunt, 2005). Plusieurs taxonomies d'actes de dialogue ont été proposées pour la tâche de classification automatique en actes de langage (Moldovan et al., 2011) tel que le schéma d'annotation DIT ++ (Bunt, 2009) qui s'inspire d'autres taxonomies telles que DAMSL (Allen & Core, 1997), SWBD-DAMSL (Jurafsky et al., 1997), HCRC Map Task (Anderson et al., 1991) ou encore VERBMOBIL (Alexandersson et al., 2011). Le dialogue est souvent étudié en TAL du point de vue de la sémantique formelle, avec des approches telles que celle de Ginzburg (Ginzburg, 1996a,b) et des théories telles que la SDRT par exemple (Segmented Discourse Representation Theory) (Maudet et al., 2004), où l'identification de l'incompréhension entre les locuteurs s'appuie sur la recherche d'incohérences logiques dans les combinaisons entre les actes de parole, calculées à partir des algorithmes compositionnels fondés sur une représentation logique et dynamique d'une question et d'une réponse (Boritchev & Amblard, 2018, 2019). Selon ces théories, les nouveaux énoncés produits réalisent souvent des actes qui doivent être en lien avec d'autres éléments du contexte et s'inscrivent donc dans une structure complexe et non pas linéaire. Elles mettent en évidence l'importance de la prise en compte du contexte pour permettre la cohérence du dialogue.

Nous considérons, d'après la définition de l'énoncé performatif donnée par Austin (Austin, 1962) qu'en posant une question, le locuteur veut toujours dire quelque chose de plus que ce que la valeur locutoire de la question exprime en réalité. Les questions accomplissent toujours, selon nous et tels que les définit Searle, un acte illocutoire primaire et un acte illocutoire secondaire. L'association des caractéristiques des opinions et des actes de dialogue nous amène à définir ce que nous appelons dans cette étude l'intention. Il s'agit de l'activité illocutoire exprimée par un énoncé (« l'ensemble des actes qui s'accomplissent, immédiatement et spécifiquement, par l'exercice de la parole » (Ducrot, 1972)), qui permet de le caractériser selon son but, explicite ou implicite. L'activité illocutoire ne se restreint pas seulement à l'expression des opinions mais à tous les types d'objectifs impliqués par la production d'un énoncé. Dans (Chen et al., 2013), les auteurs différencient les intentions explicites des intentions implicites. Des exemples illustrent ces deux cas : « I am looking for a brand new car to replace my old Ford Focus » qui correspond à une intention explicite d'achat et « Anyone knows the battery life of iPhone ? » qui est une intention implicite d'achat.

Ce travail s'intéresse particulièrement aux intentions implicites exprimées par les locuteurs lorsqu'ils posent une question et tente d'en effectuer la classification automatique ainsi que d'en dégager des spécificités linguistiques en se concentrant uniquement sur l'écrit. Il s'agit de tenir compte du contexte de chaque question à la fois pour l'étape des annotations manuelles et pour celle des annotations automatiques, sans se placer du point de vue de la linguistique formelle. Nous utilisons des techniques existantes ayant déjà fait leurs preuves dans la fouille d'opinion, un des domaines se rapprochant le plus de notre tâche.
## 2 Corpus, typologie et annotations

Les données utilisées proviennent des corpus oraux ESLO1 et ESLO2 (Enquêtes SocioLinguistiques à Orléans) (Baude & Dugua, 2011; Eshkol-Taravella et al., 2011), comportant respectivement environ 300 et 400 heures d'enregistrement. Les transcriptions des enregistrements sont disponibles sur le site web d'ESLO<fnref n="1" /> et ouvertes au public. Nous utiliserons ici toutes les transcriptions d'enregistrements effectués au cours de repas dans ESLO1 et ESLO2, soit un total de 28 fichiers au format .xml (sept issus du corpus ESLO1 et 21 issus d'ESLO2). Ils forment un tout d'environ 19 heures d'enregistrement. Le choix de cette catégorie précise est lié au fait de vouloir utiliser les données les plus spontanées possibles pour répondre à l'objectif principal de ce travail consistant à prédire l'intention du locuteur à travers les questions.

Après de premières observations pour déterminer des points communs et divergences entre les questions du corpus (ou cibles), nous avons fait plusieurs essais d'annotation, en nous demandant à chaque fois ce que le locuteur cherchait à exprimer à travers sa question. Ces essais d'annotation étaient entrecoupés de phases de discussion pour affiner les étiquettes, durant lesquelles se sont posées les questions de leur généricité et de leur applicabilité à l'ensemble du corpus. Un des objectifs était de parvenir à dégager des critères distinctifs pour chacune d'elles. Ces étapes nous ont permis de construire une typologie des intentions dans les questions se divisant en deux parties : la première s'intéressant au type de réponse attendu pour chacune des questions et donc à leur aspect explicite, et la seconde portant sur l'intention exprimée par le locuteur à travers sa question et donc plutôt sur son aspect implicite.

Pour l'explicite, nous avons défini deux classes permettant de catégoriser les questions en fonction du type de réponse attendue. Une question peut donc être :

- une *demande d'accord* (une interrogation totale), par exemple « je peux mettre ça là ? » ;

- une *demande d'information* (une interrogation partielle), par exemple « c'est où Saint Ra-phaël ? ».

L'implicite suppose des classes plus complexes à déterminer puisqu'elles nécessitent une interprétation : il s'agit d'un message non littéral. Nous avons dégagé trois classes représentant l'intention exprimée par le locuteur produisant la question (*avis*, *volonté* et *doute*), sur lesquelles nous nous concentrerons pour la tâche de classification automatique qui constitue la suite de ce travail :

- l'expression d'un *avis* correspond à un jugement positif ou négatif qui n'implique pas nécessairement une action de la part d'un des locuteurs (« ils sont vraiment bêtes hein ? ») et dont les marqueurs possibles peuvent être des adjectifs, des adverbes ou des locutions verbales qui aident à l'expression d'opinions (« je trouve que », « j'adore », « ennuyeux », « honnêtement », etc. ;

- l'expression d'une *volonté* correspond au désir d'une action ou d'un comportement de la part du locuteur lui-même ou de son interlocuteur, implique une réponse correspondant à une action (« tu nous sers à boire mon chéri ? ») et peut avoir des marqueurs tels que des verbes d'action (« aller », « manger », « dormir », « regarder », etc.) ou des verbes exprimant une volonté (« vouloir », « souhaiter », « désirer », etc.) ;

- l'expression d'un *doute* correspond à une mise en doute de ce qui est dit, du caractère vrai ou faux d'une chose, qui n'implique pas nécessairement une action, qui s'apparente à une répétition, à de la surprise, à une demande de confirmation ou de précisions (« sûrement

<footnote n="1">1. http://eslo.huma-num.fr</footnote>
non ? ») et dont les marqueurs possibles peuvent être la répétition d'une partie du contexte précédent, la présence de mots interrogatifs (« qui », « quel », « quoi », etc.) ou encore la présence d'adverbes d'affirmation/modaux (« sûrement », « peut-être », « probablement », etc.).

Nous avons utilisé les définitions de cette typologie pour annoter les 3647 questions de notre corpus, la prise de décision finale pour chacune d'entre elles s'appuyant également sur son contexte, c'est-à-dire sur les dix tours de parole la précédant et la suivant, celui-ci étant peu compréhensible avec une longueur inférieure. Les questions dites « phatiques » ont été considérées comme peu pertinentes pour cette tâche et n'ont donc pour la plupart pas été annotées.

Pour s'assurer de la fiabilité des définitions de nos classes et de nos annotations, nous avons mis en place un formulaire Google Forms pour l'annotation de quinze questions issues de notre corpus, associé à des consignes qui prévoyaient la prise en considération de leurs contextes. Ce formulaire a récolté vingt-six participations de locuteurs natifs du français, dont douze ayant une formation en linguistique. Nous avons ainsi calculé un accord inter-annotateur avec un Kappa de Cohen entre nos propres annotations et celles de chacun des participants. Nous avons obtenu pour 50% des participations un accord inter-annotateur supérieur à 0,73 pour l'explicite et supérieur à 0,6 pour l'implicite, et pour 25% des participants un accord supérieur à 0,86 pour l'explicite et supérieur à 0,8 pour l'implicite (Landis & Koch, 1977). Ces scores sont plutôt satisfaisants compte tenu de la nature de la tâche demandée qui nécessitait de s'appuyer à la fois sur des éléments concrets tels que l'analyse du contexte des questions et la prise en considération des indices lexicaux présents, mais aussi sur sa propre intuition.

## 3 Prétraitements et intégration de traits linguistiques

Pour préparer l'étape de classification automatique, nous avons procédé à la lemmatisation et à l'étiquetage morphosyntaxique des données à l'aide de *TreeTagger* (Schmid, 1994), et plus particulièrement à l'aide des fichiers de paramètres du projet *PERCEO*, un Projet d'Étiqueteur Robuste pour l'Écrit et pour l'Oral (Benzitoun et al., 2012), plus adaptés aux données orales et donc aux transcriptions d'enregistrements. Nous avons ensuite vectorisé avec un TF-IDF les questions et leurs contextes pour obtenir une représentation du texte utilisable en entrée de l'algorithme de classification. En comparaison d'autres types de vectorisations tels que *word2vec* avec les modèles *CBOW* et *Skip-Gram* ou les vecteurs préentraînés de *Flair*, le TD-IDF nous a permis d'obtenir des résultats de classification légèrement meilleurs.

La mise en place de notre typologie et les phases d'annotation nous ont fait remarquer des informations lexicales permettant de distinguer nos différentes classes. Elles constituent donc des indices que nous avons regroupés sous la forme de six lexiques, dont cinq construits spécifiquement pour ce travail :

- les verbes de parole : dire, demander, proposer, suggérer, expliquer, etc. ;

- les verbes de mouvement, issus de la ressource lexicale DinaVmouv, (Stosic & Aurnague, 2017) : accrocher, suivre, s'asseoir, remplir, parcourir, etc. ;

- les mots interrogatifs : qui, combien, lequel, pourquoi, quand, etc. ;

- les interjections, correspondant à la liste d'interjections présentées dans le guide de transcription des corpus ESLO : mouais, hein, miam, bof, bah, etc. ;

- les sentiments : apprécier, ravi, haine, nul, inquiéter, etc. ;
# 5 Discussion

Une première observation concerne la baisse des performances lorsque des traits liés aux contextes sont ajoutés, comme dans les expériences 2 et 5. Pour vérifier l'importance du contexte des cibles, nous avons reproduit les expériences 2 et 8 avec deux puis cinq tours de parole avant et après la question. Les scores obtenus pour l'expérience 2 (qui ne comprenait que la vectorisation des cibles et de leurs contextes) montrent une amélioration des performances lorsqu'il y a moins de tours de parole dans chaque contexte, ce qui peut s'expliquer par la trop grande quantité d'informations non pertinentes rapportées par la vectorisation des contextes lorsque ceux-ci sont plus larges. En revanche, nous observons pour l'expérience 8 (qui comprenait la vectorisation des cibles et des informations lexicales) que les scores sont meilleurs lorsque la fenêtre de contexte est plus grande : lorsque la vectorisation des contextes est utilisée en entrée du classifieur, elle semble rapporter beaucoup de bruits et faire baisser les performances, tandis que lorsque l'algorithme s'appuie sur des informations lexicales plutôt que sur la vectorisation, il est plus performant avec plus de contextes.

<table><caption>TABLE 2 – Comparaison des expériences 2 et 8 en fonction du nombre de tours de parole par contexte</caption><thead><tr><th rowspan="2">Nb tours de parole par contexte</th><th colspan="3">Expérience 2</th><th colspan="3">Expérience 8</th></tr><tr><th>2</th><th>5</th><th>10</th><th>2</th><th>5</th><th>10</th></tr></thead><tbody><tr><td>Précision</td><td>0,575</td><td>0,54</td><td>0,492</td><td>0,588</td><td>0,591</td><td>0,631</td></tr><tr><td>Rappel</td><td>0,572</td><td>0,536</td><td>0,493</td><td>0,584</td><td>0,587</td><td>0,624</td></tr><tr><td>F-mesure</td><td>0,571</td><td>0,535</td><td>0,489</td><td>0,582</td><td>0,585</td><td>0,622</td></tr></tbody></table>

Pour interpréter les résultats, nous nous sommes concentrés sur l'expérience 8, une des expériences ayant eu les meilleurs scores et prenant en compte le plus de traits. Nous avons calculé la médiane du nombre de mots et du nombre de caractères pour chaque cible, contexte gauche et contexte droit. Nous avons également calculé le nombre de mots appartenant aux différents lexiques présents en moyenne dans chaque cible (tableau 3).

<table><caption>TABLE 3 – Mesures pour les prédictions des classes avis (A), volonté (V) et doute (D)</caption><thead><tr><th></th><th>A→A</th><th>A→D</th><th>A→V</th><th>V→V</th><th>V→A</th><th>V→D</th><th>D→D</th><th>D→A</th><th>D→V</th></tr></thead><tbody><tr><td>méd. mots c.</td><td>6</td><td>5</td><td>5</td><td>6</td><td>5</td><td>5</td><td>3</td><td>5</td><td>6</td></tr><tr><td>méd. mots g.</td><td>96</td><td>92</td><td>93.5</td><td>87.5</td><td>95</td><td>88</td><td>92</td><td>85</td><td>101</td></tr><tr><td>méd. mots d.</td><td>97</td><td>97</td><td>81</td><td>88.5</td><td>97</td><td>88</td><td>84</td><td>94</td><td>92</td></tr><tr><td>méd. caractères c.</td><td>21</td><td>19</td><td>21</td><td>21</td><td>19</td><td>17</td><td>11</td><td>17</td><td>21</td></tr><tr><td>méd. caractères g.</td><td>331</td><td>326</td><td>330,5</td><td>312,5</td><td>322</td><td>302</td><td>327</td><td>312</td><td>341</td></tr><tr><td>méd. caractères d.</td><td>344</td><td>338</td><td>301</td><td>310</td><td>345</td><td>317</td><td>299</td><td>331</td><td>309,5</td></tr><tr><td>vb. de parole</td><td>0,03</td><td>0,04</td><td>0,07</td><td>0,04</td><td>0,04</td><td>0,02</td><td>0,05</td><td>0,08</td><td>0,07</td></tr><tr><td>vb. de mouvement</td><td>0,06</td><td>0,07</td><td>0,12</td><td>0,19</td><td>0,12</td><td>0,1</td><td>0,08</td><td>0,11</td><td>0,16</td></tr><tr><td>mots interrogatifs</td><td>0,34</td><td>0,53</td><td>0,47</td><td>0,33</td><td>0,35</td><td>0,37</td><td>0,58</td><td>0,46</td><td>0,59</td></tr><tr><td>interjections</td><td>0,54</td><td>0,27</td><td>0,25</td><td>0,18</td><td>0,37</td><td>0,3</td><td>0,08</td><td>0,3</td><td>0,24</td></tr><tr><td>sentiments</td><td>0,41</td><td>0,09</td><td>0,12</td><td>0,03</td><td>0,09</td><td>0,13</td><td>0,04</td><td>0,16</td><td>0,1</td></tr><tr><td>modaux</td><td>0,31</td><td>0,07</td><td>0,09</td><td>0,13</td><td>0,26</td><td>0,13</td><td>0,09</td><td>0,11</td><td>0,07</td></tr></tbody></table>

Pour la classe *doute*, la médiane pour le nombre de caractères des questions est de 11. Il s'agit d'une longueur courte par rapport aux questions de la classe *doute* ayant été mal classées en *avis* ou en *volonté* pour lesquelles nous trouvons respectivement des médianes de 17 et de 21. Pour cette classe, la présence de mots interrogatifs est également significative puisqu'elle est plus élevée en moyenne qu'ailleurs (0,58). Les questions de cette classe ayant été mal classées en *volonté* contiennent en moyenne 0,16 verbes de mouvement, un chiffre qui se rapproche de la moyenne du nombre de verbes de mouvement présents dans les bonnes prédictions de *volonté* (0,19).
Pour la classe *avis*, les cibles bien classées ont en moyenne une forte présence de mots appartenant aux lexiques des sentiments (0,41), des interjections (0,55) et des modaux (0,31) comparé aux autres classes et aux cibles mal classées de la classe *avis*. Ces dernières, lorsqu'elles sont mal classées dans *volonté* ont en moyenne 0,12 mots appartenant au lexique des sentiments, 0,25 mots appartenant aux interjections et 0,09 mots étant des modaux. Ceci se confirme également pour les cibles *avis* mal classées en *doute*, pour lesquelles nous voyons par ailleurs que le nombre de mots interrogatifs présents en moyenne est de 0,53, un chiffre qui se rapproche de celui obtenu pour les cibles *doute* bien classées qui est de 0,58.

Enfin, pour la classe *volonté*, nous remarquons une plus forte présence de verbes de mouvement qu'ailleurs, avec une moyenne de 0,19 pour les cibles bien classées en *volonté*. Ce chiffre est plus bas pour les cibles mal classées en *doute* (0,1) et se rapproche notamment de la moyenne du nombre de verbes de mouvement pour les bonnes prédicitions de *doute* qui est de 0,08. Pour les cibles de *volonté* mal classées en *avis*, nous observons une présence plus forte de mots des lexiques d'interjections (0,37) et de modaux (0,26), qui sont des caractéristiques de la classe *avis*.

# 6 Perspectives et conclusions

Le but de cette étude était de parvenir à définir et à identifier les intentions implicites exprimées par les locuteurs. Il s'agissait plus précisément d'étudier les spécificités linguistiques permettant de caractériser l'aspect non-littéral de questions issues du discours oral spontané, en prenant en considération leurs contextes. Après avoir constitué un corpus de référence dont nous avons évalué les étiquettes créées à partir de nos recherches et de notre typologie, nous avons procédé à une tâche de classification automatique avec Random Forest pour laquelle nous avons également intégré des traits linguistiques à nos données originales. Les scores obtenus pour ces expériences sont supérieurs au hasard mais restent tout de même améliorables puisqu'ils tournent pour la plupart autour de 0,6. Ces résultats semblent constituer un plafond et rendent ainsi compte de la complexité de la tâche effectuée. Ils restent cependant encourageants lorsqu'ils sont mis en regard avec les accords inter-annotateurs obtenus lors de l'évaluation des annotations manuelles, bons ou excellents pour la moitié d'entre eux.

Plusieurs idées et perspectives pourraient améliorer ces résultats :

- l'augmentation de la taille du corpus de référence pour permettre un meilleur apprentissage ;

- l'identification de nouveaux traits discriminants ;

- l'enrichissement de traits existants (par exemple l'ajout de nouvelles entrées à nos lexiques) ;

- l'utilisation de techniques d'apprentissage profond.

Une perspective à plus long terme de ce travail serait d'adapter cette étude sur les intentions implicites à d'autres types d'énoncés que les questions ou encore à d'autres types de données que les transcriptions de discours oral et spontané.

# Références

ALEXANDERSSON J., BUSCHBECK-WOLF B., FUJINAMI T., KIPP M., KOCH S., MAIER E., REITHINGER N., SCHMITZ B. & SIEGEL M. (2011). *Dialogue acts in VERBMOBIL-2*, volume 1998. 2. ed. édition. Report 226.
ALLEN J. & CORE M. (1997). Draft of DAMSL : Dialog Act Markup in Several Layers. https://www.cs.rochester.edu/research/speech/damsl/RevisedManual/.

ALLEN J. F. & PERRAULT C. R. (1980). Analyzing intention in utterances. *Artificial intelligence*, **15**(3), 143–178.

ANDERSON A. H., BADER M., BARD E. G., BOYLE E., DOHERTY G., GARROD S., ISARD S., KOWTKO J., MCALLISTER J., MILLER J. et al. (1991). The HCRC map task corpus. *Language and speech*, **34**(4), 351–366.

AUSTIN J. L. (1962). *How to do things with words*. William James Lectures. Oxford University Press.

BAUDE O. & DUGUA C. (2011). (Re)faire le corpus d'Orléans quarante ans après : quoi de neuf, linguiste ? *Corpus*, **10**, 99–118.

BENZITOUN C., FORT K. & SAGOT B. (2012). TCOF-POS : un corpus libre de français parlé annoté en morphosyntaxe. In *Actes de la conférence conjointe JEP-TALN-RECITAL 2012*. HAL : hal-00709187.

BORITCHEV M. & AMBLARD M. (2018). Coffee or tea? Yes. In L. PRÉVOT, M. OCHS & B. FAVRE, Éds., *Proceedings of the 22nd workshop on the Semantics and Pragmatics of Dialogue*. HAL : hal-01922137.

BORITCHEV M. & AMBLARD M. (2019). A compositional view of questions. In *Proceedings of the 2019 Workshop on Widening NLP*. HAL : hal-02269603.

BUNT H. (2005). A framework for dialogue act specification. *Proceedings of SIGSEM WG on Representation of Multimodal Semantic Information*.

BUNT H. (2009). The DIT++ taxonomy for functional dialogue markup. In *AAMAS 2009 Workshop, Towards a Standard Markup Language for Embodied Dialogue Acts (EDAML 2009)*, p. 13–24.

CHEN Z., LIU B., HSU M., CASTELLANOS M. & GHOSH R. (2013). Identifying intention posts in discussion forums. In *Proceedings of the 2013 conference of the North American chapter of the association for computational linguistics : human language technologies*, p. 1041–1050.

DUCROT O. (1972). *Dire et ne pas dire : principes de sémantique linguistique*. Savoir. Hermann. ESHKOL-TARAVELLA I., BAUDE O., MAUREL D., HRIBA L., DUGUA C. & TELLIER I. (2011). Un grand corpus oral « disponible » : le corpus d'Orléans 1 1968-2012. *Traité Automatique des Langues*, **52**(3). HAL : halshs-01163053.

GINZBURG J. (1996a). Dynamics and the semantics of dialogue. In J. SELIGMAN & D. WESTERSTÅHL, Éds., *Logic, Language and Computation, Volume 1*, volume 58 of CSLI Lecture Notes, chapitre 15. CSLI Publications.

GINZBURG J. (1996b). Interrogatives : Questions, facts and dialogue. In *The handbook of contemporary semantic theory*. Blackwell, Oxford, p. 359–423. Citeseer.

JURAFSKY D., SHRIBERG E. & BIASCA D. (1997). *Switchboard SWBD-DAMSL Shallow-Discourse-Function Annotation Coders Manual, Draft 13*. Rapport interne 97-02, Institute of Cognitive Science University of Colorado, Boulder. https://www.colorado.edu/ics/technical-reports-1990-1999, Part 1, Part 2.

KAROUI J., BENAMARA F. & MORICEAU V. (2019). *Détection automatique de l'ironie : Application à la fouille d'opinion dans les microblogs et les médias sociaux*. ISTE Group.

KAROUI J., GILLES N. A., BENAMARA ZITOUNE F. & BELGUITH L. (2014). Le langage figuratif dans le web social : cas de l'ironie et du sarcasme. In *Workshop Fouille d'opinion dans le Web social*, Lyon, France. HAL : hal-01686491.
KERBRAT-ORECCHIONI C. (1986). *L'implicite*. Paris : A. Colin.

LANDIS J. R. & KOCH G. G. (1977). The measurement of observer agreement for categorical data. *Biometrics*, **33**(1), 159–174.

MAUDET N., MULLER P. & PRÉVOT L. (2004). Tableaux conversationnels en SDRT. *Actes de TALN*.

MOLDOVAN C., RUS V. & GRAESSER A. (2011). Automated speech act classification for online chat. In S. VISA, A. INOUE & A. RALESCU, Éds., *Proceedings of The 22nd Midwest Artificial Intelligence and Cognitive Science Conference 2011*, p. 23–29. http://ceur-ws.org/Vol-710/paper22.pdf.

SCHMID H. (1994). Probabilistic Part-of-Speech Tagging Using Decision Trees. In *Proceedings of the International Conference on New Methods in Language Processing*, Manchester, UK.

SEARLE J. (1975). Indirect Speech Acts. In P. COLE & J. L. MORGAN, Éds., *Syntax and Semantics, Volume 3 : Speech Acts*. Academic Press.

STOSIC D. & AURNAGUE M. (2017). DinaVmouv : Description, INventaire, Analyse des Verbes de mouvement. An annotated lexicon of motion verbs in French. Ressource lexicale, HAL : hal-01979613.
# Réduire l'effort humain d'amélioration des ressources lexicales grâce aux inférences

Nadia Bebeshina¹, ² Mathieu Lafourcade¹

(1) LIRMM, 860 rue de St Priest, 34095 Montpellier, France

(2) Praxiling, Université Paul Valéry, Route de Mende 34199, Montpellier, France
nadia.clairet@gmail.fr, mathieu.lafourcade@lirmm.fr

## RÉSUMÉ

Les inférences translingues représentent une piste intéressante pour la construction des ressources lexico-sémantiques multilingues. Cependant, la validation des éléments candidats nécessite un effort humain considérable. Nous décrivons une façon de construire des ressources lexico-sémantiques via des inférences monolingue et translingue. Son intérêt principal consiste à implémenter dans le contexte d'une ressource lexico-sémantique multilingue une approche où le processus de construction est un processus auto-apprenant car l'évaluation participe à la construction de celle-ci.

## ABSTRACT

Reducing the Knowledge Resource Enhancement Human Effort through Inferences.

The inference based knowledge resource enhancement mechanism allows building lexical semantic resource incrementally and, presumably, minimises the human effort necessary for the resource building. Unfortunately, the knowledge parts obtained by inference have to be semi-automatically double checked to avoid the propagation of errors. The overall human effort in the inference process may be very important. In the present paper, we describe a resource building pipeline based on monolingual inference and cross-lingual inference. Its main contribution is proposing a method where the resource building process appears as a self learning process.

**MOTS-CLÉS** : inférence, ressource multilingue, relations sémantiques, validation.

**KEYWORDS**: inference, multilingual knowledge resource, semantic relations, validation.

# 1 Introduction

Les ressources lexico-sémantiques sous forme de graphe sont fréquemment utilisées pour l'analyse sémantique et la désambiguïsation. Dans le contexte de construction de ces ressources, inférer de nouveaux éléments à partir des éléments existants dans la ressource semble permettre de réduire l'effort humain nécessaire à celle-ci. Cependant, les éléments candidats doivent être validés de façon supervisée afin d'éviter la propagation des erreurs. Ainsi, la part de l'effort humain nécessaire à la mise en place et au fonctionnement des méthodes à base d'inférence endogène peut être très importante (élaboration des règles d'inférence, validation, mise à jour des éléments existants). Après avoir introduit l'état de l'art des techniques de construction des ressources lexico-sémantiques, nous détaillons les ressources qui ont servi pour l'expérience. Puis, nous décrivons notre méthode d'inférence et d'évaluation par inférence des éléments candidats et ses résultats.

<figure><img src="image_36.png" /></figure>
## 2 État de l'art

Construire ou améliorer le ressources de connaissance multilingues peut s'appuyer sur un mécanisme d'inférence qui permet d'exploiter les différentes partitions monolingues de ces ressources et les liens entre ces partitions. Ainsi, dans le cadre des bases de connaissance fondées sur les entités et les faits sur les entités telles que NELL (Carlson et al., 2010), plusieurs auteurs ont proposé d'établir les équivalences entre les entités et les relations des différentes partitions. Les auteurs dans (Hernández-González et al., 2017) ont proposé de fusionner le différentes éditions monolingues de NELL. (Nickel et al., 2015) détaillent l'apprentissage statistique dans le contexte multilingue en mettant l'accent sur la transitivité et les contraintes de type de relation. De même que les auteurs dans (Wang et al., 2015), ils fondent leur méthode sur des bases à large couverture telles que NELL, KnowItAll (Etzioni et al., 2005), YAGO (Suchanek et al., 2007) ou DeepDive (Shin et al., 2015).

Des travaux ont également été menés pour enrichir les modèles des ressources telles que Princeton WordNet (Fellbaum, 1998) et construire des ressources ayant une expressivité comparable dans d'autres langues, plus pauvres en ressources telles que le basque (Agirre et al., 2002). Ces auteurs mettent l'accent sur l'importance de l'alignement concept à concept et mot à mot. Le projet BabelNet (Navigli & Ponzetto, 2012) a été la première expérience à grande échelle de construction des ressources non supervisée et intégrant plusieurs ressources pré-existantes et construites manuellement. Les processus d'inférence endogènes à base de règles a été étudié notamment par (Zarrouk, 2015) et (Ramadier, 2016) dans le cadre des travaux sur la construction endogène du réseau lexico-sémantique pour le français RezoJDM. Leurs méthodes reposent sur les relations sémantiques et annotations (méta-informations) de ces relations déjà présentes dans cette ressource pour proposer de nouveaux éléments grâce aux inférences déductives, inductives, abductives (exploitant la similarité sémantique) et fondées sur les raffinements de sens. (Gelbukh, 2018) a introduit un mécanisme d'inférence comparable pour enrichir une base de connaissances collocationnelle et proposer de nouvelles collocations par abduction à partir de celles déjà présentes dans la base. Cette méthode utilise WordNet pour calculer la similarité sémantique.

## 3 Ressources

RezoJDM (Lafourcade, 2007) est un réseau lexico-sémantique du français construit par peuplonomie dont, en particulier, les jeux avec un but tels que JeuxDeMots<fnref n="1" /> ainsi que d'autres jeux<fnref n="2" />. Il s'agit d'un graphe orienté, typé et pondéré. Au moment où nous écrivons RezoJDM contient 4,2 millions de termes (noeuds) et 310 millions de relations (arcs). Le modèle de RezoJDM offre trois caractéristiques importantes pour notre expérience. Premièrement, il contient des relations à poids négatif (relations sémantiquement fausses) ce qui rend possible la détection des relations fausses par inférence. Deuxièmement, les termes de ce réseau peuvent être raffinés afin de représenter les distinctions de sens. Troisièmement, les relations peuvent être annotées et comporter plusieurs annotations. Nous nous référerons à RezoJDM comme *ressource de référence*.

RLSM (Bebeshina-Clairet, 2019) est un réseau lexico-sémantique multilingue (français, anglais, russe, espagnol) avec un pivot interlingue. Au moment où nous écrivons RLSM contient 821 781 noeuds (termes) and 2 231 197 arcs (relations). Il a été construit pour les domaines de la cuisine et

<footnote n="1">1. http://www.jeuxdemots.org</footnote>

<footnote n="2">2. http://imaginat.name/JDM/Page_Liens_JDMv2.html</footnote>
de la nutrition, mais contient également de la connaissance générale conformément à l'hypothèse
sur la non-séparation de la connaissance générale et de spécialité vérifiée par (Ramadier, 2016).
Inter-opérable avec RezoJDM (types de relations, raffinements de sens), le RLSM est un graphe
orienté, typé et valué. Il contient *k* sous-graphes correspondant à chacune des *k* langues du réseau
ainsi qu'un sous-graphe spécifique, le pivot interlingue. *Valué* se réfère au fait que le RLSM n'a
pas été construit par peuplonomie et a nécessité d'autres moyens de valuation complémentaires à la
pondération. L'ajout des méta-informations et l'attribution des scores de confiance ont été exploités
pour permettre de renforcer ou non la relation entre les termes.

4 Expérience

4.1 Observations générales

L'expérience s'est appuyée sur les observations suivantes : (1) dans certaines langues les informa-
tions sémantiques peuvent être découvertes à partir des traits morpho-syntaxiques tandis que dans
d'autres langues la même information est plus difficile à obtenir; (2) dans le contexte des ressources
lexico-sémantiques multilingues, une partition lexicalisée (sous-graphe d'une langue) peut fournir
l'information sémantique manquante à ses autres partitions; (3) dans le cas de deux ressources
lexico-sémantiques interopérables, les composants (par exemple, termes, relations sémantiques) d'une
ressource peuvent être validés en s'appuyant sur le contenu réel ou inférable de l'autre ressource.
Compte tenu de ces observations, nous supposons que les relations sémantiques extraites depuis
le corpus de langue riche en traits sémantico-syntaxiques (comme la langue russe) peuvent être
exploitées pour enrichir une ressource sémantique dans une autre langue. La condition serait alors
l'existence d'un lien (traduction, pivot) entre la ressource à évaluer et la ressource de référence.
L'interopérabilité du RLSM avec la ressource plus riche et plus stable RezoJDM a permis la mise en
place de la procédure d'évaluation automatique. L'exploitation des résultats de la procédure d'évalua-
tion automatique rapproche l'expérience du processus auto-apprenant. L'expérience comprend trois
étapes : (1) **identification et extraction des relations sémantiques** à partir du corpus de textes en
russe pré-étiqueté en partie de discours en utilisant un ensemble de règles; (2) **inférence translingue**
des relations extraites et création de nouvelles relations dans le sous-graphe français du RLSM à partir
des relations intégrées dans le sous-graphe russe suite à l'extraction; (3) **validation translingue des
relations inférées** grâce à la ressource de référence RezoJDM.

4.2 Extraction

**Corpus et portée de l'extraction.** L'extraction a été effectuée à partir d'un corpus des instructions de cuisine (2 473 654 mots) collecté sur le Web<fnref n="3" />. Ce corpus a été étiqueté en utilisant le parseur *Rus-sian Malt parser* (Sharoff & Nivre, 2012). L'extraction a concerné les types de relations sémantiques suivants : (a) *caractéristique* avec quelques distinctions entre les caractéristiques de composition, et des caractéristiques qualitatives pouvant être observées à travers les traits morpho-syntaxiques en russe; (b) *manière* avec distinctions observées entre les expressions adverbiales liées à l'instrument (décorer *avec des fruits tranchés*), manière partie-tout (*couper en cubes*) et d'autres réalisations; (c) *lieu* avec distinction entre les lieux de type « surface plane » et les lieux de type « contenant ».

<footnote n="3">3. Principalement, à partir du portail https://www.gotovim.ru/</footnote>
**Règles.** Les règles pour l'extraction des caractéristiques reposent sur une série de traits propres aux adjectifs en russe. Comme remarqué par (Corbett, 2004), les adjectifs du russe couvrent les aspects typologiques inhabituels. Un sous-ensemble de règles (*carac-r1*) correspond aux adjectifs canoniques qui donnent des caractéristiques de dimension, âge, valeur, et couleur. Un autre sous-ensemble de règles (*carac-r2*) sur les modèles de dérivation saillants pour les adjectifs du russe tels que décrits par (Zemskaja et al., 1981). Plus spécifiquement, nous avons exploré les adjectifs dérivés des noms et verbes. La dérivation à partir de noms peut révéler la relation partie-tout (composant ou membre) tandis que la dérivation à partir des verbes peut révéler les changements d'état. Il est à remarquer que le rôle des adjectifs dans la représentation des caractéristiques typiques nécessaires catégorisation ont fait objet de nombreux travaux, notamment dans le cadre de la terminologie fondée sur les cadres, *Frame-Based Terminology* (Faber & Cabezas-García, 2019). Dans (Altmanova et al., 2018), les adjectifs renfermant des relations sémantiques sont utilisés pour extraire d'autres adjectifs porteurs des mêmes types de relation (fonction, composition, localisation, cause et forme).

Sur la base des appariements entre les structures de surface (lexicalisation du mouvement) et les composants du sens nécessaires pour représenter le mouvement (objet mouvant, point de référence, chemin) la typologie de (Talmy, 1985) distingue deux groupes essentiels de langues : les langues S (langues qui exploitent des mots-satellites)<fnref n="4" /> et les langues V où les verbes de mouvement sont directionnels et l'indication de manière est optionnelle comme détaillé dans (Strömqvist & Verhoeven, 2004). Dans notre expérience il s'agit de l'acquisition des relations de manière et trajectoire à partir d'une langue S pour les transférer vers la langue V sous forme de relations sémantiques explicites.

Les prémisses des règles sont des traits syntaxiques, grammaticaux et morphologiques tels que les cas des noms, « satellites » (préfixes, suffixes, mots-outils). La conclusion est la création d'une relation candidate dans le sous-graphe russe du RLSM.

Exemples des règles :

(*)if X Y (contexte) and X Verb (prémisse 1) and Y Nom:CaseAccusative (prémisse 2)

X r_object Y (conclusion)

(**)if X "na" Y and X Verb and Y Noun:CaseLocative

X r_has_part::essential component Y (conclusion - une relation annotée)

Pour donner un exemple d'une règle fondée sur les traits morphologiques, nous pouvons citer le cas des adjectifs avec une suffixe [-yann] qui permettent d'extraire les informations sur la matière (bois, verre) qui constitue l'objet.

L'ensemble des règles comporte moins de 30 règles pour les types de relations abordés par l'expérience. L'étape d'extraction reste dépendante de la sortie du parseur.

Les types d'information sémantique extraits sont présentés dans le tableau 1. Une mesure de confiance est attribuée à chaque instance de règle. Initialement, le score *c* est fixé à *c* = 1. Au fur et à mesure que les relations inférées sont évaluées grâce à la ressource de référence, ce score évolue et contribue à refléter la fiabilité de la règle *pour la langue cible*. Il est affecté par le nombre de relations justes inférées grâce à cette règle, le nombre de sens des termes polysémiques (dans le cas d'une relation source dont l'inférence ascendante produit *n* relations interlingues, la confiance pour chacune de ces relations est de $c_{int} = \frac{cs}{n} \text{ etc.}$) et le statut suite à l'évaluation.

<footnote n="4">4. Finno-ougriennes, germaniques, sino-tibétaines et slaves.</footnote>
<table><caption>TABLE 1 – Détails concernant les règles d'extraction et le nombre des instances obtenues #ext.</caption><thead><tr><td>type-règle</td><td>#ext</td><td>%ext</td></tr></thead><tbody><tr><td>manner-r1 (adverbes)</td><td>8 229</td><td>25,4%</td></tr><tr><td>manner-r2 (instrument, forme : en cubes, avec les mains)</td><td>1 879</td><td>5,8%</td></tr><tr><td>manner-r3 (avec peu d'intensité)</td><td>295</td><td>0,9%</td></tr><tr><td>manner-r4 (action récurrente)</td><td>154</td><td>0,4%</td></tr><tr><td>carac-r1</td><td>12 488</td><td>38%</td></tr><tr><td>carac-r2 (dérivation nominale, partie-tout)</td><td>543</td><td>1,6%</td></tr><tr><td>carac-r3 (dérivation verbale, état)</td><td>756</td><td>2%</td></tr><tr><td>place-r1</td><td>5 679</td><td>17,5%</td></tr><tr><td>place-r2 (lieu plan ou contenant)</td><td>2 298</td><td>7%</td></tr><tr><td>Total</td><td>32 321</td><td>100%</td></tr></tbody></table>

## 4.3 Inférence et évaluation

**Pivot « interlingue »**. Les schémas d'inférence dans le RLSM sont fondées sur l'utilisation du pivot interlingue. Ce pivot a été amorcé en tant que pivot naturel à partir des liens de traduction présents dans DBnary (Sérasset, 2014) (édition anglaise et russe) et évolue actuellement vers le pivot interlingue. La ressource DBNary est orientée vers l'alignement par sens (Tchechmedjiev, 2016). Le pivot a été enrichi grâce à des processus d'acquisition exogènes (à partir des ressources monolingues et multilingues pré-existentes) ainsi que d'extractions à partir des textes de spécialité (Bebeshina-Clairet, 2019). Le pivot peut être vu comme l'union de tous les sens disponibles dans le RLSM. Les termes interlingues qui appartiennent au pivot sont reliés aux termes lexicalisés grâce à la relation typée *r_covers*. Un terme lexicalisé peut avoir plusieurs termes couvrants. Un lien translingue correspond à un chemin qui traverse le pivot, processus également détaillé dans (Bebeshina-Clairet & Lafourcade, 2019). Ainsi, les relations extraites à partir des textes en russe sont créées dans le sous-graphe du russe. Lorsque le terme source $t_s$ et le terme cible $t_c$ d'une relation $r_type_{ru}$ ainsi créée sont couverts par le pivot interlingue, la relation $r_type_{inter}$ est inférée dans le pivot et relie le terme couvrant du $t_s$ à celui du $t_c$. Il est ensuite possible de produire des relations candidates en français afin de permettre la validation.

**Inférence.** Le processus d'inférence actuel détaillé dans (Bebeshina-Clairet & Lafourcade, 2019) combine la phase ascendante (langue source → pivot) et la phase descendante (pivot → langue cible). Pendant la phase ascendante, les relations sémantiques du sous-graphe de la langue source sont inférées dans le pivot grâce à un ensemble de contraintes qui dépendent du type de relation à inférer. Pour former une relation typée « caractéristique », il est nécessaire que le terme source soit un nom tandis que le terme-cible soit un adjectif. Vérifier si les termes sont sémantiquement liés (triangulation) ainsi que le calcul de similarité sémantique sont également utilisés. Pendant la phase descendante, le processus d'inférence est complété par le processus d'évaluation fondé sur la recherche et l'inférence dans la ressource de référence (RezoJDM).

**Outil d'évaluation.** Premièrement, les relations inférées sont ajoutées dans le sous-graphe français du RLSM. Deuxièmement, l'évaluation est effectuée grâce à l'outil Helix<fnref n="5" /> destiné à vérifier la

<footnote n="5">5. http://www.jeuxdemots.org/rezo-ask.php</footnote>
présence des relations et à compléter RezoJDM. Troisièmement, le retour de l'évaluation de la relation candidate affecte le poids et le statut des relations ayant contribué à son inférence (relations des sous-graphes russe, interlingue et français).

Les résultats d'inférence ascendante reflètent la couverture de la langue source par le pivot. L'inférence descendante montre la couverture de la langue cible par le pivot en ce qui concerne un type de relation particulier. Grâce à l'évaluation, cette phase descendante permet l'acquisition des relations sémantiquement fausses qui sont maintenues dans le RLSM afin de prévenir leur acquisition ultérieure par d'autres moyens (processus exogènes, inférences). Les résultats d'inférences en deux phases sont listés dans la table 2a. Les processus d'inférence génèrent de nombreuses relations candidates à cause de la présence des raffinements de sens dans le RLSM, (en particulier, les distinctions de sens acquises à partir de WordNet (Fellbaum, 1998), RezoJDM, ConceptNet (Speer & Havasi, 2012) qui sont reliées à des termes polysémiques mais non raffinés (notamment, dans le sous graphe russe). Lorsque les relations candidates sont automatiquement validées, les termes en langue source sont désambiguïsés car un poids négatif est attribué aux relations qui concernent le sens erroné $t > s_1$ du terme $t$ à un terme $p$ lorsqu'un autre sens de $t, t > s_2$, a une relation évaluée comme vrai avec $p$.

<table><thead><tr><th>type</th><th>#ext</th><th>#asc</th><th>#desc</th></tr></thead><tbody><tr><td>carac-r1</td><td>12 488</td><td>22 631</td><td>40 762</td></tr><tr><td>carac-r2</td><td>543</td><td>3 371</td><td>2 983</td></tr><tr><td>carac-r3</td><td>756</td><td>1 318</td><td>440</td></tr><tr><td>manner-1</td><td>8 229</td><td>6 000</td><td>8 929</td></tr><tr><td>manner-2</td><td>1 879</td><td>1 413</td><td>1 655</td></tr><tr><td>manner-3</td><td>295</td><td>283</td><td>192</td></tr><tr><td>manner-4</td><td>154</td><td>177</td><td>169</td></tr><tr><td>place-r1</td><td>5 679</td><td>2 548</td><td>2 969</td></tr><tr><td>place-r2</td><td>2 298</td><td>5 551</td><td>6 267</td></tr><tr><td>Total</td><td>32 321</td><td>43 292</td><td>66 366</td></tr></tbody></table>

(a) Nombre des relations extraites (`#ext`), inférences ascendante (`#asc`) et descendante (`#desc`).

<table><thead><tr><th>type</th><th>#inf<sub>d</sub></th><th>#true<sub>r</sub></th><th>#true<sub>inf</sub></th><th>#und</th></tr></thead><tbody><tr><td>carac-r1</td><td>40 762</td><td>815</td><td>2 454</td><td>37 493</td></tr><tr><td>carac-r2</td><td>2 983</td><td>64</td><td>283</td><td>2 636</td></tr><tr><td>carac-r3</td><td>440</td><td>44</td><td>264</td><td>132</td></tr><tr><td>manner-r1</td><td>8 929</td><td>35</td><td>2 419</td><td>6 475</td></tr><tr><td>manner-r2</td><td>1 655</td><td>17</td><td>83</td><td>1 555</td></tr><tr><td>manner-r3</td><td>192</td><td>13</td><td>27</td><td>152</td></tr><tr><td>manner-r4</td><td>169</td><td>6</td><td>13</td><td>150</td></tr><tr><td>place-r1</td><td>2 969</td><td>74</td><td>453</td><td>2 442</td></tr><tr><td>place-r2</td><td>6 267</td><td>49</td><td>3 181</td><td>2 777</td></tr><tr><td>Total</td><td>66 366</td><td>1 117</td><td>9 177</td><td>53 812</td></tr></tbody></table>

(b) Évaluation des relations inférées. Par souci de simplicité, seulement les relations acceptées par recherche (`#true<sub>r</sub>`) ou inférence (`#true<sub>inf</sub>`) et les relations « indécidables » (`#und`) soit « ne sait pas », « terme absent », « faux par inférence » sont listées.

<caption>TABLE 2 – Inférence et évaluation des relations</caption>

**Évaluation et ajustement.** Le processus d'évaluation est un processus fondé sur l'inférence monolingue dans le réseau lexico-sémantique RezoJDM destiné à améliorer automatiquement le RLSM et le processus d'extraction des relations sémantiques. L'évaluation avec l'outil Helix retourne les valeurs suivantes pour les relations testées : (1) « vrai » (la relation est présente dans RezoJDM); (2) « vrai par inférence » (la relation est inférable dans le RezoJDM); (3) « ne sait pas » (la relation est absente et le processus d'inférence ne parvient pas à valider la relation, cette réponse est quasi-équivalente à « faux »); (4) « faux » (la relation a un poids négatif); (5) « faux par inférence » (la relation est inférable et fausse dans RezoJDM); (6) « terme inconnu » (terme source ou cible de la relation à tester est absent de RezoJDM). L'expérience s'intéresse principalement aux relations validées par recherche, par inférence et aux relations invalidées (classification à 3 termes). Une analyse ultérieure plus approfondie des relations candidates invalidées se situera dans un cadre plus large qui concerne la ressource de référence.
Les résultats d'évaluation montrent le rôle significatif d'inférence monolingue. Les relations séman-
tiques qui exploitent les propriétés telles que *plan*, *contenant* (place-r2), action faite « un par un »
(manner-r4) peuvent ne pas être explicitement présentes dans la ressource de référence mais elles
sont inférables. Le pourcentage des relations validées automatiquement comme « vraies » correspond
au pourcentage généralement observé dans le contexte d'évaluation humaine : #true<sub>inf</sub> indiqué dans
la table 2b est d'environ 5% à 10% des relations inférées par inférence translingue ce qui est similaire
aux résultats de validation manuelle dans (Zarrouk, 2015) et (Bebeshina-Clairet, 2019).

# 5 Discussion

L'expérience a été menée sur la base des réseaux lexico-sémantiques et s'est appuyée sur des processus
d'inférence conçus pour ce type de ressource. Est-elle facile à reproduire ? Pour une paire de langues
donnée, la réponse à cette question dépend de la disponibilité de la ressource de référence (RezoJDM
dans le cadre de l'expérience) dans une des langues. La ressource de référence est celle où la
proportion des termes polysémiques désambiguïsés (raffinement de sens), la couverture et le nombre
de relations sémantiques sont importants. Cette ressource doit également disposer d'un nombre
suffisant de relations typées entre les termes et les raffinements pour permettre des inférences. Une
des affirmations défendues à travers l'expérience présentée est que, pour un réseau lexico-sémantique
multilingue, il suffit de disposer d'une ressource de référence dans une seule langue pour améliorer
et raffiner l'ensemble de la ressource de façon faiblement supervisée. Cette expérience est ainsi un
encouragement à la conception de ressources raisonnablement interopérables avec une ressource de
référence afin de pouvoir de réduire l'effort humain de leur construction.

Un intérêt primordial des réseaux lexico-sémantiques pour le TAL est de contenir des termes et
des relations entre ces termes représentés de façon explicite aussi bien pour un usage humain que
pour un usage machine. La ressource que nous avons exploitée en tant que référence est le RLS le
plus important construit pour le français. L'état actuel du RezoJDM permet d'apprécier son modèle
polyvalent. Par ailleurs, l'expérience de construction d'un RLSM avec un pivot interlingue a démontré
que, dans le contexte d'un RLS multilingue, les différences de granularité de sens (le terme anglais
« stew » correspond à la fois à *ragoût* et *pot-au-feu* en français) peuvent aisément être représentés.

6 Conclusion

L'impact d'extraction à base de critères morpho-syntaxiques peut être limité car de nombreux traits
sont « polysémiques » (correspondent à plusieurs relations sémantiques potentielles). Les inférences
translingues et monolingues apparaissent comme un moyen de résoudre ces ambiguïtés et réduire
l'effort humain nécessaire à la construction et l'amélioration des ressources de façon significative.
Nos expériences montrent également qu'il suffit de disposer de la ressource de référence (pouvant
supporter les processus d'inférence) dans une seule langue couverte par la ressource multilingue pour
construire et améliorer les partitions des autres langues de façon moins supervisée. L'expérience
d'évaluation a montré que le recours à une base de connaissance importante semble être le bon chemin
vers la construction non supervisée des ressources lexico-sémantiques multilingues.
Références

AGIRRE E., ANSA O., ARREGI X., ARRIOLA J. M., DE ILARRAZA A. D., POCIELLO E. & URIA L. (2002). Methodological issues in the building of the Basque WordNet : quantitative and qualitative analysis. In *Proceedings of First International WordNet Conference*, p. 32–40.

ALTMANOVA J., GRIMALDI C. & ZOLLO S. (2018). Le rôle de l’adjectif dans la catégorisation des déchets. *SHS Web of Conferences*, **46**, 05004. DOI: 10.1051/shsconf/20184605004.

BEBESHINA-CLAIRET N. (2019). *Construction d'une ressource termino-ontologique multilingue pour les domaines de la cuisine et de la nutrition*. Theses, Université Paris 13.

BEBESHINA-CLAIRET N. & LAFOURCADE M. (2019). Inférence des relations sémantiques dans un réseau lexico-sémantique multilingue. In *TALN : Traitement Automatique des Langues Naturelles*, volume PFIA, Toulouse, France. HAL: hal-02269113.

CARLSON A., BETTERIDGE J., KISIEL B., SETTLES B., JR. E. R. H. & MITCHELL T. M. (2010). Toward an architecture for never-ending language learning. In *Proceedings of the Twenty-Fourth AAAI Conference on Artificial Intelligence*, AAAI 2010, Atlanta, Georgia, USA, July 11-15, 2010, p. 1306–1313.

CORBETT G. G. (2004). *The Russian Adjective : A Pervasive Yet Elusive Category*, In *Adjective classes : a cross-linguistic typology*, p. 199–222. Oxford University Press.

ETZIONI O., CAFARELLA M., DOWNEY D., POPESCU A.-M., SHAKED T., SODERLAND S., WELD D. S. & YATES A. (2005). Unsupervised named-entity extraction from the Web : An experimental study. *Artificial Intelligence*, **165**(1), 91 – 134. DOI: http://dx.doi.org/10.1016/j.artint.2005.03.001.

FABER P. & CABEZAS-GARCÍA M. (2019). Specialized knowledge representation : From terms to frames. *Research in Language*, **17**, 197–211. DOI: 10.2478/rela-2019-0012.

FELLBAUM C. (1998). *WordNet An Electronic Lexical Database*. Cambridge, MA; London : The MIT Press.

GELBUKH A. F. (2018). Inferences for enrichment of collocation databases by means of semantic relations. *Computación y Sistemas*, **22**(1), 103–117. DOI: http://dx.doi.org/10.13053/cys-22-1-2923.

HERNÁNDEZ-GONZÁLEZ J., HRUSCHKA JR. E. R. & MITCHELL T. M. (2017). Merging knowledge bases in different languages. In *Proceedings of TextGraphs-11 : the Workshop on Graph-based Methods for Natural Language Processing*, p. 21–29, Vancouver, Canada : Association for Computational Linguistics. DOI: 10.18653/v1/W17-2403.

LAFOURCADE M. (2007). Making people play for Lexical Acquisition with the JeuxDeMots prototype. In *SNLP’07 : 7th International Symposium on Natural Language Processing*, Pattaya, Chonburi, Thailand. HAL: lirmm-00200883.

NAVIGLI R. & PONZETTO S. P. (2012). BabelNet : The automatic construction, evaluation and application of a wide-coverage multilingual semantic network. *Artificial Intelligence*, **193**, 217–250.

NICKEL M., MURPHY K., TRESP V. & GABRILOVICH E. (2015). A review of relational machine learning for knowledge graphs : From multi-relational link prediction to automated knowledge graph construction. In *CBMM Memos*. CBBM.

RAMADIER L. (2016). *Indexation and learning of terms and relations from reports of radiology*. Theses, Université de Montpellier. HAL: tel-01479769.
SÉRASSET G. (2014). DBnary : Wiktionary as a Lemon-Based Multilingual Lexical Resource in RDF. *Semantic Web – Interoperability, Usability, Applicability*, p. 355–361. DOI: 10.3233/SW-140147.

SHAROFF S. & NIVRE J. (2012). The proper place of men and machines in language technology. processing russian without any linguistic knowledge. In *Dialogue 2011, Russian Conference on Computational Linguistics*, p. 657–670.

SHIN J., WU S., WANG F., DE SA C., ZHANG C. & RÉ C. (2015). Incremental knowledge base construction using deepdive. *Proc. VLDB Endow.*, 8(11), 1310–1321. DOI: 10.14778/2809974.2809991.

SPEER R. & HAVASI C. (2012). Representing general relational knowledge in ConceptNet 5. In *Proceedings of the Eighth International Conference on Language Resources and Evaluation (LREC-2012)*, p. 3679–3686, Istanbul, Turkey : European Languages Resources Association (ELRA).

STRÖMQVIST S. & VERHOEVEN L. (2004). *Relating events in narrative : Typological and contextual perspectives*. Mahwah, NJ : Lawrence Erlbaum.

SUCHANEK F., KASNECI G. & WEIKUM G. (2007). Yago : A Core of Semantic Knowledge. Unifying WordNet and Wikipedia. In *Proceedings of the 16th International Conference on World Wide Web*, p. 697 – 697, Banff, Canada. DOI: 10.1145/1242572.1242667.

TALMY L. (1985). *Lexicalization patterns : Semantic structure in lexical forms.*, In *Language typology and syntactic description.*, volume 3, p. 57–149. Cambridge : Cambridge University Press.

TCHECHMEDJIEV A. (2016). *Semantic Interoperability of Multilingual Lexical Resources in Lexical Linked Data*. Theses, Université Grenoble Alpes. HAL: tel-01681358.

WANG Q., WANG B. & GUO L. (2015). Knowledge base completion using embeddings and rules. In *Proceedings of the 24th International Conference on Artificial Intelligence*, IJCAI’15, p. 1859–1865 : AAAI Press.

ZARROUK M. (2015). *Consolidation endogène de réseaux lexico-sémantiques : Inférence et annotation de relations, règles d'inférence et langage dédié*. Theses, Université de Montpellier. HAL: tel-01300285.

ZEMSKAJA E., KITAJGORODSKAJA M. & SIRJAEV E. (1981). *Russkaja razgovornaja rec' : Obcie voprosy, slovoobrazovanie, sintaksis*. Moskva : Nauka.
# Extraction de thèmes d'un corpus de demandes de support pour un logiciel de relation citoyen

Mokhtar Boumedyen Billami Christophe Bortolaso Mustapha Derras
Berger-Levrault, 64 rue Jean Rostand, 31670 Labège
mb.billami@berger-levrault.com,
christophe.bortolaso@berger-levrault.com,
mustapha.derras@berger-levrault.com

## RÉSUMÉ

Nous nous intéressons dans cet article à l'extraction de thèmes (topics) à partir de commentaires textuels provenant des demandes de support de l'éditeur de logiciel Berger-Levrault. Le corpus de demandes analysé est celui d'un outil de gestion de la relation citoyen. Ce corpus n'est pas formaté et est peu structuré avec plusieurs locuteurs qui interviennent (le citoyen et un ou plusieurs techniciens support). Nous décrivons une étude expérimentale qui repose sur l'utilisation de deux systèmes. Le premier système applique une LDA (Allocation Dirichlet Latente), tandis que le second combine l'application d'une LDA avec l'algorithme k-Moyennes (k-Means). Nous comparons nos résultats avec un échantillon de ce corpus, annoté par un expert du domaine. Nos résultats montrent que nous obtenons une classification de meilleure qualité comparable avec celle effectuée manuellement par un expert en utilisant une combinaison LDA/k-Moyennes.

## ABSTRACT

**Topic extraction from a corpus of support requests for citizen relations software.**

In this paper, we are interested in topic modeling from textual comments provided by support requests from Berger-Levrault software editor. The selected corpus relates to a citizen relationship management platform. This corpus is not formatted and not well-structured involving multiple speakers (the citizen and one or more technicians). We describe an experimental study based on the use of two systems. The first system applies an LDA (Latent Dirichlet Allocation), while the second combines the application of an LDA with the k-Means algorithm. We compare our results with a data test derived from this corpus, annotated by an expert in the field. Our results show that we obtain a better classification like the one carried out manually by an expert using a combination of LDA/k-Means.

**MOTS-CLÉS** : Modélisation de thèmes, Allocation Dirichlet Latente, k-Moyennes.

**KEYWORDS:** Topic Modeling, Latent Dirichlet Allocation, k-Means.

## 1 Introduction

La modélisation et l'identification du thème auquel appartiennent les documents d'une collection donnée de textes sont essentielles pour de nombreuses applications. Par exemple, la recherche d'information (Yi & Allan, 2009), les systèmes de recommandation (Al-Ghossein et al., 2018), la classification de textes (Guha Neogi et al., 2019), les sciences cognitives (Pirnay-Dummer & Walter, 2009) et l'analyse de sentiments dans les réseaux sociaux (Naskar et al., 2016), pour n'en

<figure><img src="image_37.png" /></figure>
citer que quelques-unes. Dans ce contexte, un topic est un groupe de mots clés qui est considéré intuitivement comme représentant un thème sémantique latent présent dans un document. L'extraction des thèmes consiste à effectuer une analyse distributionnelle sur un corpus de données pour en mesurer les probabilités de distribution des thèmes sur les termes du vocabulaire utilisé. La modélisation des thèmes (en anglais *topic modeling*) est un processus sémantique qui applique un regroupement de niveau supérieur sur les mots clés et repose sur des modèles statistiques qui capturent la probabilité d'apparition des mots sémantiquement liés dans un contexte défini. Par exemple, pour capturer l'idée que *demande* et *inscription* se rapportent au même thème, tandis que *demande* et *FAQ* (i.e. Foire Aux Questions) se rapportent à un thème différent.

Plusieurs travaux se sont concentrés sur la modélisation et l'identification du thème auquel appartiennent les documents d'un corpus de données (Lin, 1995; Medelyan et al., 2008; Varga et al., 2014; Venkatesaramani et al., 2019). Ces approches reposent sur l'analyse de termes (ou parfois d'entités nommées), extraits à partir des textes, sur lesquels un regroupement peut être effectué afin de les lier par thème (par exemple, dans notre cas d'étude, *inscription*, *gestion de doublons* et *renumérotation*). Par la suite, un étiquetage du thème (Sorodoc et al., 2017; Gourru et al., 2018) peut être (facultativement) appliqué pour attribuer à ce groupe de termes un identifiant approprié se référant au thème en question (par exemple, *doublons d'inscription*).

Nous nous intéressons dans cet article à l'extraction de thèmes à partir de commentaires textuels évoqués par des clients et techniciens support pour le traitement des données du logiciel e.élections appartenant à l'éditeur Berger-Levrault. Il s'agit d'un logiciel de gestion des inscriptions électorales et de la préparation des scrutins. Plusieurs tâches sont nécessaires à la gestion des élections, par exemple, la modification des adresses des électeurs, l'optimisation d'édition des cartes électorales, la mise à jour du nom du maire, voire la gestion des transmissions dans un répertoire national induisant la gestion des doublons citée ci-dessus. Ce travail présente une étude expérimentale de méthodes d'extraction de thèmes à partir d'un corpus de demandes de support. Plus précisément, nous traitons la tâche d'identification des thèmes. Pour ce qui concerne l'étiquetage des thèmes, cette tâche n'est pas traitée dans ce travail mais constitue un complément essentiel.

Après avoir présenté dans la section 2 les travaux état-de-l'art d'extraction de thèmes, nous décrivons dans la section 3 le corpus de travail et d'évaluation de nos méthodes. Nous discutons du format de ces corpus et des conséquences sur le processus d'extraction de thèmes. Dans la section 4, nous présentons la méthodologie que nous avons suivie pour créer des modèles d'apprentissage permettant l'identification des thèmes. Enfin, les résultats d'expérimentation sont discutés dans la section 5 avant de terminer par une conclusion et quelques perspectives (section 6).

## 2 Travaux antérieurs d'extraction de thèmes

L'identification des thèmes peut être envisagée en appliquant directement les méthodes traditionnelles proposées dans la littérature telles que l'analyse sémantique latente-LSA (Deerwester et al., 1990), la LSA probabiliste-pLSA (Hofmann, 2001) ou l'allocation Dirichlet latente-LDA (Blei et al., 2003). Cependant, ces approches ont certaines limites. Premièrement, elles ne fonctionnent généralement que sur des mots individuels et non sur des expressions polylexicales, bien que des extensions aient été proposées pour tenir compte des termes multi-mots (Nokel & Loukachevitch, 2016; Blei & Lafferty, 2009). Deuxièmement, les thèmes sont considérés comme des variables latentes associées à une probabilité de générer des mots, et ne sont donc pas directement « étiquetés », ce qui les rend difficile à externaliser, même si des extensions pour étiquer les thèmes sont disponibles (Gourru et al., 2018). Enfin, les mots sont difficiles à
interpréter sémantiquement et sont généralement considérés comme des références symboliques sur lesquelles une inférence statistique/probabiliste peut être appliquée. Toutefois, il existe une alternative qui permet de surmonter cette dernière limite lorsque le modèle LDA est appliqué. Il s'agit de l'outil de visualisation pyLDAvis (Sievert & Shirley, 2014). Cet outil permet de faciliter l'interprétation des thèmes à l'aide de la représentation graphique proposée. En effet, sélectionner un ou plusieurs termes sur le graphe permet non seulement de mieux expliquer le thème en question mais aussi de tirer des conclusions sur l'importance de certains termes pour certains thèmes. Par ailleurs, des approches ont émergé et proposent d'utiliser les informations structurées disponibles dans les bases de connaissances ontologiques pour améliorer l'identification des thèmes dans les textes (Jain & Pareek, 2010). Toutefois, ces ressources ne sont pas toujours disponibles principalement lorsque nous sommes confrontés au traitement d'un corpus de spécialité.

D'autres travaux se sont concentrés sur l'utilisation des méthodes traditionnelles en conjonction avec les informations extraites à partir de ressources standards, par exemple, la ressource DBpedia (Auer et al., 2007). Hulpuş et al. (2013) ont appliqué une LDA pour regrouper les mots en thèmes et ensuite, ils ont associé les mots groupés avec la ressource DBpedia pour étiqueter les thèmes. Todor et al. (2016), quant à eux, ont proposé un travail en sens inverse, c'est-à-dire, d'abord associer les termes avec la base DBpedia avant d'appliquer un algorithme d'identification de thèmes dans le but d'enrichir les textes avec des annotations en catégories de Wikipédia, hyperonymes, entités liées aux entités extraites, etc. Medelyan et al. (2008) ont proposé un travail qui consiste à indexer les thèmes sur tout le corpus Wikipédia par application d'un contrôleur de vocabulaire. Ce contrôleur repose sur l'utilisation des noms des articles de Wikipédia.

Pour l'étiquetage des thèmes, des approches à base de graphes de connaissances ont été proposées en utilisant des ressources lexico-sémantiques ou ontologiques (Hulpuş et al., 2013 ; Allahyari & Kochut, 2015). Ce type d'approches a été aussi proposé pour l'amélioration de l'identification des thèmes en utilisant des plongements d'entités (entity embeddings), par exemple (Yao et al., 2017 ; Brambilla & Altinel, 2019). Yao et al. (2017) ont entraîné les représentations d'entités au moyen d'une utilisation des réseaux sémantiques comme WordNet (Miller, 1995) et des bases de connaissances en ligne comme FreeBase (Bollacker et al., 2008).

## 3 Données de travail

Nous utilisons un corpus français de demandes de support à propos du logiciel e'élections. Nous appellerons ce corpus par la suite le corpus support Élections. Ce dernier a plusieurs particularités (par exemple, mots non structurés, formatage, ponctuation faible, etc.). Cela s'explique par le fait que pour une demande donnée, plusieurs échanges ont eu lieu soit par écrit, soit par téléphone. Toutefois, le contenu textuel que nous avons récupéré pour chaque demande regroupe la question du citoyen et les différentes réponses ayant été rapportées à sa demande par suite des échanges effectués avec les techniciens support. Par ailleurs, le vocabulaire utilisé par les citoyens est très varié et parfois mal structuré. Il dépasse la plupart du temps les termes (mots) utiles pour apporter une réponse à une demande donnée. L'utilisation de l'ensemble des mots du vocabulaire du corpus peut facilement engendrer un biais. L'aspect de réduction du vocabulaire est traité dans ce travail et est discuté dans la section qui suit.

Le corpus de travail ayant servi à l'entraînement de nos modèles d'apprentissage contient 94 478 échanges représentant 31 036 demandes différentes. Ce corpus a été collecté durant le dernier trimestre de l'année 2019. Une première analyse de ce corpus avec Spacy (Honnibal & Johnson, 2015), chaîne du traitement automatique de la langue, nous a montré la diversité du vocabulaire
utilisé : 12 412 mots pleins différents, c'est-à-dire, mots portant du sens (noms, adjectifs, adverbes et verbes). Le corpus d'évaluation, quant à lui, représente un échantillon de données collecté durant le troisième trimestre de l'année 2019. Cet échantillon décrit 535 demandes différentes dont près de 74 % des demandes (394 cas) ont été annotées avec un seul thème par un expert du domaine.

# 4 Méthodologie

Cette section décrit l'architecture de notre approche et les modèles d'apprentissage que nous avons développés. Cette approche répond au problème d'identification des thèmes en trois parties différentes, à savoir : (1) quels sont les outils et les ressources nécessaires pour prétraiter les données et réduire le vocabulaire utilisé dans le corpus support Élections ? (2) quel est le modèle de représentation vectorielle à utiliser pour décrire les demandes ? et (3) quel est le modèle d'apprentissage non supervisé à utiliser pour apprendre les thèmes discutés dans le corpus ? La figure 1 présente l'architecture de notre approche.

<figure><img src="image_38.png" /><figcaption>FIGURE 1: Approche d'identification des thèmes à partir des demandes de support</figcaption></figure>

Pour la première partie, tout d'abord un travail de fusion des différents échanges liés à une même demande est effectué, en se référant au numéro de référence de la demande. Ensuite, nous utilisons Spacy (Honnibal & Johnson, 2015) pour extraire les formes lemmatisées des mots portant du sens.

L'étape suivante consiste à contrôler le vocabulaire exprimé dans les différents commentaires en utilisant un vocabulaire spécialisé et en effectuant des substitutions lexicales par l'utilisation de familles morphologiques. Plus précisément, nous avons utilisé un ensemble de documents FAQ liés aux corpus support Élections (22 documents avec une moyenne de 2 pages de contenu textuel, hors figures, par document). Ces documents FAQ permettent d'apporter des réponses aux questions des utilisateurs sur le produit e'élections. Un vocabulaire de 804 mots pleins a ainsi été obtenu.
Après avoir obtenu le vocabulaire lié aux documents FAQ, nous effectuons une substitution lexicales des mots du corpus par d'autres mots appartenant à une même famille morphologique. L'idée consiste à remplacer chaque mot plein du corpus par le mot le plus fréquent (dans le corpus). Pour cela, nous utilisons deux ressources, à savoir : Morphonette (Hathout, 2008) et Polymots (Gala & Rey, 2008). Morphonette est un réseau lexical morphologique construit à partir de la liste des mots du Trésor de la langue Française (Dendien & Pierrel, 2003), par utilisation des mesures de similarité morphologique. Ce réseau contient plus de 8 600 familles morphologiques. Polymots (Gala & Rey, 2008), quant à lui, représente une base de données lexicales permettant d'avoir des familles morphophonologiques. Cette base contient 8 000 mots communs en français et a été construite à partir de la continuité de sens et des formes phoniques comparables. Nous utilisons à la fois ces deux ressources puisqu'elles sont complémentaires. Par exemple, Polymots contient la famille morphologique *doublon*, *double*, *doublé*, *doubleur*, *doublage* et *doublement* alors que Morphonette ne propose pas de famille pour le mot *doublon*. D'un autre côté, Morphonette contient la famille *procuration*, *procurer*, *procureur* alors que Polymots ne propose pas de famille pour le mot *procuration*. La substitution que nous effectuons nous permet non seulement d'avoir une réduction supplémentaire du vocabulaire (nous passons de 804 à 513 mots) mais aussi d'ajouter une importance aux mots les plus fréquents. Par exemple, *doublon* est représenté avec 2 494 occurrences dans le corpus de travail contre 697 pour *double* et 3 pour *doublé*. La substitution lexicales donne ainsi un total d'occurrences de 3 194 pour *doublon*.

Pour la représentation des commentaires, nous utilisons Scikit-learn (Buitinck et al., 2013). Plus précisément, les modèles de représentation *CountVectorizer* et *TfidfVectorizer*. *CountVectorizer* permet de créer des représentations tenant compte seulement du nombre d'occurrences de mots dans un texte. *TfidfVectorizer*, quant à lui, permet de créer des représentations à base de TF-IDF, fréquence du terme-fréquence inverse du document (Jones, 1972). Cette technique donne des poids les plus élevés aux termes (i.e. mots) qui apparaissent plus fréquemment dans un texte par rapport aux autres textes du corpus. Pour l'expérimentation, nous avons utilisé ces deux techniques.

Pour le modèle d'apprentissage, nous utilisons l'allocation Dirichlet latente (Blei et al., 2003) et k-Moyennes (McQueen, 1967). L'allocation Dirichlet latente permet de représenter les textes comme des distributions de thèmes. En comparaison avec l'analyse sémantique latente probabiliste, la LDA suppose que les thèmes sont répartis entre les textes et les mots répartis entre les thèmes. Par ailleurs, k-Moyennes permet d'aboutir pour notre cas à une répartition des commentaires du corpus en *k* groupes (*clusters*). Les commentaires de chaque groupe partagent une certaine sémantique qui peut être identifiée en analysant la distribution des termes pour le groupe (i.e. fréquence des mots). Nous avons fait le choix de combiner LDA avec k-Moyennes pour voir le comportement de ce dernier sur des demandes évoquant au moins deux thèmes proches sémantiquement. Pour cette combinaison, l'algorithme LDA travaille sur la distribution des mots alors que l'algorithme k-Moyennes prend en entrée la distribution de probabilités des thèmes retournés par LDA.

# 5 Résultats d'expérimentation

Nous avons tout d'abord entraîné un modèle LDA sur les données du corpus de travail. Afin de choisir les meilleures valeurs pour les deux paramètres à fournir pour LDA, à savoir : le nombre de composants (thèmes) et la décomposition de l'apprentissage (*learning decay*, *ld*), nous avons appliqué la méthode *GridSearchCV* qui est implémentée dans Scikit-learn. Le nombre de thèmes a été varié entre 2 et 20 et nous avons pris une valeur pour la variable *ld* soit de 0,5, 0,7 ou 0,9. Les résultats obtenus ont montré que le paramétrage optimal pour notre modèle LDA serait de prendre 10 thèmes avec une valeur *ld* égale à 0,5, cela en utilisant les deux types de représentation des
commentaires, à savoir TF (fréquence du terme) et TF-IDF. Avec cette configuration, nous avons obtenu un rapport de vraisemblance de -1 204 185 et une perplexité de 123 par simple application du TF au type de représentation, ce qui est relativement bien pour une telle valeur de vraisemblance.

Nous avons comparé les résultats obtenus par l'utilisation des deux types de représentation des demandes de support. Cette comparaison nous a montré que le simple TF permet de mieux distinguer au moins quatre thèmes. La figure 2 montre les cartes retournées par pyLDAvis (Sievert & Shirley, 2014) sur les deux types de représentation. Nous remarquons que l'application de TF-IDF (voir la carte 'b') de la figure 2) renvoie une projection très dense de la plupart des thèmes où la distance entre eux est très petite. Cela peut s'expliquer par le fait que la pondération TF-IDF accapare une très large part de la variance en raison de la présence des deux thèmes 9 et 10.

<figure><img src="image_39.png" /><figcaption>FIGURE 2: Visualisation des thèmes obtenus à l'aide de l'outil pyLDAvis</figcaption></figure>

Pour ce qui suit, nous présentons nos résultats par application du type de représentation TF. Le tableau 1 décrit les mots les plus fréquents pour chaque thème du corpus de travail support Élections.

<table><caption>TABLE 1 : Mots les plus fréquents de chaque thème par application du LDA</caption><thead><tr><td>Thème</td><td>Liste de mots les plus fréquents</td></tr></thead><tbody><tr><td>1</td><td>inscription ; notification ; traiter ; radiation ; pas ; date ; office ; avoir ; client ; compte.</td></tr><tr><td>2</td><td>logiciel ; mise ; jour ; rappeler ; nom ; synchronisation ; version ; avance ; usage ; pas.</td></tr><tr><td>3</td><td>demande ; insee ; transmettre ; pas ; instruit ; message ; viser ; traiter ; notification ; erreur.</td></tr><tr><td>4</td><td>liste ; numéro ; avoir ; pas ; renumérotation ; apparaître ; client ; fois ; carte ; électeur.</td></tr><tr><td>5</td><td>client ; connexion ; erreur ; pas ; message ; portail ; service ; période ; application ; besoin.</td></tr><tr><td>6</td><td>adresse ; doublon ; naissance ; changement ; ville ; commune ; gestion ; supprimer.</td></tr><tr><td>7</td><td>bureau ; vote ; synchronisation ; faire ; lancer ; pas ; base ; exister ; erreur ; sauvegarde.</td></tr><tr><td>8</td><td>faq ; client ; demande ; site ; lien ; recevoir ; cas ; disponible ; assistance ; réponse ; pouvoir.</td></tr><tr><td>9</td><td>carte ; retour ; procuration ; commission ; premium ; liste ; européen ; imprimer ; saisir.</td></tr><tr><td>10</td><td>tableau ; commander ; relatif ; espace ; solliciter ; récupérer ; transmettre ; condition.</td></tr></tbody></table>

Nous remarquons que les thèmes numérotés en 5, 8, 9 et 10 se distinguent des autres puisque chacun est lié à une tâche de traitement différente, par exemple, 'problème de connexion et gestion des
messages d'erreurs' pour le thème 5 et 'demande des FAQ' pour le thème 8. Par ailleurs, certaines demandes n'ont pas pu être représentées (i.e. vecteurs nuls) en raison du texte très court utilisé par le citoyen (par exemple, *problème*) et l'absence de la réponse textuelle (fournie en général par téléphone pour ces cas). Il s'agit de 386 demandes (*Out-Of-Vocabulary*, *OOV*) sur 31 036.

Nous avons appliqué par la suite l'algorithme k-Moyennes en utilisant comme entrées les probabilités de distribution des thèmes renvoyées par LDA. Nous avons effectué une analyse de la silhouette en variant de la même façon le nombre de composants (thèmes dans notre cas) de 2 à 20. Le meilleur coefficient de la silhouette obtenu est 0,41 et revient à l'utilisation de 10 thèmes. Cela confirme d'une certaine manière le nombre de thèmes à prendre en compte pour classifier les demandes. La comparaison de nos deux systèmes sur la distribution des demandes du corpus de travail pour le thème le plus probable (majoritaire) nous montre des différences : 1 050 demandes évoquent un thème différent selon le système utilisé (3,38 % de cas). Le tableau 2 présente la distribution des demandes sur le thème majoritaire.

<table><caption>TABLE 2 : Nombre de demandes associées au thème majoritaire</caption><thead><tr><th>Modèle</th><th>T1</th><th>T2</th><th>T3</th><th>T4</th><th>T5</th><th>T6</th><th>T7</th><th>T8</th><th>T9</th><th>T10</th><th>OOV</th></tr></thead><tbody><tr><td>LDA</td><td>5010</td><td>4223</td><td>4077</td><td>4322</td><td>4060</td><td>2407</td><td>2013</td><td>1105</td><td>2071</td><td>1362</td><td>386</td></tr><tr><td>LDA/k-Means</td><td>4870</td><td>4429</td><td>3962</td><td>4380</td><td>3924</td><td>2639</td><td>2035</td><td>1009</td><td>2078</td><td>1324</td><td>386</td></tr></tbody></table>

Nous avons évalué la qualité de nos deux systèmes sur 394 nouvelles demandes de support ayant été annotées par un expert du domaine. Sur l'ensemble de ces cas, 8 thèmes ont été évoqués, à savoir : (a) changement d'adresse, (b) demande d'inscription/radiation, (c) doublon d'inscription, (d) inscrits d'Office, (e) erreur du numéro d'émargement, (f) synchronisation, (g) suppression de la radiation et (h) divers. Nous avons remarqué plusieurs équivalences de thèmes entre ceux retournés par nos systèmes et ceux annotés par l'expert, voir même de nouveaux thèmes que l'expert a pris comme divers. Par exemple, l'édition des cartes électorales (thème 9). Il est à noter que l'expert était libre de choisir les thèmes jugés pertinents et n'avait pas l'obligation de spécifier exactement 8 thèmes. Par ailleurs et afin de mesurer la performance de nos systèmes, nous avons mis en correspondance les thèmes générés automatiquement et ceux proposés par l'expert. L'application du système LDA/k-Moyennes s'est vu meilleure que l'utilisation seule de LDA lorsque les demandes évoquent au moins deux thèmes importants. Nous avons obtenu un taux d'exactitude de 72 % pour LDA contre 77,69 % pour LDA/k-Moyennes.

# 6 Conclusion et perspectives

Dans cet article, nous avons présenté deux méthodes d'identification des thèmes. La première repose sur l'utilisation de LDA, tandis que la seconde est en deux temps : elle applique d'abord une LDA sur la distribution des mots pour ensuite appliquer l'algorithme k-Moyennes sur la distribution des thèmes retournés par LDA. Nous avons montré que l'utilisation de la seconde méthode à deux niveaux est plus performante lors du traitement des commentaires ayant au moins deux thèmes proches sémantiquement. Par ailleurs, en raison de la variété du vocabulaire exprimé par les locuteurs (principalement les citoyens), une réduction de la liste des mots du corpus était nécessaire en utilisant non seulement un vocabulaire spécialisé (documents FAQ liés au corpus support Élections) mais aussi certaines ressources de familles morphologiques. Deux perspectives s'ouvrent à ce travail : (1) une intégration des expressions polylexicales par l'utilisation des N-grammes (Nokel & Loukachevitch, 2016) est possible afin d'améliorer nos modèles; et (2) un étiquetage des thèmes (Gourru et al., 2018) est envisageable afin de faciliter leur intégration dans l'amélioration de plusieurs applications du traitement automatique du langage naturel.
Références

ALLAHYARI M. & KOCHUT K. (2015). Automatic Topic Labeling Using Ontology-Based Topic Models. *International Conference on Machine Learning and Applications (ICMLA)*, p. 259–264.

AL-GHOSSEIN M., MURENA P. A., ABDESSALEM T., BARRE A. & CORNUEJOLS A. (2018). Adaptive collaborative topic modeling for online recommendation. In *Proceedings of the 12th ACM Conference on Recommender Systems*, p. 338–346. DOI: 10.1145/3240323.3240363.

AUER S., BIZER C., KOBILAROV G., LEHMANN J., CYGANIAK R. & IVES Z. (2007). DBpedia: A Nucleus for a Web of Open Data. *International Semantic Web Conference (ISWC-ASWC)*, p. 722–735.

BLEI D. M. & LAFFERTY J. D. (2009). Visualizing Topics with Multi-Word Expressions. *arXiv preprint arXiv:0907.1013*.

BLEI D. M., NG A. Y. & JORDAN M. I. (2003). Latent Dirichlet Allocation. *Journal of machine Learning research*, **3**(Jan), p. 993–1022.

BOLLACKER K., EVANS C., PARITOSH P., STURGE T. & TAYLOR J. (2008). Freebase: A Collaboratively Created Graph Database For Structuring Human Knowledge. In *Proceedings of the ACM SIGMOD international conference on Management of data*, p. 1247–1250.

BRAMBILLA M. & ALTINEL B. (2019). Improving Topic Modeling for Textual Content with Knowledge Graph Embeddings. *AAAI-MAKE Spring Symposium*.

BUITINCK L., LOUPPE G., BLONDEL M., PEDREGOSA F., MUELLER A., GRISEL O., NICULAE V., PRETTENHOFER P., GRAMFORT A., GROBLER J., LAYTON R., VANDERPLAS J., JOLY A., HOLT B. & VAROQUAUX G. (2013). API design for machine learning software: experiences from the scikit-learn project. *ECML PKDD Workshop: Languages for Data Mining and Machine Learning*, p. 108–122.

DEERWESTER S., DUMAIS S. T., FURNAS G. W., LANDAUER T. K. & HARSHMAN R. (1990). Indexing by latent semantic analysis. *Journal of the American Society for Information Science*, **41**, p. 391–407.

DENDIEN J. & PIERREL J.-M. (2003). Le Trésor de la Langue Française Informatisé : un exemple d'informatisation d'un dictionnaire de langue de référence. *Traitement Automatique des Langues*. Sous la direction de M. ZOCK & J. CAROLL, **44**(2), p. 11–37.

GALA N. & REY V. (2008). POLYMOTS: une base de données de constructions dérivationnelles en français à partir de radicaux phonologiques. *Actes de TALN 08: Traitement Automatique des Langues Naturelles*.

GOURRU A., VELCIN J., ROCHE M., GRAVIER C. & PONCELET P. (2018). United we stand: Using multiple strategies for topic labeling. *NLDB: Natural Language Processing and Information Systems*, p. 352–363. DOI: 10.1007/978-3-319-91947-8_37, HAL: lirmm-01910614.

HATHOUT N. (2008) Acquisition of the morphological structure of the lexicon based on lexical similarity and formal analogy. In *Proceedings of the COLING Workshop Textgraphs-3*, p. 1–8.

HOFMANN T. (2001). Unsupervised learning by probabilistic latent semantic analysis. *Machine Learning*, **42**(1), p. 177–196.

HONNIBAL M. & JOHNSON M. (2015). An Improved Non-monotonic Transition System for Dependency Parsing. In *Proceedings of the Conference on Empirical Methods in Natural Language Processing*, p. 1373–1378. DOI: 10.18653/v1/D15-1162.

HULPUŞ I., HAYES C., KARNSTEDT M. & GREENE D. (2013). Unsupervised graph-based topic labelling using DBpedia. In *Web Search and Web Data Mining (WSDM)*, p. 465–474. ACM.

JAIN S. & PAREEK J. (2010). Automatic Topic(s) Identification from Learning material: An Ontological Approach. In *Computer Engineering and Applications (ICCEA)*, volume 2, p. 358–362. IEEE.

JONES K. S. (1972). A statistical interpretation of term specificity and its application in retrieval. *Journal of Documentation*, **28**, p. 11–21.
LIN C.-Y. (1995). Knowledge-based automatic topic identification. In *Annual meeting of the Association for Computational Linguistics (ACL)*, p. 308–310.

MACQUEEN J. (1967). Some methods for classification and analysis of multivariate observations. In *Proceedings of the fifth Berkeley symposium on mathematical statistics and probability*, volume 1, p. 281–297.

MEDELYAN O., WITTEN I. H. & MILNE D. (2008). Topic indexing with Wikipedia. In *2008 AAAI workshop "Wikipedia and Artificial Intelligence: An Evolving Synergy"*.

MILLER G. A. (1995). WordNet: A Lexical Database for English. *Communications of the ACM*, **38**(11), p. 39–41.

NASKAR D., MOKADDEM S., REBOLLO M. & ONAINDIA E. (2016). Sentiment Analysis in Social Networks through Topic modeling. In *Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16)*, p. 46–53.

NOKEL M. & LOUKACHEVITCH N. (2016). Accounting ngrams and multi-word terms can improve topic models. In *Proceedings of the 12th Workshop on Multiword Expressions*, p. 44–49.
DOI: 10.18653/v1/W16-1806.

GUHA NEOGI P. P., DAS A. K., GOSWAMI S. & MUSTAFI J. (2019). Topic Modeling for Text Classification. *Emerging Technology in Modelling and Graphics*, p. 395–407, Springer.
DOI: 10.1007/978-981-13-7403-6 36.

PIRNAY-DUMMER P. & WALTER S. (2009). Bridging the world's knowledge to individual knowledge using latent semantic analysis and web ontologies to complement classical and new knowledge assessment technologies. *Technology, Instruction, Cognition & Learning*, **7**(1).

SIEVERT C. & SHIRLEY K. E. (2014). LDAvis: A method for visualizing and interpreting topics. In *Proceedings of the Workshop on Interactive Language Learning, Visualization, and Interfaces*, p. 63–70. DOI: 10.3115/v1/W14-3110.

SORODOC L., LAU J. H., ALETRAS N. & BALDWIN T. (2017). Multimodal Topic Labelling. In *Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2*, p. 701–706.

TODOR A., LUKASIEWICZ W., ATHAN T. & PASCHKE A. (2016). Enriching topic models with DBpedia. *On the Move to Meaningful Internet Systems*, p. 735–751, Springer.

VARGA A., CANO BASAVE A. E., ROWE M., CIRAVEGNA F. & HE Y. (2014). Linked knowledge sources for topic classification of microposts: A semantic graph-based approach. *Web Semantics: Science, Services and Agents on the World Wide Web*, **26**, p. 36–57. DOI: 10.1016/j.websem.2014.04.001.

VENKATESARAMANI R., DOWNEY, D., MALIN, B. & VOROBEYCHIK, Y. (2019). A Semantic Cover Approach for Topic Modeling. In *Proceedings of the Eighth Joint Conference on Lexical and Computational Semantics (*SEM 2019)*, p. 92–102. DOI: 10.18653/v1/S19-1011.

YAO L., ZHANG Y., WEI B., JIN Z., ZHANG R., ZHANG Y. & CHEN Q. (2017). Incorporating Knowledge Graph Embeddings into Topic Modeling. In *Thirty-First AAAI Conference on Artificial Intelligence*, p. 3119–3126.

YI X. & ALLAN J. (2009). A Comparative Study of Utilizing Topic Models for Information Retrieval. In *Boughanem M., Berrut C., Mothe J. & Soule-Dupuy C. (eds) Advances in Information Retrieval. ECIR 2009*. Lecture Notes in Computer Science, vol 5478, Springer.
# Recommandation d'âge pour des textes

Alexis Blandin¹ Gwénolé Lecorvé¹ Delphine Battistelli² Aline Étienne²

(1) Univ Rennes, CNRS, IRISA, 6, rue de Kerampont, 22300 Lannion, France

(2) Univ. Paris-Nanterre, CNRS, MoDyCo, 200, avenue de la République, 92001 Nanterre, France
{alexis.blandin, gwenole.lecorve}@irisa.fr,

{delphine.battistelli, aline.etienne}@parisnanterre.fr

## RÉSUMÉ

Cet article étudie une première tentative pour prédire une recommandation d'âge estimant à partir de quand un enfant pourrait comprendre un texte donné. À ce titre, nous présentons d'abord des descripteurs issus de divers domaines scientifiques, puis proposons différentes architectures de réseaux de neurones et les comparons sur un ensemble de données textuelles en français, dédiées à des publics jeune ou adulte. Pour contourner la faible quantité de données de ce type, nous étudions l'idée de prédire les âges au niveau de la phrase. Les expériences montrent que cette hypothèse, quoique forte, conduit d'ores et déjà à de bons résultats, meilleurs que ceux fournis par des experts psycholinguistes, y compris lorsque les phrases isolées sont remplacées par textes complets.

## ABSTRACT

### Age recommendation for texts.

This paper studies a first attempt to predict an age recommendation from which a text can be understood by a child. As such, we first exhibit features derived from various scientific domains, then propose different architectures of neural network and compare them on a dataset of French texts dedicated to young or adult audiences. To circumvent the lack of data, we study the idea to predict ages at the sentence level. The experiments show that this strong assumption leads to good results yet, better than those provided by psycholinguists, even when shifting isolated sentences to full texts.

**MOTS-CLÉS** : recommandation d'âge, enfants, psycholinguistique, réseaux de neurones.

**KEYWORDS**: age recommendation, children, psycholinguistics, neural networks.

# 1 Introduction

La façon dont un individu comprend un texte dépend à la fois des caractéristiques du texte et des capacités de l'individu. Par exemple, les capacités à se souvenir d'informations, à positionner un événement dans un scénario, analyser la structure d'une phrase, comprendre un mot ou simplement à lire sont autant de facteurs qui peuvent évoluer d'un individu à l'autre. C'est particulièrement vrai en fonction de l'âge puisque, pendant l'enfance, les capacités cognitives, linguistiques et culturelles évoluent beaucoup. Dans ce contexte, cet article vise à prédire automatiquement des recommandations d'âge pour des textes en français dans le but de maximiser leur compréhension par des enfants.

En tant que tâche, la recommandation d'âge peut être globalement affiliée à celle d'analyse de la lisibilité d'un texte, au sens de la prédiction de la difficulté de lecture d'un texte pour une population spécifique (François, 2015), par exemple, la lecture d'un texte par une personne non-native, ou celle d'un formulaire par des clients. Cependant, la lisibilité du texte est centrée sur l'activité de lecture,

<figure><img src="image_40.png" /></figure>
alors que notre travail cherche à intégrer une dimension lié à la compréhension du langage. Cela signifie que nous ne nous limitons pas aux personnes en capacité de lire et considérons également des textes transmis oralement (par exemple, une histoire racontée). En tant que tâche nouvelle, ce document porte les contributions suivantes : (i) nous listons un ensemble de descripteurs issus de divers domaines et potentiellement pertinents pour notre tâche ; (ii) nous étudions différentes façons de formaliser la prédiction de l’âge comme un problème de régression ; (iii) nous répondons au besoin en données annotées en collectant des textes dédiés aux enfants et en exploitant les recommandations fournies par les auteurs ou éditeurs ; (iv) nous testons l’hypothèse selon laquelle toutes les phrases d’un même texte partagent la même recommandation d’âge. Bien que linguistiquement contestable, les expériences montrent qu’il s’agit d’une hypothèse de travail concluante ; (v) enfin, nous étudions l’acceptabilité des erreurs produites par nos modèles en les comparant avec des prédictions faites par des experts psycholinguistes.

Dans cet article, la section 2 dresse un panorama des travaux connexes en psycholinguistique et en traitement automatique des langues (TAL), puis la section 3 présente les descripteurs retenus dans notre travail. La section 4 présente les différentes approches proposées et la section 5 l'ensemble de données sur lesquelles elles sont étudiées. Enfin, la section 6 présente les résultats.

## 2 États de l'art

Les études en psycholinguistique mettent en avant différents facteurs majeurs de l'évolution de la compréhension du langage. Tout d'abord, la mémoire phonologique à court terme, qui se développe fortement entre 2 et 8 ans (Gathercole, 1999), joue un rôle essentiel dans le stockage et la restitution de l'information. L'acquisition des notions temporelles est également cruciale car elle permet à un enfant de se situer dans le temps, ainsi que d'ordonner chronologiquement des événements (Tartas, 2010; Hickmann, 2012). Ainsi, la compréhension de notions comme les jours de la semaine, la vitesse, une date très ancienne ou certains connecteurs ou adverbes temporels plus ou moins complexes varie en fonction de l'âge (Vion & Colas, 1999). Les émotions sont également rapportées comme contributives à l'établissement et au maintien de la cohérence des faits dans un texte (Mouw et al., 2019). Cependant, leur repérage progresse avec le temps, s'appuyant initialement sur le lexique, puis progressivement sur des suggestions d'ordre culturel (Blanc, 2010). De même, celles reconnues le plus tôt sont centrées sur l'enfant (la peur, la joie, etc.), puis intègrent progressivement une dimension sociale (la culpabilité, l'empathie, etc.) (Davidson, 2006).

Dès 5-6 ans, les études en apprentissage de la lecture apportent d'autres éléments d'analyse. En particulier, le modèle historique de Frith (Frith, 1985) fait valoir que la lecture est acquise en trois étapes principales à travers lesquelles l'enfant passe d'un décodage des mots par la reconnaissance de symboles globaux, puis de graphèmes et, enfin, de morphèmes. Par ailleurs, d'autres travaux notent que l'intonation lors de la lecture d'un texte – induite par le lexique, la ponctuation, la syntaxe, etc. – influe sur la perception d'un texte et que cette intonation évolue avec l'âge (Aguert et al., 2009).

Enfin, des approches calculatoires existent depuis longtemps pour lier la lisibilité d'un texte à un niveau d'étude. Historiquement, celles-ci se fondent sur les complexités lexicale et syntaxique, à l'image de l'indice Flesch-Kincaid (Flesch, 1948), ou de la formule Dale-Chall qui considère en outre la notion de mots « difficiles » (Dale & Chall, 1948). Plus récemment et plus généralement en TAL, des travaux sur la simplification du texte pour les enfants (De Belder & Moens, 2010; Gala et al., 2018) ou sur l'acquisition du français comme langue étrangère (François & Fairon, 2012) se rapprochent des nôtres. En particulier, (François & Fairon, 2012) propose de prédire des niveaux de lisibilité en utilisant des approches par apprentissage automatique et 46 critères linguistiques
mêlant lexique, syntaxe et sémantique. Notre travail s'en distingue de multiples manières. Outre des méthodes d'apprentissage revisitées, la différence principale tient dans le fait que nous intègrons des informations liées à certaines dimensions développementales et cognitives (temporalité, émotions) pour prédire un âge, là où (François & Fairon, 2012) se limite à des éléments linguistiques pour prédire un niveau de compétence dans une langue (A1, C2...).

## 3 Descripteurs

Nous considérons 10 dimensions linguistiques qui reflètent l'état de l'art précédent. Pour chaque dimension, nous avons cherché à maximiser le nombre d'informations pouvant être extraites automatiquement. Lorsque les informations linguistiques portent au niveau des mots, les descripteurs sont calculés comme la moyenne et l'écart-type des valeurs par mot. Finalement, pour chaque énoncé, le vecteur de descripteurs globaux est composé de 606 valeurs réelles. Le détail des informations extraites est donné ci-dessous.

**Plongements (1 descripteur de dimension 500) :** plongement moyen des mots du texte<fnref n="1" />.

**Lexique (5 descripteurs) :** log-prob. des mots en français (estimé sur un vaste corpus d'articles de journaux, romans, transcriptions...); nombre de mots/lemmes<fnref n="2" /> différents p/r à la longueur du texte.

**Graphie/typographie (6) :** Score de confusion graphique des mots<fnref n="3" />; longueur des mots; ratio de caractères alphanumériques par mot; ratio de ponctuations par mot.

**Morphosyntaxe (7) :** classes grammaticales (verbes, verbes d'état, noms, adjectifs, climques, adverbes)<fnref n="2" />; mots-outils.

**Temps verbaux (24) :** diversité des temps verbaux; proportions de 14 temps (simples et composés); modes; systèmes temporels (passé, présent, futur).

**Personne et forme verbale (5) :** proportion des première/deuxième/troisième personnes; proportion des formes singulier/pluriel.

**Syntaxe (8) :** mots par phrase; distances moy. et max. entre un mot et ses dépendances syntaxiques<fnref n="2" />; nombre de dépendances entrantes/sortantes par mot; profondeur de l'arbre de dépendances.

**Connecteurs logiques (16) :** addition; temps; but; cause; comparaison; concession; conclusion; condition; conséquence; énumération; explicat.; illustrat.; justificat.; opposit.; restrict.; exclusion<fnref n="4" />.

**Phonétique (9) :** longueur de la phrase en phonèmes<fnref n="5" />; nombre de phonèmes par mot; diversité des phonèmes dans le texte / dans les mots; scores d'ordinarité phonétique<fnref n="6" />.

**Sentiments/émotions (26) :** Scores de subjectivité et de polarité<fnref n="7" />; mots identifiés comme déclencheurs d'une parmi 24 émotions<fnref n="8" />.

## 4 Modèles

Notre objectif est de prédire à partir de quel âge un texte d'entrée peut être compris. Précisons que nous ne tenons pas compte d'éventuels retards d'apprentissage. Dans ce problème de régression, l'une des questions majeures est de savoir si l'âge peut être considéré comme une valeur réelle unique

<footnote n="1">1. Skip-grammes (Fauconnier, 2015) appris sur le corpus FrWaC (Baroni et al., 2009).</footnote>

<footnote n="2">2. En utilisant Bonsai (Candito et al., 2010).</footnote>

<footnote n="3">3. Inspiré de (Geyer, 1977).</footnote>

<footnote n="4">4. Les catégories et les connecteurs ont été établis par consensus de diverses sources.</footnote>

<footnote n="5">5. En utilisant eSpeak : http://espeak.sourceforge.net/index.html</footnote>

<footnote n="6">6. Calculé comme la probabilité moyenne de chaque phonème en français, comme indiqué dans (Gromer & Weiss, 1990).</footnote>

<footnote n="7">7. Utilisation du classifieur de sentiments TextBlob</footnote>

<footnote n="8">8. Les mots et les émotions sont issus d'un raffinement du dictionnaire EMOTAIX (Piolat & Bannour, 2009).</footnote>
<figure><img src="image_41.png" /><figcaption>FIGURE 1 – Architectures des approches étudiées.</figcaption></figure>

ou, comme le font souvent les auteurs et éditeurs, comme une tranche d'âges (un âge bas et un âge haut). Cette seconde modélisation reflète le fait que les enfants ne développent pas leurs compétences exactement au même âge et que les textes ont des irrégularités en terme de complexité. Dans ce travail, nous testons les deux modélisations. Par ailleurs, nous fixons une borne supérieure à nos recommandations, borne intuitivement associée à ce que nous qualifions de niveau « adulte ». Elle est fixée à 16 ans, ou 14-18 ans en terme de tranche. Cela coïncide avec la période du lycée en France. Pour un texte, l'évaluation de la tâche se fait en termes de différence absolue entre l'âge prévu et l'âge attendu (vérité terrain). Ainsi, à l'échelle d'un corpus, la métrique utilisée dans notre travail est l'erreur absolue moyenne, notée MAE pour *Mean Absolute Error*. Dans le cas des tranches d'âges, les deux bornes sont prédites, puis ramenés à leur moyenne. Les MAE sont ainsi reportés sur l'âge bas, l'âge haut et la moyenne des deux.

La figure 1 présente les 3 architectures de modèles neuronaux non-récurrents que nous étudions, toutes fondées sur un vecteur de 606 descripteurs globaux et produisant soit un âge ou une tranche d'âges recommandés. Le modèle A est un modèle de régression standard. Le modèle B est un modèle multi-tâches où la prédiction de l'âge est augmentée d'une classification binaire adulte/enfant. Enfin, le modèle C enchaîne un classificateur et un modèle de régression si la classe prédite est "enfants". L'idée est que la régression est inutile pour les textes considérés comme "adultes" car les âges associés sont fixes (16 et 14-18). Le modèle de régression est le même que A mais estimé sur l'ensemble d'apprentissage restreint aux seuls textes pour enfants.

La taille *h* et le nombre *n* des couches, ainsi que les fonctions d'activation sont réglées sur le modèle A et dupliqués pour les autres modèles. Le réglage de ces paramètres, ainsi que le nombre de couches spécifiques dans le modèle B, sont détaillés en section 6.

# 5 Données

Comme détaillé par la figure 2, nous avons collecté un ensemble de 631 textes, dont 541 sont destinés aux enfants de 0 à 14 ans, les 90 autres étant pour les adultes. Les textes pour enfants proviennent de
<figure><img src="image_42.png" /><figcaption>FIGURE 2 – Répartition des phrases et textes en tranches d'âges.</figcaption></figure>

contes, romans, magazines et journaux<fnref n="9" />. Ces textes sont annotés avec les indications des éditeurs ou des auteurs sous la forme d'une tranche d'âge A-B et d'un âge $\frac{A+B}{2}$. Les textes pour adultes sont de genres similaires et sont d'un niveau difficile pour des enfants, par exemple des romans avec un langage soutenu, des articles Wikipedia et de journaux sur des sujets avancés (capitalisme, génétique, diplomatie...). Dans l'ensemble, la validité et l'homogénéité des annotations en tranche d'âge sont à considérer avec prudence car les recommandations des éditeurs et auteurs peuvent refléter des motivations autres que psycholinguistiques, par exemple commerciales ou thématiques.

Étant donné la faible quantité de données compte tenu du nombre de paramètres à régler dans nos modèles, nous avons décidé de décomposer les textes en phrases, chacune partageant la même annotation que son texte d'origine. Il s'agit d'une hypothèse forte et manifestement erronée car, par exemple, toutes les phrases d'un texte pour adulte ne sont pas nécessairement inaccessibles à des enfants. La complexité peut venir de certaines phrases spécifiques ou du raisonnement déroulé par leurs articulations réciproques.

Comme le montre la section 6, elle conduit cependant à de bons résultats en pratique. Le corpus ainsi obtenu est composé de 30K phrases et d'environ 446K mots, répartis en ensembles d'apprentissage, de développement et de test à raison de 60, 20 et 20%. Une partie de l'ensemble test est composé de phrases provenant de 20 textes qui ne sont pas du tout vus dans les autres ensembles. Cette portion

<footnote n="9">9. Nous n'utilisons pas les encyclopédies dédiées aux enfants comme Wikimini (fr.wikimini.org) ou Vikidia (fr.vikidia.org) car les articles peuvent être écrits par des enfants. Cela introduirait un biais important car les capacités à écrire et à comprendre sont des capacités différentes.</footnote>
<table><thead><tr><th rowspan="2"></th><th colspan="2">MAE</th><th colspan="3">MAE</th></tr><tr><th>Âge</th><th>Exac.</th><th>Âge bas</th><th>Âge haut</th><th>Âge moyen</th></tr></thead><tbody><tr><th>Naïve</th><td>3,44</td><td>74,7%</td><td>3,59</td><td>3,30</td><td>3,44</td><td>74,7%</td></tr><tr><th>A</th><td>2,06</td><td>-</td><td>2,12</td><td>2,08</td><td>2,09</td><td>-</td></tr><tr><th>B</th><td><strong>2,01</strong></td><td><strong>84,7%</strong></td><td>2,02</td><td>1,99</td><td><strong>2,00</strong></td><td><strong>85,3%</strong></td></tr><tr><th>C</th><td>2,12</td><td>84,0%</td><td>2,11</td><td>2,09</td><td>2,09</td><td>84,2%</td></tr></tbody></table>

(a) Ensemble de développement

<table><thead><tr><th rowspan="2"></th><th colspan="4">MAE</th></tr><tr><th>Âge</th><th>Âge bas</th><th>Âge haut</th><th>Âge moyen</th></tr></thead><tbody><tr><th>Naïve</th><td>3,67</td><td>3,74</td><td>3,61</td><td>3,67</td></tr><tr><th>A</th><td><strong>2,24</strong></td><td>2,26</td><td>2,29</td><td><strong>2,27</strong></td></tr><tr><th>B</th><td>2,26</td><td>2,27</td><td>2,30</td><td><strong>2,27</strong></td></tr><tr><th>C</th><td>2,31</td><td>2,29</td><td>2,33</td><td>2,30</td></tr></tbody></table>

(b) Ensemble de test

<caption>TABLE 1 – MAE et exactitude pour les approches naïve, A, B et C.</caption>

« vierge » a une distribution différente en terme de tranches d'âges. Sur l'ensemble d'apprentissage, l'âge moyen est d'environ 10, 26, tandis que la tranche d'âge moyenne est de 8, 33-12, 19. Sur la portion vierge, ces valeurs sont différentes : 9, 01 et 7, 54-10, 48.

# 6 Résultats

Tous les modèles sont entraînés sur l'ensemble d'entraînement en utilisant l'ensemble de développement pour éviter un surapprentissage. La fonction de coût est l'erreur quadratique moyenne pour la régression et l'entropie croisée binaire pour la classification. L'algorithme d'optimisation est Adam, avec 500 époques et une taille de lot de 256 phrases. Après avoir comparé les MAE sur l'ensemble de développement, il apparaît que les meilleurs résultats sont rapportés avec ReLU et $n = 6$ couches cachées de $h = 200$ unités, sans *dropout*. Pour le modèle B, le meilleur nombre de couches spécifiques est de 3 lorsque l'on considère des âges, de 4 pour des tranches d'âge.

Le tableau 1 présente les résultats des modèles A, B et C sur les ensembles de développement (a) et de test (b). Les colonnes de gauche montrent les résultats lorsqu'un âge unique est directement prédit, celle de droite quand une tranche d'âge est prédite. Dans ce second cas, les MAE pour chaque borne sont également signalés, ainsi que celle avec le barycentre de la tranche. Sur l'ensemble de développement, l'exactitude de la classification adultes/enfants est également fournie pour les modèles B et C. Tous les modèles sont comparés à l'approche naïve qui prédit constamment les valeurs moyennes observées dans l'ensemble d'apprentissage (cf. section 5). Dans l'ensemble, tous les modèles surpassent clairement cette approche naïve. Ensuite, bien que le modèle B fonctionne un peu mieux sur l'ensemble de développement, la différence avec le modèle A disparaît sur l'ensemble de test. Enfin, il semble que prédire des âges ou des tranches d'âges ne change pas grand chose.

Pour affiner ces résultats, nous avons fait annoter la portion vierge de l'ensemble de test par trois psycholinguistes spécialisés dans le développement des enfants. Ces annotations ont été effectuées soit sur l'ensemble des 20 textes concernés, soit sur 80 phrases isolées tirées aléatoirement. Le tableau 2.a donne les résultats, incluant ceux des experts pris individuellement ou après moyennage de leurs prévisions. Sur les phrases, il apparaît que les prédictions de notre modèle sont meilleures que celles des experts, même en essayant de trouver un consensus entre elles (dernière ligne). Lorsque plus de contexte est donné aux experts à travers des textes complets (b), leurs recommandations tendent à battre celles de notre modèle lorsque ses prédictions sont comptabilisées phrase par phrase (sauf pour un expert). Cependant, un simple calcul de moyenne de ces prédictions phrase par phrase amène à une amélioration substantielle (ligne "par texte") et à des prédictions meilleures que celles des experts. Outre les conclusions positives concernant notre approche de recommandation automatique,