# Descripteurs Linguistiques et Caractérisation Objective des Catégories Textuelles

Marina Seghier, Alice Millour, Jean-Yves Antoine

► To cite this version:

Marina Seghier, Alice Millour, Jean-Yves Antoine. Descripteurs Linguistiques et Caractérisation Ob- jective des Catégories Textuelles. 5èmes journées du Groupement de Recherche CNRS "Linguistique Informatique, Formelle et de Terrain", GdR LIFT, CNRS, Nov 2023, Nancy, France. pp.106-112. hal-04303374v2

HAL Id: hal-04303374

https://hal.science/hal-04303374v2

Submitted on 30 Nov 2023

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons CC BY 4.0 - Attribution - International License
# Descripteurs Linguistiques et Caractérisation Objective des Catégories Textuelles

Marina Seghier¹ Alice Millour¹ Jean-Yves Antoine² ³

(1) LIASD - Université Paris 8, 2 rue de l'Université, 93526 Saint-Denis, France

(2) LIFAT - Université de Tours, 64 avenue Jean Portalis, 37200 Tours, France

(3) LIFO - Université d'Orléans, 6 Rue Léonard de Vinci, 45067 Orléans, France

ms@up8.edu, am@up8.edu, jean-yves.antoine@univ-tours.fr

## RÉSUMÉ

Nous présentons de premiers résultats s'inspirant des travaux de Biber (1988) utilisant des descripteurs linguistiques pour redéfinir les dimensions de la variation textuelle en français.

## ABSTRACT

### Linguistic Descriptors and Objective Characterization of Textual Categories

We present first results inspired by the work of Biber (1988) using linguistic descriptors to redefine the dimensions of textual variation in French.

**MOTS-CLÉS** : variation textuelle, classification non supervisée, descripteurs linguistiques, évaluation, annotation.

**KEYWORDS:** textual variation, unsupervised classification, linguistic descriptors, evaluation, annotation.

Les systèmes développés et de plus en plus répandus aujourd'hui, sont présentés comme étant très performant pour un grand nombre de tâches. Or, les performances annoncées ne sont pas toujours celles rencontrées selon les types (ou "genres") de ressources textuelles auxquels ces outils sont confrontés. En effet, on peut par exemple observer un différentiel de performances important entre différentes catégories de texte pour la tâche de reconnaissance d'entités nommées (Millour et al., 2022) et d'étiquetage morpho-syntaxique. Cependant, les typologies textuelles existantes, fondées sur une classification des catégories a priori sans justification linguistique, ne permettent pas d'expliquer ce différentiel.

## 1 Précédents dans la Classification Textuelle

Biber (1988) a été le premier à mener une étude statistique sur ce qu'il appelle "genre" en anglais britannique, dans le but d'identifier plusieurs dimensions de la variation dans la langue. Il a procédé à une "analyse factorielle" (ACP) sur le LOB (Lancaster-Oslo-Bergen, un million de mots environ – composé de plusieurs échantillons de "genres" issus de l'écrit :
presse, religion, humour...), le *London-Lund* (500 000 mots environ – composé de textes de parole transcrite : entretiens, discours spontanés, préparés...), et une collection de ses propres lettres manuscrites.

Au terme de son analyse basée sur 67 caractéristiques calculées à partir de descripteurs linguistiques (tels que les pronoms personnels, les verbes au passé, la longueur des mots, des phrases, etc.), il a affirmé que la variation linguistique était continue selon six dimensions : 1) impliqué (affectivement) VS informationnel, 2) narratif VS non-narratif, 3) référence explicite VS dépendante de la situation, 4) expression manifeste de persuasion, 5) abstrait VS non-abstrait et 6) production d'informations sous contrainte temporelle.

À la manière de Passonneau et al. (2014), qui ont actualisé cette recherche pour l'anglais américain à partir du corpus MASC (*Manually Annotated Sub-Corpus*, 500 000 mots environ), nous proposons une caractérisation linguistique de différents genres à partir d'un corpus multisource pour le français.

## 2 Des Données à l'Analyse en Composantes Principales

Nous avons travaillé à partir de FENEC (*FrEnch Named-entity Evaluation Corpus*, 11 000 tokens environ – cf. table 1) (Millour et al., 2022), un corpus d'évaluation pour la tâche de reconnaissance d'entités nommées en français. Il est composé de onze documents de six catégories textuelles différentes (poésie, prose, parole transcrite, encyclopédie, informations, multi-sources) et annoté manuellement en entités nommées selon divers jeux d'étiquettes.

<table><caption>TABLE 1 – Contenu du corpus annoté FENEC (échantillons de 1 000 tokens environ dans six genres) (Millour et al., 2022).</caption><thead><tr><th>Document</th><th>Période</th><th>Genre</th><th>Nb. phrases (Nb. tokens)</th><th>Licence</th></tr></thead><tbody><tr><td>42131-0 (Traité sur la Tolérance, Voltaire)</td><td>XVIIIe</td><td rowspan="2">prose</td><td>40 (1 020)</td><td>Project Gutenberg</td></tr><tr><td>pg6470 (Le Ventre de Paris, Émile Zola)</td><td>XIXe</td><td>51 (1 002)</td><td>Project Gutenberg</td></tr><tr><td>pg6099 (Les Fleurs du Mal, Baudelaire)</td><td>XIXe</td><td rowspan="2">poésie</td><td>30 (1 014)</td><td>Project Gutenberg</td></tr><tr><td>56708-0 (Œuvres d'Arthur Rimbaud - Vers et proses)</td><td>XIXe</td><td>52 (1 027)</td><td>Project Gutenberg</td></tr><tr><td>UD French GSD</td><td>XXIe</td><td rowspan="3">multisources</td><td>35 (1 021)</td><td>CC BY-SA 4.0</td></tr><tr><td>Sequoia (Candito & Seddah, 2012)</td><td>XXIe</td><td>44 (1 002)</td><td>Licence LGPL-LR</td></tr><tr><td>French Question Bank (Seddah & Candito, 2016)</td><td>XXIe</td><td>102 (1 006)</td><td>Licence LGPL-LR</td></tr><tr><td>APIL (office du tourisme Othe-Armance)</td><td>XXIe</td><td rowspan="2">informations</td><td>29 (1 002)</td><td>Licence LGPL-LR</td></tr><tr><td>Wikinews</td><td>XXIe</td><td>46 (1 024)</td><td>CC BY 2.5</td></tr><tr><td>WikiNER français</td><td>XXIe</td><td>encyclopédie</td><td>36 (1 003)</td><td>CC BY 4.0</td></tr><tr><td>Spoken (Rhapsodie (Lacheret, Anne et al., 2014))</td><td>XXIe</td><td>parole</td><td>70 (1 028)</td><td>CC BY-SA 4.0</td></tr></tbody></table>

Étant donné la taille peu conséquente de notre jeu de données, nous avons choisi de former des échantillons de 200 tokens, à partir desquels nous avons mesuré l'importance de certains descripteurs linguistiques pour le typage des textes, tels que les entités nommées, mais également les parties du discours (verbes, noms, déterminants, adjectifs...) et les verbes au
## 2.1 Choix et calcul des caractéristiques

Les caractéristiques utilisées pour cette expérience sont :

- les entités nommées du corpus FENEC (selon le schéma fin Quaero<fnref n="1" />), à savoir : PER, LOC, ORG, MISC (respectivement : personnes, lieux, organismes, divers);

- les parties du discours, pour lesquels nous avons testé plusieurs outils : 1) le modèle POET (A French Extended Part-of-Speech Tagger) de FLAIR<fnref n="2" />, 2) CAMEMBERT<fnref n="3" /> et 3) SPACY<fnref n="4" />;

- les verbes au passé, annotés avec le *morphologizer* de SPACY<fnref n="5" />.

Concernant l'étiquetage en parties du discours, après une brève comparaison des sorties produites par les trois outils, nous avons choisi de conserver les annotations du modèle POET de FLAIR pour calculer nos caractéristiques. Nous avons également réalisé une évaluation manuelle de ses résultats (environ 100 étiquettes par document) et de SPACY (toutes les occurrences de verbes annotés au passé, soit le rappel).

<table><caption>TABLE 2 – Résultats de l'évaluation manuelle de FLAIR et SPACY.</caption><thead><tr><td>genre</td><td>Flair (précision)</td><td>SpaCy (rappel)</td></tr></thead><tbody><tr><td>parole</td><td>78,43</td><td>58,14</td></tr><tr><td>encyclopedie</td><td>94,64</td><td>86,67</td></tr><tr><td>informations</td><td>90,29</td><td>77,42</td></tr><tr><td>prose</td><td>88,56</td><td>77,12</td></tr><tr><td>poesie</td><td>90,14</td><td>37,29</td></tr></tbody></table>

Sur la base de 26 caractéristiques calculées, nous avons choisi de mener notre expérience sur 23 d'entre elles, en retirant :

- MISC, soit les entités nommées "diverses" (*miscellaneous* en anglais) car ces dernières étaient trop variées au sein de cette catégorie (par exemple "boucher", "matelots", "en- chanteresse", "New York Times", "Hubble", "Surface and Depth", "bataille d'Actium", "accords sur le charbon et l'acier"), et nous n'aurions pas été en mesure d'interpréter précisément et de manière fiable, l'impact de cette caractéristique sur l'ACP;

<footnote n="1">1. Guide d'annotation : http://www.quaero.org/media/files/bibliographie/quaero-guide-annotation-2011.pdf</footnote>

<footnote n="2">2. https://huggingface.co/qanastek/pos-french-camembert-flair</footnote>

<footnote n="3">3. https://huggingface.co/gilf/french-camembert-postag-model</footnote>

<footnote n="4">4. https://spacy.io/models/fr#fr_core_news_sm</footnote>

<footnote n="5">5. https://spacy.io/models/fr</footnote>
- x, soit les mots inconnus, tels que des mots anglais, des consonnes euphoniques ("t" dans "appelle-t-on"), "j" dans "j~ j~ j~" (répétition dans la parole transcrite), car nous craignions un effet fort d'échantillonage, du fait du nombre total d'observables de cette étiquette dans le corpus, par rapport à la taille de celui-ci;

- SYM, soit les symboles tels que le tilde, le pourcent, les symboles monétaires, l'abréviation de "environ" (env), pour la même raison que précédemment.

Dans la table 3, nous pouvons voir les occurrences d'un échantillon des observables pour 1 000 tokens.

<table><caption>TABLE 3 – Nombre d'occurrences d'un échantillon d'étiquettes pour 1 000 tokens, par genre.</caption><thead><tr><th></th><th>prose</th><th>parole</th><th>informations</th><th>encyclopedie</th><th>poesie</th></tr></thead><tbody><tr><td>LOC</td><td>4</td><td>14</td><td>35</td><td>41</td><td>6</td></tr><tr><td>ORG</td><td>1</td><td>1</td><td>13</td><td>6</td><td>0</td></tr><tr><td>PER</td><td>23</td><td>5</td><td>8</td><td>22</td><td>11</td></tr><tr><td>TOTAL_EN</td><td>39</td><td>28</td><td>74</td><td>86</td><td>25</td></tr><tr><td>ADP</td><td>112</td><td>114</td><td>160</td><td>151</td><td>120</td></tr><tr><td>SCONJ</td><td>22</td><td>18</td><td>3</td><td>3</td><td>12</td></tr><tr><td>CCONJ</td><td>21</td><td>42</td><td>25</td><td>26</td><td>40</td></tr><tr><td>ADV</td><td>67</td><td>118</td><td>31</td><td>30</td><td>49</td></tr><tr><td>PROPN</td><td>23</td><td>27</td><td>66</td><td>93</td><td>17</td></tr><tr><td>NUM</td><td>10</td><td>19</td><td>54</td><td>57</td><td>3</td></tr><tr><td>AUX</td><td>37</td><td>42</td><td>22</td><td>35</td><td>19</td></tr><tr><td>VERB</td><td>125</td><td>135</td><td>75</td><td>66</td><td>82</td></tr><tr><td>DET</td><td>125</td><td>104</td><td>142</td><td>139</td><td>162</td></tr><tr><td>ADJ</td><td>110</td><td>118</td><td>123</td><td>137</td><td>156</td></tr><tr><td>NOUN</td><td>155</td><td>154</td><td>226</td><td>193</td><td>219</td></tr><tr><td>PRON</td><td>93</td><td>100</td><td>24</td><td>19</td><td>52</td></tr><tr><td>PPER1S</td><td>5</td><td>20</td><td>0</td><td>0</td><td>8</td></tr><tr><td>PPER2S</td><td>1</td><td>5</td><td>0</td><td>0</td><td>4</td></tr><tr><td>PPER3</td><td>25</td><td>16</td><td>8</td><td>7</td><td>7</td></tr><tr><td>INTJ</td><td>1</td><td>7</td><td>0</td><td>0</td><td>1</td></tr><tr><td>PUNCT</td><td>104</td><td>90</td><td>94</td><td>90</td><td>123</td></tr><tr><td>PAST_TENSE</td><td>59</td><td>43</td><td>36</td><td>45</td><td>30</td></tr></tbody></table>

## 2.2 Dimensions en français

D'après cette première analyse, une dimension semble se dessiner. D'une part, les textes de la catégorie 'poésie' sont davantage caractérisés par des mots plus longs et des noms détaillés, et précisés par des adjectifs; ceux des catégories 'prose' et 'parole', par des conjonctions de subordination, des verbes en général, des verbes au passé, et à la voix passive. La présence d'entités nommées semble quant à elle caractériser davantage les genres 'informations' et 'encyclopédie'. En effet, nous pouvons supposer que les textes d'informations et d'encyclopédies présentent plus d'éléments tels que des zones géographiques, lieux d'intérêt, dates historiques, numéros de téléphones, etc.

Notre première composante dans la figure 1 présente des similitudes avec les cinquième
<figure><img src="image_2.png" /><figcaption>FIGURE 1 – Première et deuxième composantes principales, 23 caractéristiques.</figcaption></figure>

de Biber (1988) et quatrième de Passonneau *et al.* (2014) (abstrait VS non-abstrait). Les catégories de productions écrites, détaillées d'un côté (poésie, prose) semblent plus concep- tuelles (abstraites); et des catégories explicatives de l'autre (informations, encyclopédie) plus concrètes (non-abstraites).

<figure><img src="image_3.png" /><figcaption>FIGURE 2 – Troisième et quatrième composantes principales, 23 caractéristiques.</figcaption></figure>

D'après cette deuxième analyse, une dimension semble à nouveau se dessiner. D'une part, les textes de parole transcrite semblent caractérisés par des interactions à la 1ère et 2ème personne du singulier, et la présence d'interjections et de conjonctions de coordination. D'autre part, les textes en prose présentent davantage d'entités nommées de personnes, de pronoms à la 3ème personne et de ponctuation. Dans les textes d'informations, nous pouvons
trouver de la narration d'évènements passés, des mots plus longs et davantage de noms d'organismes.

Notre troisième composante dans la figure 2 présente ainsi des similitudes avec les deux premières de Biber (1988) et Passonneau *et al.* (2014) (impliqué VS non-impliqué). En effet, nous retrouvons d'un côté des textes d'interactions orales (parole) plus impliquées, et de l'autre des textes plus informationnels (encyclopédie, prose).

Contrairement aux deux premières composantes, celles-ci nous permettent de discriminer la parole de la prose, mais dans le cadre de cette étude, elles ne sont tout de même pas suffisantes pour discriminer plus nettement chaque catégorie textuelle, notamment celle de l'encyclopédie.

## 3 Conclusion

Bien qu'il reste une notion de continuum à approfondir, cette étude a permis de retrouver certaines similitudes avec les dimensions textuelles que Biber (1988) et Passonneau *et al.* (2014) avaient fait émerger en anglais britannique et américain, mais pour la première fois, sur un jeu de données multi-catégories français.

En outre, nous avons pu également éprouver trois outils : SPACY pour à la fois l'annotation en parties du discours et en traits morphosyntaxiques, CAMEMBERT et le modèle POET de FLAIR pour l'annotation en parties du discours. L'évaluation de ces derniers nous a permis de constater sur ces deux tâches, ce qu'avaient observé Millour *et al.* (2022) sur la tâche de REN pour le français : un différentiel de performances important entre les catégories textuelles, avec des faiblesses majeures sur des textes de parole transcrite et de poésie.

Le cadre expérimental mis en place dans notre étude est modulable et permet facilement d'enrichir l'expérience avec d'autres caractéristiques, d'autres types de textes, et de donner lieu à de nombreuses extensions. L'une d'elles consiste à s'inspirer des travaux de Fu *et al.* (2020) et d'approfondir la notion des caractéristiques des entités nommées. Car au-delà de leurs types, ce sont sûrement leurs propriétés intrinsèques (longueur en caractères et en tokens, fréquence, ambiguïté, persistance...) qui mettent en difficulté les outils.

## Références

* BIBER D. (1988). *Variation across Speech and Writing*. Cambridge University Press. DOI: 10.1017/CBO9780511621024.

* CANDITO M. & SEDDAH D. (2012). Le corpus sequoia : annotation syntaxique et exploitation pour l'adaptation d'analyseur par pont lexical (the sequoia corpus : Syntactic annotation and use for a parser lexical domain adaptation method) [in French]. In *Proceedings of*
*the Joint Conference JEP-TALN-RECITAL 2012, volume 2: TALN*, p. 321–334, Grenoble, France : ATALA/AFCP.

FU J., LIU P. & NEUBIG G. (2020). Interpretable multi-dataset evaluation for named entity recognition. In *Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)*, p. 6058–6069, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2020.emnlp-main.489.

LACHERET, ANNE, KAHANE, SYLVAIN, BELIAO, JULIE, DISTER, ANNE, GERDES, KIM, GOLDMAN, JEAN-PHILIPPE, OBIN, NICOLAS, PIETRANDREA, PAOLA & TCHOBANOV, ATANAS (2014). Rhapsodie : un treebank annoté pour l'étude de l'interface syntaxe-prosodie en français parlé. *SHS Web of Conferences*, **8**, 2675–2689. DOI: 10.1051/shs-conf/20140801305.

MILLOUR A., DUPONT Y., JOUGLAR A. & FORT K. (2022). FENEC : un corpus équilibré pour l'évaluation des entités nommées en français (FENEC : a balanced sample corpus for French named entity recognition). In *Actes de la 29e Conférence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conférence principale*, p. 82–94, Avignon, France : ATALA.

PASSONNEAU R. J., IDE N., SU S. & STUART J. (2014). Biber redux : Reconsidering dimensions of variation in American English. In *Proceedings of COLING 2014, the 25th International Conference on Computational Linguistics : Technical Papers*, p. 565–576, Dublin, Ireland : Dublin City University and Association for Computational Linguistics.

SEDDAH D. & CANDITO M. (2016). Hard time parsing questions : Building a QuestionBank for French. In *Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC’16)*, p. 2366–2370, Portorož, Slovenia : European Language Resources Association (ELRA).