# Apprivoiser le “ bruit ” en linguistique de corpus

Bénédicte Pincemin

► To cite this version:

Bénédicte Pincemin. Apprivoiser le “ bruit ” en linguistique de corpus. Corpus, 2025, 26, 10.4000/1364x. hal-05524048

HAL Id: hal-05524048

https://cnrs.hal.science/hal-05524048v1

Submitted on 23 Feb 2026

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons CC BY 4.0 - Attribution - International License
# Apprivoiser le « bruit » en linguistique de corpus : expérience d'une analyse factorielle et propositions

## 1. Introduction

Cet article ne présente pas les fruits d'une recherche axée sur la notion de bruit en matière de linguistique de corpus, mais rend compte d'une expérience concrète du phénomène et partage quelques propositions personnelles. Sans prétention définitoire donc, mais à titre de repère initial, considérons que le bruit fait référence aux erreurs et altérations dans les données, ou plus généralement, à ce qui peut perturber l'observation visée. Cette seconde formulation fait prendre conscience que le bruit n'est pas de façon intrinsèque un défaut à éliminer, mais une dimension à gérer de façon éclairée (Al Sharou et al., 2021). Il ressort de ce point de vue trois caractéristiques donnant à réfléchir : (i) le bruit est *relatif* à l'objet de recherche (par rapport auquel il figure comme surplus, non-sens, entour) ; (ii) n'étant pas ce que l'on cherche, il encombre et occulte, à moins qu'il n'apporte du nouveau et de l'inattendu, et puisse devenir valeur ajoutée, ainsi que le pose la problématique de ce numéro thématique ; enfin (iii) dans le continuum des phénomènes observables, rien ne dit qu'on puisse le délimiter, et sans doute faut-il aussi pouvoir le reconnaître comme faisant peu ou prou partie des données de l'expérience. Nous ne pourrons pas embrasser ces questions dans toute leur généralité, mais nous pouvons en retenir d'abord une attitude qui appelle à intégrer cette dimension des données dans les analyses (apprivoiser le bruit), en se libérant de la crainte de devoir réussir à éliminer tout bruit en amont des analyses sous peine de compromettre celles-ci.

Nous centrons le propos sur un retour d'expérience dans le domaine de la linguistique de corpus : nous allons considérer comment l'approche textométrique a permis de conduire une analyse rigoureuse sur un corpus dont l'étiquetage morphosyntaxique automatique était pourtant imparfait, en élaborant progressivement un parcours motivé et en contrôlant la marge d'erreur. Cette façon d'aborder le bruit est originale et complémentaire par rapport aux approches usuelles du traitement automatique des langues (qui vise des solutions automatiques, pouvant passer par la correction des données comme par la robustesse des traitements) ou de l'intelligence artificielle (qui apporte une solution sans pour autant renseigner clairement sur ce qui la fonde ni sur sa fiabilité). Notre exposé nous amène ensuite à plusieurs points de discussion, touchant à l'évaluation du traitement du bruit, à la justesse scientifique de la démarche elle-même, et à l'incidence de la volumétrie des corpus. C'est l'occasion de noter que l'efficacité des statistiques est différente selon que le bruit est orienté (toujours dans le même sens) ou non. À l'issue de ce parcours, nous pouvons promouvoir une démarche expérimentale scientifique qui allie un traitement pragmatique des données et une réflexion herméneutique pilotant l'ensemble de l'analyse et donnant sens aux observations.

## 2. Cas pratique : analyse factorielle des correspondances sur un étiquetage morphosyntaxique automatique avec erreurs

### 2.1. Contexte de l'expérience : problématique, données, outils, et résultats

L'expérience sur laquelle nous basons notre propos vient d'une collaboration entre linguistes étudiant la diachronie du français et spécialistes de textométrie. L'objectif est d'observer en corpus s'il y a des différences entre langue écrite et langue parlée afin de les décrire. À partir de la Base de français médiéval
(BFM) (Lavrentiev & Guillot-Barbance, 2024), nous construisons un corpus de 137 textes intégraux (4,2 millions de mots) de domaines variés (littérature, religion, droit,...) s'échelonnant du IXe au XVe siècle. Puis nous l'importons dans le logiciel TXM pour disposer d'outils d'analyse textométrique, notamment des statistiques contrastives (Heiden et al., 2010). En effet, nous faisons l'hypothèse que si l'oralité présente des caractéristiques linguistiques particulières, alors ces caractéristiques devraient être davantage présentes d'une part dans les passages au discours direct (se donnant comme parole représentée) et d'autre part dans les genres textuels associés à des pratiques d'oralisation (ex. chanson de geste).

Pour pouvoir observer cela, nous répartissons le contenu de notre corpus en 59 unités de discours, qui croisent d'une part les 32 genres textuels de la base et d'autre part, au sein des textes, les passages au discours direct (notés q) ou les tours de parole (sp) opposés au reste (z)<fnref n="1" />. Chaque unité de discours est donc un ensemble des passages : tous les passages d'un certain type (prise de parole ou non) dans un genre donné. On garde aussi pour information l'indication du nombre de textes concernés, pour en tenir compte dans l'interprétation des résultats, car ce n'est pas la même chose d'avoir un seul texte pour représenter un genre, ou deux, ou plus. Ainsi par exemple, l'unité de discours *q_rbrefLn* regroupe tous les passages au discours direct des récits brefs littéraires (ex. fabliaux), qui sont représentés dans notre corpus par au moins 3 textes différents ; *sp_dramatiqueR2* correspond à l'ensemble des répliques dans le théâtre religieux, qui se trouvent dans deux textes ; *z_lettreH1* est composé des parties narratives de la seule lettre que nous ayons dans le domaine des écrits d'historiens. La Fig. 1 illustre comment le contenu de quelques lignes de texte se répartit entre plusieurs unités de discours.

<figure><img src="image_2.png" /><figcaption>Figure 1. Aperçu du contenu des unités de discours.</figcaption></figure>

Dans TXM, on a recherché en concordance les passages au discours direct (q), puis on les visualise (surlignage rose) dans le retour au texte. Ici, le texte affiché est la *Vie de saint Alexis* (XIe s.), du domaine *Religieux* et du genre *Hagiographie* : les passages surlignés en rose sont dans l'unité de discours *q_HagiographieRn* et les passages non surlignés dans *z_HagiographieRn* (pas de sp dans ce texte).

Pour la description linguistique des unités de discours, nous choisissons d'observer l'usage des catégories morphosyntaxiques (définies par le jeu Cattex09, Guillot et al., 2013) : un étiquetage automatique a été réalisé sur l'ensemble de la BFM par le logiciel TreeTagger (Schmid, 1994), avec un modèle spécialisé pour le français médiéval. Pour une partie du corpus seulement, nous disposons aussi d'un étiquetage manuel vérifié<fnref n="2" />.

Sur la base de ces données, nous pouvons soumettre à l'analyse les profils de répartition des catégories grammaticales sur les unités de discours, sous la forme d'un tableau donnant le nombre de mots de chaque catégorie dans chaque unité de discours (Fig. 2).

<footnote n="1">1 Certains genres sont entièrement narratifs (composante z uniquement), et les tours de parole (sp) ne correspondent qu'aux formes quasi entièrement dialoguées (type théâtre), si bien que les 59 combinaisons effectivement réalisées sont en nombre bien inférieur à 32 genres × 3 modalités (q, sp, z).</footnote>

<footnote n="2">2 Notons que l'étiquetage manuel vérifié ne remplace pas l'étiquetage automatique, comme aurait pu le faire une correction de l'étiquetage. Ainsi, on garde toute l'information, et nous verrons plus loin (§2.2) que cela a rendu possible un diagnostic sur les erreurs de l'étiquetage automatique permettant de gérer ces erreurs à l'échelle du corpus.</footnote>
<table><caption>Figure 2. Extrait du tableau de données croisant unités de discours et catégories morphosyntaxiques (dans le logiciel TXM) : vue des catégories avec les plus hautes fréquences dans le corpus.</caption><thead><tr><th>fropos</th><th>Frequi ▲</th><th>q_bestiaireD2 t=1698</th><th>z_bestiaireD2 t=34705</th><th>q_chroniqueHn t=63436</th><th>z_chroniqueHn t=346440</th><th>q_commentaireD1 t=130</th><th>z_cq</th></tr></thead><tbody><tr><td>NOMcom</td><td>655584</td><td>261</td><td>6289</td><td>10394</td><td>61254</td><td>22</td><td>15</td></tr><tr><td>VERcjg</td><td>526369</td><td>272</td><td>5694</td><td>9065</td><td>46542</td><td>15</td><td>19</td></tr><tr><td>PRE</td><td>385087</td><td>146</td><td>3318</td><td>6336</td><td>37924</td><td>19</td><td>17</td></tr><tr><td>PROper</td><td>294126</td><td>211</td><td>2759</td><td>6928</td><td>23048</td><td>17</td><td>17</td></tr><tr><td>ADVgen</td><td>235283</td><td>108</td><td>2208</td><td>4120</td><td>22906</td><td>2</td><td>4</td></tr><tr><td>CONcoo</td><td>226973</td><td>111</td><td>2023</td><td>4289</td><td>25018</td><td>4</td><td>4</td></tr><tr><td>DETdef</td><td>195153</td><td>57</td><td>1552</td><td>2686</td><td>23840</td><td>5</td><td>5</td></tr><tr><td>CONsub</td><td>127472</td><td>72</td><td>1492</td><td>2496</td><td>12137</td><td>5</td><td>5</td></tr><tr><td>VERppe</td><td>125911</td><td>33</td><td>903</td><td>1865</td><td>11267</td><td>4</td><td>1</td></tr><tr><td>ADJqua</td><td>123262</td><td>62</td><td>1172</td><td>1965</td><td>9670</td><td>1</td><td>1</td></tr><tr><td>VERinf</td><td>104566</td><td>68</td><td>1176</td><td>2068</td><td>8544</td><td>5</td><td>5</td></tr><tr><td>PROrel</td><td>87659</td><td>53</td><td>912</td><td>1238</td><td>7266</td><td>1</td><td>1</td></tr><tr><td>DETADJpos</td><td>82152</td><td>57</td><td>877</td><td>1888</td><td>7240</td><td>4</td><td>4</td></tr><tr><td>ADVneg</td><td>75719</td><td>51</td><td>819</td><td>1493</td><td>4488</td><td>4</td><td>4</td></tr><tr><td>PRE.DETdef</td><td>62212</td><td>12</td><td>414</td><td>679</td><td>6705</td><td>0</td><td>0</td></tr><tr><td>PROdem</td><td>46559</td><td>17</td><td>559</td><td>707</td><td>3301</td><td>2</td><td>2</td></tr><tr><td>PROadv</td><td>43411</td><td>17</td><td>313</td><td>697</td><td>3735</td><td>2</td><td>2</td></tr><tr><td>DETind</td><td>39757</td><td>12</td><td>465</td><td>740</td><td>3738</td><td>2</td><td>2</td></tr><tr><td>PROind</td><td>37841</td><td>15</td><td>422</td><td>587</td><td>3054</td><td>1</td><td>1</td></tr><tr><td>DETndf</td><td>24413</td><td>6</td><td>156</td><td>196</td><td>2008</td><td>1</td><td>1</td></tr><tr><td>DETdem</td><td>23628</td><td>7</td><td>173</td><td>388</td><td>1870</td><td>0</td><td>0</td></tr><tr><td>VERppa</td><td>13012</td><td>3</td><td>132</td><td>158</td><td>1020</td><td>2</td><td>2</td></tr><tr><td>DETcar</td><td>12933</td><td>0</td><td>83</td><td>167</td><td>1355</td><td>2</td><td>2</td></tr><tr><td>AD lind</td><td>6290</td><td>1</td><td>53</td><td>96</td><td>649</td><td>0</td><td>0</td></tr></tbody></table>

Guide de lecture : après la ligne d'en-tête, le début de la première ligne de ce tableau nous indique que la catégorie grammaticale (colonne *fropos*) des noms communs (étiquette *NOMcom*) correspond à 655 584 mots du corpus (colonne *Frequence*), qui se répartissent dans les différentes unités de discours (colonnes suivantes) : par exemple, on a 261 noms communs dans le discours direct des deux bestiaires du domaine didactique (*q_bestiaireD2*), qui compte en tout 1 698 mots (*t=1698*).

Une analyse factorielle des correspondances (AFC) de ce tableau dans TXM (Fig. 3) nous permet de mettre en évidence que la principale variation au sein du corpus, synthétisée par le premier axe de l'AFC, s'interprète effectivement comme un gradient d'oralité (Pincemin et al., 2020), que nous décrivons en quatre zones (Guillot-Barbance et al., 2017).

<figure><img src="image_3.png" /><figcaption>Figure 3. Analyse factorielle des correspondances des unités de discours décrites par les catégories morphosyntaxiques.</figcaption></figure>
Le premier axe (horizontal) de cette AFC fait ressortir le contraste entre les types de passage (discours direct ou non : dominante de préfixes z sur la gauche, et de q ou sp sur la droite), entre les domaines (ex. textes administratifs et pratiques, suffixés P, vs littéraires, suffixés L) et plus finement entre les genres au sein des domaines. Les cas particuliers sont analysés dans (Guillot-Barbance et al., 2017).

## 2.2. Focus sur les étapes pour gérer un étiquetage morphosyntaxique non exempt d'erreurs

Nous savons, notamment à travers la vérification de l'étiquetage sur une partie du corpus, que l'étiquetage morphosyntaxique automatique comporte des erreurs. La question est alors de parvenir à mener une analyse qui ne soit pas faussée par les erreurs dans les données, considérées ici comme bruit. Dans cette partie nous revenons sur le détail des étapes de mise au point de l'analyse, qui servent à cerner peu à peu les facteurs de bruit et à trouver des solutions pour assurer la qualité des observations.

### 2.2.1. Repérage général des étiquettes grammaticales non fiables par comparaison de l'étiquetage manuel avec l'étiquetage automatique

Une évaluation systématique des étiquettes est menée en comparant l'étiquette automatique et l'étiquette manuelle dans les textes vérifiés qui n'ont pas fait partie du corpus d'apprentissage du modèle de l'étiqueteur<fnref n="3" />.

<table><caption>Figure 4. Premières lignes du tableur d'évaluation de l'étiquetage automatique par confrontation à l'étiquetage manuel vérifié (fichier réalisé par Alexei Lavrentiev en 2012).</caption><thead><tr><th></th><th>A</th><th>B</th><th>C</th><th>D</th><th>E</th><th>F</th></tr></thead><tbody><tr><td>1</td><td></td><td></td><td>match ▼</td><td></td><td></td><td></td></tr><tr><td>2</td><td>fropos</td><td>Données</td><td>n</td><td>o</td><td>Total Résultat</td><td></td></tr><tr><td>3</td><td>ADJcar</td><td>Somme - adgar</td><td>10</td><td>10</td><td>20</td><td>50,00%</td></tr><tr><td>4</td><td></td><td>Somme - aucassin</td><td>1</td><td>0</td><td>1</td><td>0,00%</td></tr><tr><td>5</td><td></td><td>Somme - beroul</td><td>5</td><td>25</td><td>30</td><td>83,33%</td></tr><tr><td>6</td><td></td><td>Somme - brut2</td><td>1</td><td>10</td><td>11</td><td>90,91%</td></tr><tr><td>7</td><td></td><td>Somme - comput</td><td>12</td><td>17</td><td>29</td><td>58,62%</td></tr><tr><td>8</td><td></td><td>Somme - DialGreg2</td><td>12</td><td>3</td><td>15</td><td>20,00%</td></tr><tr><td>9</td><td></td><td>Somme - gcoin1</td><td>12</td><td>3</td><td>15</td><td>20,00%</td></tr><tr><td>10</td><td>ADJind</td><td>Somme - adgar</td><td>18</td><td>18</td><td>36</td><td>50,00%</td></tr><tr><td>11</td><td></td><td>Somme - aucassin</td><td>0</td><td>7</td><td>7</td><td>100,00%</td></tr><tr><td>12</td><td></td><td>Somme - beroul</td><td>4</td><td>16</td><td>20</td><td>80,00%</td></tr><tr><td>13</td><td></td><td>Somme - brut2</td><td>7</td><td>25</td><td>32</td><td>78,13%</td></tr><tr><td>14</td><td></td><td>Somme - comput</td><td>9</td><td>12</td><td>21</td><td>57,14%</td></tr><tr><td>15</td><td></td><td>Somme - DialGreg2</td><td>8</td><td>56</td><td>64</td><td>87,50%</td></tr><tr><td>16</td><td></td><td>Somme - gcoin1</td><td>4</td><td>12</td><td>16</td><td>75,00%</td></tr><tr><td>17</td><td>ADJord</td><td>Somme - adgar</td><td>1</td><td>5</td><td>6</td><td>83,33%</td></tr></tbody></table>

Pour chaque étiquette (col. A) et chacun des textes du corpus d'évaluation (B), sont décomptés le nombre de désaccords (C) et d'accords (D) pour le nombre total d'occurrences de l'étiquette dans le texte (E). On en déduit le pourcentage d'étiquettes correctes (F), surligné en rouge lorsqu'il est inférieur à 75 %.

Cette confrontation permet de répartir les étiquettes en trois groupes : sur les 64 étiquettes attestées dans le corpus, 21 présentent une qualité suffisante<fnref n="4" />, 7 ont une qualité intermédiaire<fnref n="5" />, et le lot restant rassemble les

<footnote n="3">3 Pour une présentation succincte de ce modèle, voir le site de la BFM (http://bfm.ens-lyon.fr/spip.php?article324). Le modèle de 2012 n'était pas public, mais le modèle actuel utilise la même technologie et les mêmes paramètres, c'est le corpus d'apprentissage qui a été étendu. Il est diffusé via l'entrepôt BFM Language Models (https://gitlab.huma-num.fr/bfm/bfm-language-models).</footnote>

<footnote n="4">4 Seuils : au moins 75 % des étiquettes sont correctes dans tous les textes (avec une exception (PROrel) ayant 1 texte à 73 %), absence dans au plus deux textes.</footnote>

<footnote n="5">5 Seuils : au moins 75 % des étiquettes sont correctes dans au moins 5 textes, et pour les 1 ou 2 textes restants au moins 50 % des étiquettes sont correctes. Les 7 catégories concernées sont : l'adjectif indéfini (ADJind, visible</footnote>
étiquettes non fiables (taux insuffisant ou fréquence trop faible) ainsi que les catégories en marge de la description morphosyntaxique et n'entrant pas dans le cadre de notre analyse (comme les ponctuations et les mots étrangers). Ces groupes nous permettent de cerner les catégories erronées ou non pertinentes, donc des altérations de nos données potentiellement génératrices de bruit (si les données sont fausses et qu'elles influencent l'analyse, alors les résultats seront infondés).

### 2.2.2. Filtrage des basses fréquences

On remarque que dans notre tableau de données (Fig. 2) les plus basses fréquences concentrent les étiquettes non fiables (Fig. 5). Cela est d'ailleurs assez cohérent avec le fait que l'étiqueteur est basé sur un apprentissage⁶ (Schmid, 1994) : les catégories rares ne se présentent pas assez souvent pour que le modèle parvienne à bien les décrire. Or on sait également que les basses fréquences auront un rôle très faible dans l'analyse AFC que l'on s'apprête à calculer, puisque celle-ci donne d'autant plus de poids aux catégories qu'elles sont fréquentes. On choisit donc de filtrer les basses fréquences, en ajustant le seuil de sorte à ce que l'on n'écarte quasiment que des étiquettes non fiables et en ne considérant que des fréquences faibles au regard de la gamme de fréquences du corpus (ici, les catégories de fréquence inférieure à 1 700, sachant que les catégories les plus fréquentes comptent plusieurs centaines de milliers d'occurrences, cf. Fig. 2). Ainsi, on réduit la présence d'erreurs dans les données (bruit), d'une façon compatible avec l'analyse visée.

<figure><img src="image_4.png" /><figcaption>Figure 5. Extrait du tableau de données croisant unités de discours et catégories morphosyntaxiques (dans le logiciel TXM).</figcaption></figure>

Fig. 4), l'adjectif qualificatif (ADJqua), le déterminant cardinal (DETcar), le nom propre (NOMpro), le pronom adverbial (PROadv), le pronom indéfini (PROind), et le participe passé (VERppe), L'ensemble du jeu d'étiquettes (Cattex09) est présenté dans (Guillot et al., 2013).

6. Apprentissage au sens algorithmique : avant de pouvoir être utilisé, l'étiqueteur se construit un modèle morphosyntaxique à partir de l'observation d'un grand nombre de données déjà étiquetées. Autrement dit, l'étiquetage qui sera effectué par l'outil est déduit de ce qui a pu être observé dans les données d'entraînement. La représentativité de ces données (en volume et en diversité) et leur adéquation aux usages visés sont donc des facteurs déterminants sur le niveau de bruit des étiquetages ensuite réalisés.
Vue des catégories avec les plus basses fréquences dans le corpus. Les lignes surlignées en orange correspondent aux catégories non fiables de fréquence inférieure à 1 700 : on voit que toutes les catégories de basse fréquence font partie des catégories non fiables, à l'exception d'une seule (PROper.PROper).

### 2.2.3. Contrôle des fortes contributions sur les axes retenus pour l'analyse

Le tableau de données préparé, allégé des basses fréquences, peut maintenant être mis à l'épreuve de l'analyse factorielle. On calcule une première AFC sur le tableau seuillé et on examine les catégories qui contribuent de façon majeure à l'axe 1 (Fig. 6, colonne *Cont1*). En effet, notre problématique porte essentiellement sur cet axe, puisque nous cherchons à dégager la dimension de variation majeure de nos données. Il ressort les catégories DETcom et PRE.DETcom, qui contribuent ensemble à près de 30 % de l'inertie de l'axe.

<table><caption>Figure 6. Première AFC, tableau des aides à l'interprétation trié par contribution à l'axe 1 décroissante : mise en évidence de l'apparition de ledit.</caption><thead><tr><th>Lignes</th><th>Q12</th><th>Q13</th><th>Q23</th><th>Masse</th><th>Dist</th><th>Cont1</th><th>Cos<sup>2</sup>1</th><th>Cont2</th><th>Cos<sup>2</sup>2</th></tr></thead><tbody><tr><td>DETcom</td><td>0,83</td><td>0,92</td><td>0,17</td><td>0,25</td><td>3,77</td><td>17,09</td><td>0,79</td><td>1,98</td><td>0,04</td></tr><tr><td>NOMpro</td><td>0,58</td><td>0,79</td><td>0,22</td><td>3,03</td><td>0,36</td><td>14,67</td><td>0,58</td><td>0,14</td><td>0,00</td></tr><tr><td>PRE.DETcom</td><td>0,77</td><td>0,87</td><td>0,19</td><td>0,15</td><td>4,87</td><td>12,64</td><td>0,73</td><td>1,63</td><td>0,04</td></tr><tr><td>PROper</td><td>0,57</td><td>0,71</td><td>0,15</td><td>7,90</td><td>0,09</td><td>9,11</td><td>0,57</td><td>0,19</td><td>0,01</td></tr><tr><td>PRE</td><td>0,79</td><td>0,83</td><td>0,04</td><td>10,44</td><td>0,04</td><td>7,13</td><td>0,79</td><td>0,00</td><td>0,00</td></tr><tr><td>ADVgen</td><td>0,74</td><td>0,69</td><td>0,10</td><td>6,42</td><td>0,05</td><td>5,78</td><td>0,66</td><td>1,42</td><td>0,07</td></tr><tr><td>VERcjg</td><td>0,54</td><td>0,64</td><td>0,14</td><td>13,93</td><td>0,03</td><td>4,95</td><td>0,52</td><td>0,38</td><td>0,02</td></tr><tr><td>ADVneg</td><td>0,71</td><td>0,78</td><td>0,14</td><td>2,06</td><td>0,13</td><td>4,58</td><td>0,68</td><td>0,47</td><td>0,03</td></tr></tbody></table>

Ces deux catégories correspondent au mot *ledit* (et *audit*, *dudit* etc.) qui apparaît à la fin du XIIIe s. : ce cas rare d'apparition d'une catégorie grammaticale crée un effet diachronique fort. Cependant, cet effet diachronique, en mobilisant l'axe 1 de notre analyse, ne nous permet pas d'observer les variations qui pourraient répondre à notre questionnement. On recourt alors à la technique dite du *peeling*, qui s'applique lorsqu'un phénomène singulier s'accapare un axe, empêchant l'analyse factorielle de capturer des configurations plus globales : le *peeling* consiste à prendre note du contraste fort observé pour le ou les quelques points singuliers, puis à retirer ceux-ci du calcul de l'espace factoriel pour pouvoir observer les contrastes suivants (Benzécri, 1973/1980, pp. 37, 49).

On calcule une seconde AFC (tableau seuillé et sans *ledit*), et on examine à nouveau les catégories qui contribuent à l'axe 1 de façon marquée (supérieure à la moyenne, soit de l'ordre de 3 % puisqu'il nous reste une bonne trentaine de catégories) (Fig. 7). On repère alors une seule catégorie non fiable qu'il ne faut pas laisser influencer de façon déterminante l'analyse, celle du nom propre : nous l'éliminons donc du tableau d'analyse en notant que notre analyse sera menée dans la limite de la non prise en compte du nom propre.
<table><caption>Figure 7. Deuxième AFC, tableau des aides à l'interprétation trié par contribution à l'axe 1 décroissante : détection des catégories non fiables (surlignées en orange) en position d'influence</caption><thead><tr><th>Lignes</th><th>Q12</th><th>Q13</th><th>Q23</th><th>Masse</th><th>Dist</th><th>Cont1</th><th>Cos<sup>2</sup></th></tr></thead><tbody><tr><td>NOMpro</td><td>0,65</td><td>0,94</td><td>0,31</td><td>3,04</td><td>0,37</td><td>22,02</td><td>0,64</td></tr><tr><td>PROper</td><td>0,72</td><td>0,73</td><td>0,04</td><td>7,94</td><td>0,09</td><td>14,73</td><td>0,71</td></tr><tr><td>PRE</td><td>0,74</td><td>0,89</td><td>0,18</td><td>10,48</td><td>0,04</td><td>9,29</td><td>0,72</td></tr><tr><td>ADVgen</td><td>0,68</td><td>0,69</td><td>0,07</td><td>6,45</td><td>0,05</td><td>7,16</td><td>0,65</td></tr><tr><td>ADVneg</td><td>0,79</td><td>0,79</td><td>0,01</td><td>2,07</td><td>0,12</td><td>6,90</td><td>0,79</td></tr><tr><td>NOMcom</td><td>0,79</td><td>0,78</td><td>0,06</td><td>17,54</td><td>0,01</td><td>5,87</td><td>0,75</td></tr><tr><td>VERcjg</td><td>0,44</td><td>0,77</td><td>0,40</td><td>13,99</td><td>0,03</td><td>4,74</td><td>0,40</td></tr><tr><td>VERppe</td><td>0,65</td><td>0,58</td><td>0,08</td><td>3,46</td><td>0,06</td><td>4,20</td><td>0,57</td></tr><tr><td>PRE.DETdef</td><td>0,70</td><td>0,66</td><td>0,07</td><td>1,62</td><td>0,09</td><td>3,60</td><td>0,64</td></tr><tr><td>DETdef</td><td>0,34</td><td>0,27</td><td>0,07</td><td>5,37</td><td>0,06</td><td>2,87</td><td>0,27</td></tr><tr><td>VERinf</td><td>0,44</td><td>0,55</td><td>0,29</td><td>2,83</td><td>0,06</td><td>2,46</td><td>0,35</td></tr><tr><td>DETcar</td><td>0,58</td><td>0,53</td><td>0,09</td><td>0,37</td><td>0,33</td><td>2,46</td><td>0,51</td></tr><tr><td>PROadv</td><td>0,43</td><td>0,50</td><td>0,12</td><td>1,15</td><td>0,11</td><td>2,26</td><td>0,41</td></tr><tr><td>ADJqua</td><td>0,28</td><td>0,29</td><td>0,01</td><td>3,27</td><td>0,03</td><td>1,88</td><td>0,28</td></tr><tr><td>CONsub</td><td>0,61</td><td>0,61</td><td>0,20</td><td>3,58</td><td>0,03</td><td>1,86</td><td>0,51</td></tr><tr><td>DETpos</td><td>0,43</td><td>0,53</td><td>0,23</td><td>2,14</td><td>0,06</td><td>1,85</td><td>0,37</td></tr><tr><td>VERppa</td><td>0,35</td><td>0,39</td><td>0,06</td><td>0,37</td><td>0,15</td><td>1,09</td><td>0,34</td></tr><tr><td>DETrel</td><td>0,23</td><td>0,33</td><td>0,20</td><td>0,12</td><td>0,64</td><td>0,75</td><td>0,18</td></tr><tr><td>PROint</td><td>0,38</td><td>0,38</td><td>0,01</td><td>0,06</td><td>0,51</td><td>0,63</td><td>0,37</td></tr><tr><td>ADVneg.PROper</td><td>0,31</td><td>0,51</td><td>0,23</td><td>0,06</td><td>0,50</td><td>0,46</td><td>0,30</td></tr><tr><td>DETdem</td><td>0,21</td><td>0,17</td><td>0,15</td><td>0,69</td><td>0,06</td><td>0,43</td><td>0,11</td></tr></tbody></table>

Pour les autres catégories peu fiables relevées, nous jugeons que leur impact n'est pas en mesure de fausser l'analyse globale. En effet, soit la contribution est inférieure à 1 %, soit elle est inférieure à 3 % et la fiabilité n'est pas si mauvaise (dans l'évaluation initiale, juste 1 texte sur 7 présentait une qualité de 50 % à 70 %, les 6 autres textes étant au-dessus de 75%), soit la contribution est entre 3 % et 5 % mais la catégorie ne présente quasiment pas de problème de qualité (tous les textes ont une qualité au-dessus de 70 %).

On calcule donc à présent une troisième AFC sur le tableau seuillé, sans *ledit* et sans le nom propre. Pas de nouvelle influence à considérer au niveau de l'axe 1, mais on observe que l'adjectif possessif s'accapare l'axe 2, en lien avec un seul genre, le psautier (Fig. 8). On constate dans les textes que cela correspond à un usage spécifique (« la meie aneme », « la tue misericorde », etc. cf. volet gauche de la Fig. 8). On remarque que l'adjectif possessif correspond à un usage proche du déterminant possessif, vers lequel il va évoluer : plutôt que de retirer le cas de l'adjectif possessif (*peeling*), on choisit de le *fusionner* avec la catégorie du déterminant possessif, au niveau du tableau de données à soumettre à l'AFC. On conserve ainsi une part de l'information<fnref n="7" />, les occurrences concernées restent prises en compte dans l'analyse mais avec un étiquetage moins spécifique.

<footnote n="7">7 Notons qu'il s'agit ainsi de réduire le *bruit* sans pour autant développer le *silence* (la part d'information visée mais qui échappe à l'analyse), car ce serait une autre façon de fausser les résultats.</footnote>
<figure><img src="image_5.png" /><figcaption>Figure 8. Troisième AFC, repérage d'une influence singulière sur le deuxième axe (le lien entre l'adjectif possessif et le genre textuel psautier).</figcaption></figure>

La compréhension du phénomène pointé par l'axe 2 de l'AFC est éclairée par un retour au texte, un examen de ce qui se passe concrètement dans les données. Dans le panneau à gauche de l'AFC, on a relevé e les contextes d'usage de l'adjectif possessif dans les psautiers. C'est en prenant connaissance de ces contextes que l'on confirme le sens d'unifier adjectifs et déterminants possessifs.

## 2.3. Bilan de la prise en compte de la fiabilité et de la pertinence dans le tableau de données

C'est ainsi que l'on obtient le tableau sur lequel a pu être effectuée l'analyse principale (Fig. 3), qui repose au final sur 33 catégories, couvrant 3 565 375 occurrences, soit plus de 96 % des mots (hors ponctuations, marques éditoriales, mots étrangers et abréviations). La gestion des erreurs a consisté à faire en sorte que les étiquettes erronées ne perturbent pas le résultat de l'analyse (fiabilité), essentiellement en ne prenant pas en compte la catégorie des noms propres. Nous avons aussi géré d'autres phénomènes qui ne sont pas des erreurs mais qui pouvaient occulter l'observation visée (pertinence) : l'effet diachronique majeur créé par l'apparition d'une nouvelle catégorie (ledit au XIIIe s.), la variation déterminant / adjectif dans la construction du possessif singulière au psautier. Ce travail préparatoire a permis de tirer d'un corpus « ordinaire », avec ses caractéristiques et ses limites, des données à la fois représentatives, fiables, et pertinentes pour notre questionnement, en gérant du bruit de divers ordres (perturbations venant d'erreurs ou non).

# 3. Discussion

## 3.1. Comment évaluer l'apport de la gestion du bruit ici présentée ?

Il faut d'abord réaliser que nous n'avons pas corrigé le bruit des données, mais que nous l'avons contourné. Corriger le bruit aurait pu être l'objectif d'un travail en traitement automatique des langues sur l'étiqueteur lui-même, et cela aurait donné lieu à une évaluation de l'importance du bruit et de l'apport du traitement opéré par comparaison des résultats avec vs sans bruit. Mais ici nous avons contourné le bruit en cherchant
un angle optimal d'observation des données, basé sur une partie des informations descriptives, de telle sorte que nos résultats soient fiables et pertinents pour notre problématique. Par exemple, en écartant les noms propres, nous évitons l'impact potentiel majeur d'erreurs en proportion non négligeable : l'impact aurait été majeur du fait de la contribution de 22 % au 1er axe de l'AFC, et la proportion des erreurs aurait été non négligeable puisque nous l'avons constatée de l'ordre d'un tiers dans certains textes. En revanche d'autres catégories fragiles (participe passé, adjectif, etc.) ont pu être conservées en contrôlant que l'impact des erreurs resterait dans une marge acceptable (de l'ordre de 1 %). On obtient un résultat qui s'interprète modulo la non prise en compte des noms propres (et de ledit), et on choisit d'accepter cette réduction du champ d'observation au profit de deux bénéfices, la fiabilité (contrôler et limiter l'impact des erreurs dans les données) et la pertinence (accéder à des observations concernant notre questionnement). Le résultat obtenu n'est pas directement comparable à celui que l'on aurait eu sans la gestion des erreurs, ni à celui qu'on aurait eu sur des données parfaites et non bruitées, puisqu'il ne se base pas exactement sur la même représentation et s'interprète autrement : c'est une autre réponse à la problématique initiale, appropriée à l'état de nos données.

## 3.2. L'ajustement progressif des données est-il scientifiquement légitime ?

Le principe même du travail de mise au point des données exposé ici pourrait jeter un doute : est-ce rigoureux de revenir sur les données initiales ? Ne va-t-on pas vers un « arrangement » des données, pour leur faire dire ce qu'on veut ? Peut-on contourner le bruit de façon objective et contrôlée ? Réexaminons chaque étape. Lorsque nous avons seuillé les basses fréquences, nous savons que cela allège l'analyse sans modifier les résultats (poids trop faible) : c'est donc cohérent avec l'outil d'analyse utilisé. Quant aux opérations de peeling, par élimination ou fusion, elles consistent à écarter un phénomène singulier qui accapare l'analyse, pour pouvoir poursuivre celle-ci. D'une part, le phénomène singulier est simplement isolé (et non pas effacé), il est noté pour être réintégré dans la formulation de la conclusion ; d'autre part, il s'agit bien de conduire l'analyse et d'orienter les instruments d'observation en fonction du sujet à traiter : les données n'ont pas un unique « contenu » qu'il suffirait d'extraire par application d'une procédure automatique. L'objectivation ne vient pas d'une non intervention du chercheur, mais du caractère méthodique et transparent de la démarche analytique.

## 3.3. La notion de bruit a-t-elle un sens quand on considère des corpus volumineux ?

Notre expérience permet de constater que le caractère volumineux du corpus et le recours à une approche globale par les statistiques ne dispensent pas de prendre en compte le bruit, qu'il s'agisse d'erreurs d'étiquetage ou de phénomènes singuliers sortant du champ de la problématique. Les erreurs d'étiquetage sur les basses fréquences étaient neutralisées naturellement, mais les cas de reconnaissance insuffisante d'une catégorie majeure comme le nom propre, de néologie grammaticale du déterminant ledit, et de spécialisation générique forte de certaines phraséologies, ont manifesté un impact déterminant sur les analyses par le fait même de leur contribution aux tout premiers axes de l'analyse factorielle (contributions respectives de 29 %, 22 % et 84 %). L'analyse factorielle s'est comportée à la fois comme un filtre (neutralisation de perturbations) et comme un détecteur (repérage précis des facteurs en capacité de brouiller l'analyse s'ils ne sont pas fiables ou pertinents).

D'une façon plus générale, en statistique, la loi des grands nombres établit que le volume des données permet de neutraliser des variations contingentes. C'est l'idée qu'avec un grand nombre d'observations (la grande fréquence d'un mot, la grande taille du corpus), les petits écarts, allant en tous sens, se compensent mutuellement. Cette loi est régulièrement invoquée par Brunet, comme ici en 1987 :

> Il serait vain de nier ces difficultés théoriques et pratiques et, faute d'avoir désambiguisé les quelque 72 000 occurrences de noms propres chez Zola, on ne saurait prétendre à l'exactitude du détail. Mais cette situation est assez répandue là où s'exerce la statistique, c'est-à-dire là où la mesure directe des phénomènes est peu praticable. Et l'on peut tirer des conclusions relativement précises et sûres à partir de données floues et incertaines, quand du moins la loi des grands nombres permet d'espérer la neutralisation des erreurs et des « bruits ».

(Brunet, 1987/2016, p. 176)
Mais en 2012, confronté à des données issues de la numérisation automatique de livres, Brunet constate que les résultats statistiques sont affectés par certaines erreurs systématiques de la numérisation, comme les s longs de l'ancienne typographie française qui se retrouvent transcrits en f. Les mots correspondants, non correctement reconnus, se retrouvent de façon artéfactuelle dans les sureffectifs de la première période. Il souligne en conclusion :

> La loi des grands nombres n'efface pas complètement les fautes de conception, les bévues des machines et les erreurs de traitement. Un corpus restreint mais plus pur vaut mieux qu'un terril énorme, mais dégradé. (Brunet, 2012)

Ainsi, d'un point de vue statistique, est-il essentiel de distinguer deux types de bruit dans les données : l'erreur désordonnée, dispersée, aléatoire, et l'erreur orientée, toujours dans le même sens, répétitive. À partir d'un certain volume, la statistique sera efficace pour lisser la première, alors qu'elle donnera prise à la seconde.

## 4. Conclusion : préférer la qualité à la perfection

Notre retour d'expérience a cherché à montrer que le chercheur dispose de moyens pour analyser ses données en l'état, et que cela se réalise davantage par une connaissance de son corpus et de ses limites que par une élimination préalable de tout défaut. Si l'on convient, selon l'adage, que la perfection n'est pas de ce monde, l'étude du réel passe par l'acceptation et la gestion de l'imperfection (erreur, flou, lacune, intrus...). Apprivoiser le bruit, c'est ainsi être attentif à le connaître, le reconnaître, pour trouver des façons de mener ses observations compatibles avec ce qui ne peut être corrigé ou amélioré dans l'immédiat. À défaut de perfection (absolue), c'est la qualité (relative) qui peut être visée : à savoir, ce qui peut suffire pour répondre aux besoins de la recherche considérée.

L'interprétabilité devient ainsi essentielle, c'est-à-dire la possibilité d'avoir une connaissance suffisante de son corpus pour interpréter les observations que l'on en tire (Pincemin, 2012) : à quoi correspond sa constitution, quelles sont ses caractéristiques et ses limites, quel type et quel volume d'erreurs on peut y rencontrer, est-ce que certaines ont été traitées et de quelle façon. Le caractère méthodique de la constitution du corpus et la régularité des traitements pour sa préparation sont ici déterminants.

Par ailleurs, l'intérêt des données, tant par leur relation directe au réel que par leur affinité avec la problématique de recherche, prime sur la capacité des outils : c'est aux outils et méthodes de s'adapter aux données qui font sens pour l'analyse, et non l'inverse (par exemple la capacité à ne pas bloquer sur un élément inattendu, à conduire une analyse sur des sous-ensembles de tailles variées).

Le risque de la chasse au bruit, c'est éventuellement celui, majeur, de perdre quelque chose des données originales (si l'on procède par remplacement – corriger ou normaliser un mot fautif par exemple – plutôt qu'enrichissement – garder le mot original et ajouter par ailleurs sa version corrigée ou normalisée– comme le permettent les formats structurés<fnref n="8" />) – mais c'est toujours celui d'ajourner l'analyse.

Plutôt convient-il de procéder par étapes : préparation d'un premier état du corpus, puis premières analyses (en connaissant et gérant les limites des données effectives) ; puis si besoin retour aux données et deuxième version du corpus<fnref n="9" />, permettant de nouvelles analyses, etc. L'interaction et la familiarisation avec les données participent à la démarche progressive de gestion du bruit décrite comme un apprivoisement. D'ailleurs ce cheminement itératif n'est pas un pis-aller pragmatique, mais a fondamentalement du sens, puisque l'analyse contribue à l'édition des données, la vue globale à l'établissement des faits locaux – c'est le cercle herméneutique même (Rastier, 2001, 2011).

Plus radicalement encore, l'approche textométrique, à la fois statistique et qualitative (par le retour au texte et la contextualisation des observations), offre la possibilité de mener une analyse fine en restant très proche des données originales. Elle fait apparaître que la richesse d'analyse ne présuppose pas nécessairement un encodage lourd, par exemple d'unités sémantiques. Or de fait, à trop améliorer et préparer, n'y a-t-il pas un risque de substituer nos attentes (déjà connues, virtuelles) aux inattendus (enrichissants, réels) des données originales ? En visant à réduire le bruit, sommes-nous sûrs de ne pas introduire d'autres biais plus subtils, ou

<footnote n="8">8 Il y aurait matière à un autre article avec la question de l'annotation comme moyen pour gérer le bruit.</footnote>

<footnote n="9">9 Par exemple, avec l'ajout d'une nouvelle représentation du texte qui rétablit en s les s longs, dans le cas exposé par Brunet (2016).</footnote>
de ne pas entraîner de silence dans nos données ? Tout est affaire d'équilibre bien sûr, de pertinence pour la problématique, et du rapport plus ou moins maintenu aux sources.

# 5. Références

Al Sharou, K., Li, Z., & Specia, L. (2021). Towards a Better Understanding of Noise in Natural Language Processing. *Proceedings of the International Conference on Recent Advances in Natural Language Processing (RANLP 2021)* (pp. 53-62). https://doi.org/10.26615/978-954-452-072-4_007

Benzécri, J.-P. (1980). *L'analyse des données : Vol. 1. L'analyse des correspondances* (3e éd.). Dunod. (Première publication en 1973)

Brunet, É. (2012). Au fond du GOOFRE, un gisement de 44 milliards de mots. In A. Dister, D. Longrée & G. Purnelle (Éds), *JADT 2012 – Actes des 11<sup>es</sup> Journées internationales d'Analyse statistique des Données Textuelles* (pp. 7-21). Universités de Liège et Bruxelles : LASLA-SESLA.

Brunet, É. (2016). Les noms propres chez Zola. In É. Brunet, *Tous comptes faits. Écrits choisis : Tome III. Questions linguistiques* (pp. 173-199). Champion. (Première publication en 1987)

Guillot, C., Prévost, S., Lavrentiev, A. (2013). *Principes d'annotation Cattex09* (v. 2). Base de français médiéval. http://bfm.ens-lyon.fr/IMG/pdf/Cattex2009_principes_2.0.pdf

Guillot-Barbance, C., Pincemin, B., & Lavrentiev, A. (2017). Représentation de l'oral en français médiéval et genres textuels. *Langages, 208*(4/2017), pp. 53-68.

Heiden, S., Magué, J.-Ph., & Pincemin, B. (2010). TXM : une plateforme logicielle open-source pour la textométrie – conception et développement. In I. C. Sergio Bolasco (ed.), *Proceedings of 10th International Conference on the Statistical Analysis of Textual Data – JADT 2010* (vol. 2, pp. 1021-1032). Edizioni Universitarie di Lettere Economia Diritto.

Lavrentiev, A., & Guillot-Barbance, C. (2024). La BFM 2022 : un corpus pour les recherches diachroniques en français médiéval et au-delà. *Corpus, 25*.

Pincemin, B. (2012). Hétérogénéité des corpus et textométrie. *Langages, 187*, pp. 13-26.

Pincemin, B., Guillot-Barbance, C., & Lavrentiev, A. (2020). Using the First Axis of a Correspondence Analysis as an Analytic Tool. Application to Establish and Define an Orality Gradient for Genres of Medieval French Texts. In D. F. Iezzi, D. Mayaffre, & M. Misuraca (eds), *Text Analytics. Advances and Challenges* (pp. 127-143). Springer.Rastier, F. (2001). *Arts et sciences du texte*. Presses Universitaires de France.

Rastier, F. (2011). *La mesure et le grain. Sémantique de corpus*. Champion.

Schmid, H. (1994). Probabilistic part-of-speech tagging using decision trees. *Proceedings of the Conference on New Methods in Language Processing, Manchester* (pp. 44-49).