# À pas de loup dans la bergerie... La problématique du silence et du bruit dans l'étiquetage automatique du Subjonctif Présent en français parlé

Christian Surcouf

► To cite this version:

Christian Surcouf. À pas de loup dans la bergerie... La problématique du silence et du bruit dans l'étiquetage automatique du Subjonctif Présent en français parlé. Corpus, 2025, 26, 10.4000/1364w . hal-05286850

HAL Id: hal-05286850

https://hal.science/hal-05286850v1

Submitted on 27 Sep 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
À pas de loup dans la bergerie... La problématique du silence et du bruit dans l'étiquetage automatique du Subjonctif Présent en français parlé

Christian Surcouf

<figure><img src="image_2.png" /></figure>

OpenEdition
Journals

Electronic version

URL: https://journals.openedition.org/corpus/9607

DOI: 10.4000/1364w

ISSN: 1765-3126

Publisher

Bases ; corpus et langage - UMR 6039

Electronic reference

Christian Surcouf, "À pas de loup dans la bergerie... La problématique du silence et du bruit dans l'étiquetage automatique du Subjonctif Présent en français parlé", *Corpus* [Online], 26 | 2025, Online since 16 January 2025, connection on 31 January 2025. URL: http://journals.openedition.org/corpus/9607 ; DOI: https://doi.org/10.4000/1364w

This text was automatically generated on January 31, 2025.

The text and other elements (illustrations, imported files) are "All rights reserved", unless otherwise
stated.
# À pas de loup dans la bergerie... La problématique du silence et du bruit dans l'étiquetage automatique du Subjonctif Présent en français parlé

Christian Surcouf

## 1. L'intérêt et les limites de la linguistique de corpus

<footnote n="1">1. En dehors de son fondement empirique consistant à ne travailler que sur des exemples attestés, la linguistique de corpus permet d'appréhender frontalement la diversité des usages langagiers. Il est important de rappeler que les innovations de la linguistique de corpus reposent en grande partie sur les avancées considérables de l'outil informatique et le traitement massif et rapide des données langagières numérisées qu'il autorise. Toutefois, comme le rappelle Tanguy (2012: 73): « un outil n'étant qu'un outil, il possède quelle que soit sa sophistication un ensemble de limitations que l'on doit accepter et prendre en compte lors de son utilisation ». Se pose cependant la question de savoir si le linguiste ordinaire¹ est toujours conscient de ces « limitations ». À défaut, comment pourrait-il les « prendre en compte » et parvenir à les contourner, les atténuer ou les pondérer dans l'analyse de ses données ? Dans cet article, nous aborderons l'une de ces limitations, provenant en l'occurrence de l'étiquetage automatique du Subjonctif Présent (SubjPr) au sein d'un corpus de dix heures de français parlé. Seront ainsi examinés le bruit et le silence dans les annotations fournies par trois étiqueteurs : TreeTagger (Schmid 1999), TreeTagger-TCOF – sa version basée sur TCOF-POS² (Benzitoun et al. 2012) –, et Dismo (Christodoulides et al. 2014). Au travers de nos analyses, nous montrerons que le bruit dans l'étiquetage de l'Indicatif Présent (IndPr) constitue la cause principale du silence dans celui du SubjPr. L'analyse exhaustive des conjugaisons orthographiques du SubjPr des 6 500 verbes du Petit Robert permettra d'établir que le SubjPr et l'IndPr partagent un grand nombre de formes, probablement à l'origine de ces confusions. Enfin, nous discuterons les problèmes</footnote>
qu'est susceptible de poser au linguiste ordinaire l'usage des termes « précision » et « rappel », que nous éviterons donc à dessein dans nos premières analyses.

2 Qu'entend-on par bruit et silence ? L'annotation (manuelle ou automatique) d'un item à l'aide d'une étiquette X peut donner lieu aux quatre configurations suivantes :

<table><caption>Tableau 1. Le bruit et le silence dans l'attribution d'une étiquette X donnée</caption><thead><tr><th></th><th>Ciblé par X</th><th>Étiqueté X</th><th>Statut</th><th>Libellé</th></tr></thead><tbody><tr><td>(i)</td><td>oui</td><td>oui</td><td>juste</td><td>vrai positif</td></tr><tr><td>(ii)</td><td>non</td><td>non</td><td>juste</td><td>vrai négatif</td></tr><tr><td>(iii)</td><td>non</td><td>oui</td><td>bruit</td><td>faux positif</td></tr><tr><td>(iv)</td><td>oui</td><td>non</td><td>silence</td><td>faux négatif</td></tr></tbody></table>

3 Les configurations (i) et (ii) sont justes dans la mesure où elles répondent à l'objectif poursuivi par tout étiqueteur. En (i), l'item ciblé est étiqueté X à juste titre (vrai positif, VP) et ne l'est pas, toujours à juste titre, en (ii) (vrai négatif, VN). Les configurations (iii) et (iv) constituent les deux cas de figure parasites, incarnés par le bruit en (iii) et le silence en (iv). En (iii), l'étiquette X est attribuée à tort (faux positif, FP), et en (iv) omise à tort (faux négatif, FN). Le code de couleurs signale le degré de difficulté de repérage de ces problèmes d'étiquetage dans les résultats des requêtes, le vert étant synonyme de succès, dont seul (i) nous intéressera ici. Bien que parasite, le bruit (orange) est en général relativement facile à détecter, alors que le silence (rouge, le plus 'dangereux') peut passer totalement inaperçu, l'un comme l'autre engendrant des problèmes dans le résultat des requêtes en aval.

4 Même si l'étiquetage du SubjPr n'est pas nécessairement affecté par les spécificités du traitement informatique de la langue parlée, afin de mieux identifier les zones d'émergence possible du bruit et du silence, rappelons schématiquement les six étapes indispensables à la compilation et l'exploitation d'un corpus oral.

<table><caption>Tableau 2. L'altération cumulative des données brutes initiales lors de la compilation et l'exploitation d'un corpus oral</caption><tr><td>Étapes</td><td>Les données langagières brutes sont altérées par :</td></tr><tr><td>sélection</td><td>l'échantillonnage (problème de représentativité)</td></tr><tr><td>enregistrement</td><td>a) la perte des informations personnelles et situationnelles<br/>b) la transformation engendrée par le dispositif technologique</td></tr><tr><td>transcription</td><td>a) la perte de la dimension acoustique<br/>b) les contraintes des conventions du système d'écriture³ et de transcription</td></tr><tr><td>étiquetage</td><td>a) la qualité de la transcription<br/>b) les choix théoriques et technologiques</td></tr><tr><td>requêtage</td><td>a) le dispositif technologique de requêtage<br/>b) la qualité de l'étiquetage</td></tr><tr><td>affichage des résultats</td><td>a) le bruit<br/>b) le silence</td></tr></table>
5

Chaque étape tend à altérer, et ce de manière cumulative, les données brutes initiales de la langue orale, objet de nos analyses. La technologie joue un rôle ambivalent à cet égard puisqu'elle rend à la fois possibles les étapes à tout en introduisant des biais inhérents à son propre fonctionnement. Ici, il s'agira pour nous de mesurer le bruit et le silence dans les résultats en d'une requête des formes de SubjPr en , en les comparant à ceux de l'annotation manuelle de notre corpus.

6

D'une manière générale, la littérature qui aborde la question de la précision des étiqueteurs automatiques fournit des estimations supérieures à 95 %⁴, ce qui laisserait supposer que les résultats peuvent être exploités avec une confiance relativement élevée :

> *The state-of-the-art in POS tagging accuracy (number of correctly tagged word tokens over all word tokens) is about 96%-97% for most Indo-European languages (English, French, etc.). (Güngör 2010: 207)*

7

Pourtant, comme nous le verrons, l'étiquetage automatique du SubjPr en français parlé est loin d'atteindre des taux aussi élevés. De telles estimations générales demanderaient à être nuancées, dans la mesure où elles occultent en partie les performances propres à chacune des étiquettes. En d'autres termes, dans l'évaluation des performances, un taux général risque de surreprésenter les phénomènes fréquents et faciles à étiqueter au détriment des phénomènes plus rares et plus difficiles à étiqueter. Le SubjPr relève de cette deuxième catégorie. Quels sont les défis que soulève son étiquetage ?

## 2. L'ambigüité et les défis de l'étiquetage du SubjPr

8

Imaginons les exemples suivants, où la forme verbale orale à étiqueter apparaît en gras en phonétique :

[1] il faut que tu /paත/

[2] il faut que tu /mãʒ/

[3] on cherche quelqu'un qui /suki/ beaucoup

[4] on cherche quelqu'un qui /pakl/ bien

9

L'identification de la nature de chacune de ces formes soulève des difficultés plus ou moins importantes. En [1], prise isolément la forme orale /paත/ est ambigüe mais sa transcription orthographique <partes>⁵ indispensable pour l'étiquetage automatique – renvoie univoquement à un SubjPr. Toutefois, ce cas de figure est minoritaire dans la morphologie verbale du français, où les cas d'homophonie homographe sont très nombreux (voir l'analyse quantitative détaillée en §3). En [2], la forme /mãʒ/, considérée isolément, est ambigüe (Indicatif ? Subjonctif ? Impératif ?) ; sa transcription <manges> évacue normalement l'Impératif (sauf dans le cas de 'manges-en'). La prise en compte du cotexte – *il faut que* – permet de lever cette ambigüité et d'envisager <manges> (et /mãʒ/) comme un SubjPr. Le statut des formes / suki/ ([3]) et /pakl/ ([4]) est quant à lui indécidable (voir §4.2). En [3], lors de la transcription, un choix – délibéré ou non – peut être opéré par le transcripteur entre les graphies <sourit> ou <sourie> : la première sera étiquetée IndPr, la seconde SubjPr, bien que l'oral ne permette jamais de trancher (voir note 3). Enfin, la forme /pakl/ en [4] donne lieu à une transcription unique <parle> au statut indécidable, même en tenant compte du cotexte. Le tableau ci-dessous synthétise ces quatre cas de figure, et l'éventuelle résolution des cas d'ambigüité.
<table><caption>Tableau 3. L'ambigüité et la désambigüisation éventuelle des formes verbales prises isolément</caption><thead><tr><th></th><th>FORME ORALE</th><th>AMBIGÜE ?</th><th></th><th>TRANSCRIPTION</th><th>AMBIGÜE ?</th><th></th><th>PRISE EN COMPTE DU COTEXTE ?</th></tr></thead><tbody><tr><td>[1]</td><td>/paɛt/</td><td>oui</td><td>→</td><td>&lt;partes&gt;</td><td>non</td><td>→</td><td>inutile</td></tr><tr><td>[2]</td><td>/mãʒ/</td><td>oui</td><td>→</td><td>&lt;manges&gt;</td><td>oui</td><td>→</td><td>indispensable</td></tr><tr><td>[3]</td><td>/suɛi/</td><td>oui</td><td>→</td><td>&lt;sourit&gt; ou &lt;sourie&gt;</td><td>non</td><td>→</td><td>insuffisante</td></tr><tr><td>[4]</td><td>/paɛl/</td><td>oui</td><td>→</td><td>&lt;parle&gt;</td><td>oui</td><td>→</td><td>insuffisante</td></tr></tbody></table>

10 D'un point de vue informatique, même quand elle permet la désambigüisation, comme en [2], la prise en compte du cotexte est nécessairement plus complexe à implémenter que le traitement de la forme graphique seule.

## 3. Les graphies du Subjonctif Présent des 6 461 verbes du Petit Robert

11 Notre analyse des 6 461 verbes du Petit Robert (2009) révèle que près de 90 % d'entre eux conduisent à des ambigüités dans la mesure où leur conjugaison graphique du SubjPr est identique à celles de IndPr1-3/6º et de l'Imparfait de l'Indicatif (IndImp) 4-5 (voir ⑦, Tableau 4). Seuls les dix verbes de ①, avoir, être, pouvoir, savoir, faire (et ses dérivés, défaire, satisfaire, etc.) et le défectif falloir ont une graphie spécifique, immédiatement détectable comme SubjPr par l'étiqueteur automatique. En ②, six verbes (aller, vouloir, valoir et ses dérivés) ont pour nous/vous les mêmes conjugaisons graphiques qu'à l'IndImp, les autres personnes étant idiosyncrasiques⁷. En ③, 52 verbes de type prendre, tenir, venir, devoir, recevoir, etc. comportent une graphie idiosyncrasique pour SubjPr1-3, <prenne|s>, <vienne|s>, <doive|s>, etc. C'est également le cas pour les 546 verbes de ④, incluant tous les verbes du 2ᵉ groupe de type finir (<finisse|s>)⁸, et ceux du 3ᵉ de type lire, plaire, tendre, craindre, dire, etc. (<lise|s>, <plaise|s>, <tende|s>, etc.). En ⑤ et ⑥, nous avons affaire à des formes homophones de l'IndPr1-3 mais hétérographes, soit 23 verbes de type assoir, voir, abstraire, acquérir, mourir, etc., <assoie|s>, <voie|s>, <abstraie|s>, etc., et 16 verbes de type conclure, courir, rire, etc. <conclue|s>, <coure|s>, <rie|s>, etc. Enfin, en ⑦, les 5 808 verbes du 1ᵉ groupe (89,9 % du total), de type passer, manger, ou lever, appeler, etc. et quelques-uns du 3ᵉ, ouvrir, couvrir, offrir, etc., ont tous des formes de SubjPr indiscernables de celles de l'IndPr1-3/6 et de l'IndImp4-5.

12 En somme, dans le tableau suivant, les formes apparaissant en gras sont très minoritaires mais faciles à étiqueter informatiquement. Toutes les autres se confondent avec celles de l'IndPr⁹ et de l'IndImp, et sont par conséquent susceptibles de générer du bruit dans l'étiquetage et du silence dans la requête du SubjPr.

<table><caption>Tableau 4. La graphie du SubjPr est-elle spécifique par rapport à celle de l'Indicatif ?</caption><thead><tr><th></th><th>1-3</th><th>4-5</th><th>6</th><th>Total</th><th>%</th><th></th><th>Exemple 1-3</th><th>Exemple 4-5</th><th>Exemple 6</th></tr></thead><tbody><tr><td>①</td><td>oui</td><td>oui</td><td>oui</td><td>10</td><td>0,15</td><td>que</td><td>je sache</td><td>vous sachiez</td><td>ils sachent</td></tr><tr><td>②</td><td>oui</td><td>non</td><td>oui</td><td>6</td><td>0,09</td><td></td><td>je veuille</td><td>vous vouliez</td><td>ils veuillent</td></tr><tr><td>③</td><td>oui</td><td>non</td><td>non</td><td>52</td><td>0,8</td><td></td><td>je prenne</td><td>vous preniez</td><td>ils prennent</td></tr></tbody></table>
<table><tr><td>④</td><td>oui</td><td>non</td><td>non</td><td>546</td><td>8,45</td><td></td><td>je finisse</td><td>vous finissiez</td><td>ils finissent</td></tr><tr><td>⑤</td><td>oui</td><td>non</td><td>non</td><td>23</td><td>0,36</td><td></td><td>je voie</td><td>vous voyiez</td><td>ils voient</td></tr><tr><td>⑥</td><td>oui</td><td>non</td><td>non</td><td>16</td><td>0,25</td><td></td><td>je coure</td><td>vous couriez</td><td>ils courent</td></tr><tr><td>⑦</td><td>non</td><td>non</td><td>non</td><td>5 808</td><td>89,9</td><td></td><td>je passe</td><td>vous passiez</td><td>ils passent</td></tr><tr><td></td><td></td><td>Total</td><td></td><td>6 461</td><td>100 %</td><td></td><td></td><td></td><td></td></tr></table>

Dans la réalité de l'usage, les dix verbes les plus fréquents du français ont une morphologie complexe (dans l'ordre : être, avoir, faire, dire, aller, voir, savoir, pouvoir, le défectif falloir et vouloir), et s'ils sont correctement identifiés comme verbes, six d'entre eux relèvent de la configuration ①, idéale pour l'étiqueteur en vertu de formes graphiques propres au SubjPr. Cependant, en dépit de cette facilitation circonstancielle, toute requête du SubjPr risque de générer du silence, en raison du bruit dans l'étiquetage, essentiellement au profit de l'IndPr.

# 4. L'annotation manuelle des SubjPr de notre corpus d'émissions de France Culture

## 4.1. Présentation du corpus de français parlé utilisé

Tous nos enregistrements de français parlé spontané proviennent de la station de radio France Culture. Afin de neutraliser un éventuel effet du niveau de langue sur l'usage du SubjPr, notre corpus se répartit de manière à peu près équilibrée entre 5h12' de parler surveillé (issu d'émissions culturelles) et 4h59' de parler ordinaire¹⁰, provenant d'épisodes des *Pieds sur Terre*. Une fois les émissions transcrites à l'aide du logiciel Elan (Brugman & Russel 2004), leur transcription a été exportée sous format txt dans Word pour en corriger l'orthographe et en éliminer les parties d'écrit oralisé¹¹ ou de lecture de texte. L'annotation manuelle de tous les SubjPr a été réalisée par nos soins dans ce fichier.

Le premier sous-corpus, de 5h12', correspond à du français parlé spontané surveillé pratiqué par des intellectuels (enseignants-chercheurs, essayistes, écrivains, journalistes) lors d'émissions culturelles autour d'un thème en lien étroit avec les recherches des intervenants ('N-Loc' renvoie au nombre de locuteurs).

<table><caption>Tableau 5. Les émissions culturelles de France Culture (français parlé surveillé)</caption><thead><tr><td>Émission</td><td>Date</td><td>N-Loc</td><td>Durée</td></tr></thead><tbody><tr><td>La Suite dans les idées</td><td>04/07/2015</td><td>2</td><td>28'06"</td></tr><tr><td>Tout un monde</td><td>30/01/2016</td><td>2</td><td>26'17"</td></tr><tr><td>Continent sciences</td><td>01/02/2016</td><td>3</td><td>53'44"</td></tr><tr><td>Répliques</td><td>27/02/2016</td><td>3</td><td>49'33"</td></tr><tr><td>Concordances des temps</td><td>13/08/2016</td><td>2</td><td>46'15"</td></tr><tr><td>La Méthode scientifique</td><td>21/09/2016</td><td>7</td><td>53'54"</td></tr></tbody></table>
<table><tr><td>Le Sens des choses</td><td>29/01/2017</td><td>4</td><td>53'57"</td></tr><tr><td></td><td></td><td></td><td>5h12'</td></tr></table>

16 Le second sous-corpus, de 4h59', correspond quant à lui à du français parlé spontané ordinaire, provenant de l'émission de reportage *Les Pieds sur Terre*, où des locuteurs de différentes classes sociales s'expriment librement, la plupart du temps en lien avec leur expérience personnelle.

<table><caption>Tableau 6. Les épisodes des *Pieds sur Terre* de français (français parlé ordinaire)</caption><thead><tr><td>Titre de l'épisode</td><td>Date</td><td>N-Loc</td><td>Durée</td></tr></thead><tbody><tr><td>La perle rare</td><td>23/12/2014</td><td>3</td><td>22'49"</td></tr><tr><td>Hugo sur la corde raide</td><td>08/05/2015</td><td>4</td><td>21'26"</td></tr><tr><td>Retour sur le casse du siècle</td><td>14/10/2015</td><td>3</td><td>20'45"</td></tr><tr><td>Mariages blancs</td><td>27/04/2016</td><td>1</td><td>12'51"</td></tr><tr><td>Le Courage des femmes - Nathalie</td><td>09/05/2016</td><td>3</td><td>8'53"</td></tr><tr><td>Laetitia, médecin reconvertie</td><td>14/06/2016</td><td>2</td><td>20'20"</td></tr><tr><td>Cas d'école</td><td>20/06/2016</td><td>3</td><td>18'38"</td></tr><tr><td>Robinsonnades</td><td>01/09/2016</td><td>3</td><td>20'58"</td></tr><tr><td>Photo de classe 1</td><td>22/12/2016</td><td>6</td><td>20'37"</td></tr><tr><td>Photo de classe 2</td><td>25/01/2017</td><td>5</td><td>21'10"</td></tr><tr><td>Photo de classe 3</td><td>14/02/2017</td><td>5</td><td>20'49"</td></tr><tr><td>Photo de classe 4</td><td>15/03/2017</td><td>4</td><td>20'46"</td></tr><tr><td>Photo de classe 5</td><td>30/06/2017</td><td>8</td><td>21'31"</td></tr><tr><td>Le monde des escargots</td><td>06/09/2017</td><td>2</td><td>8'20"</td></tr><tr><td>Secrets et mensonges</td><td>09/11/2018</td><td>3</td><td>12'28"</td></tr><tr><td>Cohabiter - Elsa</td><td>12/06/2019</td><td>1</td><td>4'31"</td></tr><tr><td>Petites voleuses</td><td>25/03/2019</td><td>4</td><td>22'30"</td></tr><tr><td></td><td></td><td>Durée</td><td>4h59'</td></tr></tbody></table>

## 4.2. Les défis de l'annotation manuelle du SubjPr

17 Il serait naïf de penser qu'il est toujours simple d'annoter manuellement le SubjPr en français. Prenons l'exemple suivant, extrait de notre corpus :

[5] la troisième étape c'est de garantir statistiquement que euh l'algorithme qu'on a proposé **réalise** en effet euh les performances qu'on avait prévues et et **soigne** effectivement un nombre un nombre raisonnable de patients (Méthode scientifique, 21/09/2016 : 55'55)
18 Les deux options sont possibles, il peut aussi bien s'agir d'un Indicatif que d'un Subjonctif. La reformulation suivante, à l'aide du verbe pouvoir, rend compte de cette ambigüité :

[6] la troisième étape c'est de garantir statistiquement que l'algorithme [...] **peut/** **puisse** réaliser les performances [...] et **peut/puisse** soigner effectivement un nombre raisonnable de patients

19 Scientifiquement indécidables, de tels exemples n'ont pas été comptabilisés dans nos analyses. Seuls les cas indiscutables ont été retenus :

[7] il faut que vous nous expliquiez également Antoine Bordes pourquoi euh euh ce deep learning a eu mauvaise presse pendant si longtemps (*Méthode scientifique*, 21/09/2016 : 10'41)

[8] ils veulent plus que je sèche et j'ai séché un cours encore (*Les Pieds sur Terre*, 08/05/2015 : 22'51)

20 Inversement, pour cette même raison, lors de la comparaison, nous n'avons pas pris en compte les cas où les étiqueteurs automatiques annotaient comme SubjPr un cas foncièrement indécidable :

[9] maintenant imaginez que dans que le traitement A malheureusement il était mal calibré je ne sais pas mais en tout cas imaginez qu'il tue vos patients systématiquement dans ce cas vous avez sacrifié deux-cent-cinquante personnes pour le test (*La Méthode scientifique*, 21/09/2016 : 54')

21 Comme en témoigne la reformulation suivante, il est impossible de décider si <tue> est un SubjPr ou un IndPr :

[10] en tout cas imaginez qu'il **peut/puisse** tuer vos patients systématiquement

22 Enfin, pour le décompte des formes à prendre en considération, signalons qu'en cas de répétition involontaire, phénomène propre à la langue parlée spontanée, une seule occurrence a été comptabilisée :

[11] 'Je suis Charlie' ça voulait juste dire euh je suis contre le fait que des caricaturistes euh **soient soient** tués euh en plein Paris (*Répliques* 27/06/2016 : 24'11)

## 4.3. Les résultats des étiqueteurs automatiques

23 Les tableaux suivants récapitulent les données par étiqueteur et type de français parlé : surveillé (Tableau 7) ou ordinaire (Tableau 8). Les résultats justes (c'est-à-dire les SubjPr ciblés et étiquetés comme tels, ou vrais positifs) apparaissent en vert, le bruit en orange et le silence en rouge¹².

<table><caption>Tableau 7. Bruit (Br) et silence (Sil) dans l'étiquetage de TreeTagger (TTg), TreeTagger-TCOF (TTgT) et Dismo (Dis) pour les 133 SubPr ciblés du français parlé surveillé</caption><thead><tr><th>Manuel</th><th>TTg</th><th>Br</th><th>Sil</th><th>TTgT</th><th>Br</th><th>Sil</th><th>Dis</th><th>Br</th><th>Sil</th></tr></thead><tbody><tr><td>133</td><td>100</td><td>38</td><td>33</td><td>79</td><td>27</td><td>54</td><td>63</td><td>1</td><td>70</td></tr><tr><td>%</td><td>75,2%</td><td>27,5%</td><td>24,8%</td><td>59,4%</td><td>25,5%</td><td>40,6%</td><td>47,4%</td><td>1,6%</td><td>52,6%</td></tr></tbody></table>

24 Les 133 occurrences que nous avons étiquetées manuellement servent d'étalon pour l'évaluation des étiqueteurs. Le taux le plus élevé de résultats justes est obtenu par TreeTagger avec 75,2 % (100/133), suivi de TreeTagger-TCOF avec 59,4 % (79/133) et enfin Dismo avec 47,4 % (63/133), même si ce dernier affiche de loin le bruit le plus faible (voir les commentaires du Tableau 9).
<table><caption>Tableau 8. Bruit (Br), silence (Sil) dans l'étiquetage de TreeTagger (TTg), TreeTagger-TCOF (TTgT) et Dismo (Dis) pour les 166 SubPr ciblés du français ordinaire</caption><thead><tr><th>Manuel</th><th>TTg</th><th>Br</th><th>Sil</th><th>TTgT</th><th>Br</th><th>Sil</th><th>Dis</th><th>Br</th><th>Sil</th></tr></thead><tbody><tr><td>166</td><td>82</td><td>21</td><td>84</td><td>81</td><td>35</td><td>85</td><td>69</td><td>0</td><td>97</td></tr><tr><td>%</td><td>49,4%</td><td>20,4%</td><td>50,6%</td><td>48,8%</td><td>30,2%</td><td>51,2%</td><td>41,6%</td><td>0%</td><td>58,4%</td></tr></tbody></table>

Comme dans le cas du français surveillé, avec 49,4 % (82/166), TreeTagger affiche le taux le plus élevé de résultats justes, suivi de près par TreeTagger-TCOF (48,8 % ; 81/166), et enfin Dismo (41,6 % ; 69/166)¹³, dont le bruit est à 0 %.

Le tableau suivant fournit la synthèse de l'étiquetage des 299 occurrences de SubjPr ciblées de notre corpus :

<table><caption>Tableau 9. Synthèse des 299 SubjPr ciblés de nos corpus de français parlé surveillé et ordinaire</caption><thead><tr><th></th><th>Ciblé</th><th>Étiqueté</th><th>Statut</th><th>TTg</th><th>%</th><th>TTgT</th><th>%</th><th>Dis</th><th>%</th></tr></thead><tbody><tr><td>VP</td><td>oui</td><td>oui</td><td>juste</td><td>182</td><td>60,9</td><td>160</td><td>53,5</td><td>132</td><td>44,1</td></tr><tr><td>FP</td><td>non</td><td>oui</td><td>bruit</td><td>59</td><td>24,5</td><td>62</td><td>27,9</td><td>1</td><td>0,8</td></tr><tr><td>FN</td><td>oui</td><td>non</td><td>silence</td><td>117</td><td>39,1</td><td>139</td><td>46,5</td><td>167</td><td>55,9</td></tr></tbody></table>

Les résultats de l'étiquetage automatique du SubjPr sont loin d'atteindre les taux de 95-97 % souvent indiqués dans la littérature spécialisée. Or, si dans la plupart des cas, selon la quantité de données à nettoyer, le bruit est relativement facile à éliminer dans les résultats de la requête, la recherche du silence reste fastidieuse et complexe. Pourtant, d'un point de vue épistémologique, se pose la question de la représentativité des résultats trouvés par les étiqueteurs quand le taux de silence est de 39,1 % dans le meilleur des cas (TreeTagger) et concerne plus de la moitié des occurrences pour Dismo (55,9 %). Que vaudront les analyses du linguiste en aval en l'absence de prise en compte du silence ? Penchons-nous sur ces erreurs pour en déterminer l'origine.

# 5. Le bruit à l'origine du silence

Comme le laissait supposer la confrontation des graphies des formes verbales selon les types ① à ⑦ exposés dans le Tableau 4, le SubjPr est le plus souvent mal étiqueté au profit du Présent et de l'Imparfait de l'Indicatif. À elles seules, sur l'ensemble de notre corpus (surveillé + ordinaire), ces deux étiquettes constituent 88,9 % des erreurs dans TreeTagger (Tableau 10), 65,5 % dans TreeTagger-TCOF (Tableau 11) et 59,9 % dans Dismo (Tableau 12).

## 5.1. TreeTagger

Dans TreeTagger, sur les 299 SubjPr ciblés, 117 (soit 39,1 %) ne sont pas étiquetés comme tels, majoritairement en raison de 82,1 % de confusion avec l'IndPr :

<table><caption>Tableau 10. L'origine des 117 cas de silence dans l'étiquetage du SubjPr dans TreeTagger</caption><thead><tr><th>TTg</th><th>Glose</th><th>N</th><th>%</th></tr></thead><tbody><tr><td>VER:pres</td><td>Indicatif Présent</td><td>96</td><td>82,1 %</td></tr><tr><td>VER:impf</td><td>Indicatif Imparfait</td><td>8</td><td>6,8 %</td></tr></tbody></table>
<table><tr><td>KON</td><td>Conjonction</td><td>7</td><td>6%</td></tr><tr><td>NOM</td><td></td><td>5</td><td>4,3%</td></tr><tr><td>VER:subi</td><td>Subjonctif Imparfait</td><td>1</td><td>0,9%</td></tr><tr><td></td><td>Total</td><td>117</td><td></td></tr></table>

29 Les exemples suivants donnent un aperçu du silence généré par la confusion avec l'IndPr en français surveillé (S) ou ordinaire (O) :

[12] (S) je me battrai pour qu'elles **continuent** à s'exprimer (⑦)

[13] (O) on va continuer à prospecter en attendant qu'on trouve une solution (⑦)

[14] (S) il est fort probable que on ait ces algorithmes euh on on que ces algorithmes **doivent** faire face à des prises de décisions dans l'incertain (③)

[15] (O) [...] pour pas que les animaux ils viennent manger mon jardin (③)

[16] (S) il il va falloir pour ça qu'elles euh **construisent** une mobilisation (④)

[17] (O) je veux pas que mes enfants ils **grandissent** (④)

30 En raison d'une lemmatisation fausse rattachée au verbe *ailler* ('assaisonner d'ail') – pourtant très rare –, les sept graphies <aille> ont été étiquetées VER:pres :

[18] (S) il faudra qu'un jour j'aille au bout de ce trouble (②)

[19] (O) il va falloir que j'aille voir mon bébé (②)¹⁴

31 Pour les personnes 4 et 5, la confusion a lieu avec l'Imparfait dans huit cas (6,8 %) :

[20] (S) je voudrais que nous **évoquions** aussi euh un cas qui euh est fort différent (⑦)

[21] (O) faut que vous me **trouviez** quelque chose (⑦)

32 Étiquetée 'KON' (conjonction), la graphie <soit> du SubjPr génère sept cas de silence (6 %) sans pour autant être systématique (7 erreurs sur 40 occurrences). Remarquons que l'expression « quel(le) que soit » est également affectée par ce problème :

[22] (S) je pense pas que ça **soit** euh effectivement lié aux recherches en intelligence artificielle (①)

[23] (S) quelle que **soit** l'approche on va très vite tomber sur un critère réflexif (①)

[24] (O) on attendait que ma copine **soit** titulaire (①)

33 Enfin, cinq cas de silence (4,3 %) proviennent d'une confusion de la forme de SubjPr avec un nom :

[25] (O) fallait que je m'en **sorte** (④)

[26] (S) quelqu'un qui est éveillé qui a les yeux ouverts sans qu'on le sans qu'on le **stimule** (⑦)

34 Un cas de confusion avec l'Imparfait du Subjonctif apparaît également :

[27] (O) j'avais peur que vous ne **réussissiez** pas (④)

## 5.2. TreeTagger-TCOF

35 Dans TreeTagger-TCOF, le silence affecte 139 occurrences, soit 46,5 % des 299 résultats ciblés. Bien que, ici aussi, l'étiquette VER:pres reste majoritaire, elle est cependant moins dominante puisqu'elle concentre 58,3 % des erreurs contre 82,1 % dans TreeTagger.
<table><caption>Tableau 11. L'origine des 139 cas de silence dans l'étiquetage du SubjPr dans TreeTagger-TCOF</caption><thead><tr><th>TTgT</th><th>Glose</th><th>N</th><th>%</th></tr></thead><tbody><tr><td>VER:pres</td><td>Indicatif Présent</td><td>81</td><td>58,3%</td></tr><tr><td>AUX:subp</td><td>Auxiliaire au Subj. Présent</td><td>19</td><td>13,7%</td></tr><tr><td>KON</td><td>Conjonction</td><td>15</td><td>10,8%</td></tr><tr><td>VER:impf</td><td>Imparfait</td><td>10</td><td>7,2%</td></tr><tr><td>VER:impe</td><td>Impératif</td><td>7</td><td>5%</td></tr><tr><td>NOM</td><td></td><td>6</td><td>4,3%</td></tr><tr><td>ADJ</td><td>Adjectif</td><td>1</td><td>0,7%</td></tr><tr><td></td><td><strong>Total</strong></td><td><strong>139</strong></td><td></td></tr></tbody></table>

36 L'étiquette Aux:Subp génère dix-neuf cas de silence (13,7 %) en libellant erronément certaines formes de SubjPr des verbes être et avoir dans leur sens plein :

[28] (S) pour que les choses soient plus claires

[29] (O) du coup il faut euh attendre que le mec ait le temps de faire les trucs

37 Sept occurrences de SubjPr (5 %) ont été détectées comme Impératif :

[30] (O) il faut que j'aille la voir avant

## 5.3. Dismo

38 En dépit d'un bruit proche de zéro (0,8 %), Dismo (utilisé dans Ofrom) est l'étiqueteur comportant le plus de silence, avec 167 occurrences sur 299 (55,9 %). Si, là encore, c'est la confusion avec l'IndPr qui engendre le plus de silence (55,1 %), Dismo comporte quelques spécificités probablement en partie générées par la prise en compte des disfluences : « *When simple disfluencies are identified at step (4) of processing, they are excluded from the data submitted to final POS tagging* » (Christodoulides et al. 2014 : 3904). Ainsi s'expliquerait la présence des '0' en lieu et place d'une étiquette dans 18,6 % des cas.

<table><caption>Tableau 12. L'origine des 167 cas de silence dans l'étiquetage du SubjPr dans Dismo</caption><thead><tr><th>Dismo</th><th>Glose</th><th>N</th><th>%</th></tr></thead><tbody><tr><td>VER:pres</td><td>Indicatif Présent</td><td>92</td><td>55,1%</td></tr><tr><td>0</td><td>(disfluence ?)</td><td>31</td><td>18,6%</td></tr><tr><td>VER:impe</td><td>Impératif</td><td>11</td><td>6,6%</td></tr><tr><td>VER:impf</td><td>Indicatif Imparfait</td><td>8</td><td>4,8%</td></tr><tr><td>VER:subi</td><td>Subjonctif Imparfait</td><td>7</td><td>4,2%</td></tr><tr><td>CON:sub</td><td>Conjonction de subordination</td><td>6</td><td>3,6%</td></tr><tr><td>ADV</td><td>Adverbe</td><td>4</td><td>2,4%</td></tr><tr><td>VER:subp:aux</td><td>Auxiliaire au Subjonctif Présent</td><td>3</td><td>1,8%</td></tr></tbody></table>
<table><thead><tr><th>ADJ</th><th>Adjectif</th><th>2</th><th>1,2 %</th></tr></thead><tbody><tr><td>NOM</td><td></td><td>1</td><td>0,6 %</td></tr><tr><td>NOM:com</td><td>Nom commun</td><td>1</td><td>0,6 %</td></tr><tr><td>vide</td><td>(disfluence ?)</td><td>1</td><td>0,6 %</td></tr><tr><td></td><td>Total</td><td>167</td><td></td></tr></tbody></table>

39 Onze occurrences de SubjPr (6,6 %) ont été étiquetées Impératif :

[31] (S) on peut montrer que votre cerveau va traiter des informations sans que vous vous **soyez** capable de vous les rapporter d'en prendre conscience

[32] (O) fallait que je **sache** gérer un peu tout

40 Dismo recense erronément sept occurrences d'Imparfait du Subjonctif (4,8 %), temps verbal pourtant presque inusité à l'oral, même surveillé :

[33] (S) je je doute quand même qu'il **s'agisse** vraiment du bien

[34] (O) qu'est-ce que tu veux que je **choisisse**

41 Quatre occurrences de SubjPr (2,4 %) ont été considérées comme adverbes et deux comme adjectifs (1,2 %) :

[35] (S) [...] quel que **soit** le contenu de la conscience à avoir des des postures subjectives (ADV)

[36] (O) il y a plus d'endroit sur la Terre à l'heure actuelle qui **soit** préservé (ADV)

[37] (S) [...] selon les cas pour essayer que la relation **continue** de fonctionner (ADJ)

[38] (O) il m'a demandé euh le couvert donc je lui ai donné à seize heures l'après-midi qu'on lui **serve** à manger (ADJ)

42 Comme le montre ce bilan rapide du silence dans l'étiquetage du SubjPr, la principale source d'erreur provient, sans surprise, de la confusion avec l'IndPr.

## 6. Discussion et conclusion générale

43 Nous avons jusqu'ici délibérément évité de recourir aux concepts de « rappel » et de « précision » souvent convoqués dans la littérature spécialisée, éventuellement agrémentés du calcul de leur moyenne harmonique. Ainsi, dans son chapitre « Mesurer la qualité et la fiabilité d'une annotation », Zufferey (2020 : 169) évoque la prise en compte de « deux critères distincts », « d'une part, le rappel [qui] mesure le nombre d'occurrences de chaque catégorie qui ont été correctement trouvées par le système » et de l'autre « la précision [qui] mesure le nombre d'occurrences d'une catégorie qui ont été correctement labélisées [...], parmi toutes celles que le système a labélisées comme telles ». Ces deux valeurs permettent alors le calcul de « leur moyenne harmonique (appelée score F1) », qui « exprim[e] la qualité globale de l'annotation automatique » notamment « en moyennant les scores F1 par catégorie, en pondérant ou non chaque catégorie par son nombre d'occurrences dans la référence »¹⁵ (2020 : 169).

44 Dans notre corpus, la moyenne harmonique (Score F1) confirme la hiérarchie des résultats calculés auparavant, mais réduit considérablement les écarts entre les trois concurrents :
<table><caption>Tableau 13. Rappel, précision et moyenne harmonique (Score F1) dans l'étiquetage des 299 SubjPr ciblés</caption><thead><tr><th></th><th>TTg</th><th>TTgT</th><th>Dismo</th></tr></thead><tbody><tr><td>Rappel</td><td>60,9 %</td><td>53,5 %</td><td>44,1 %</td></tr><tr><td>Précision</td><td>75,5 %</td><td>72,1 %</td><td>99,2 %</td></tr><tr><td>Score F1</td><td>67,4 %</td><td>61,4 %</td><td>61,1 %</td></tr></tbody></table>

Dismo est l'étiqueteur qui bénéficie le plus du calcul du score F1, en raison d'une « précision » proche de 100%, faisant écho à l'argumentaire développé par le concepteur de Dismo :

> L'amélioration de la performance de l'annotation morphosyntaxique initiale se stabilise progressivement, ce qui nous amène à la conclusion que la taille du corpus d'entrainement est suffisante. [...] Après le traitement des disfluences simples et notamment des répétitions, la précision de l'annotation morphosyntaxique finale atteint 97 % (pour le jeu d'étiquettes complet). (Christodoulides & Barreca 2017: §38)

Pour le linguiste ordinaire, se pose toutefois la question de l'interprétation à donner à l'affirmation selon laquelle « la précision de l'annotation morphosyntaxique finale atteint 97 % », ou, de manière encore plus flatteuse ici, 99,2 % dans le cas du SubjPr. L'augmentation du taux de « précision » s'offre-t-elle comme garantie de « l'amélioration de la performance de l'annotation morphosyntaxique initiale » ? À fortiori si l'on envisage le terme « précision », dans son acceptation courante, c'est-à-dire comme « caractère de ce qui est précis » (Petit Robert). Avec ici une « précision » de 99,2 %, Dismo surclasse largement ses deux concurrents, 74,3 % pour TreeTagger et 72,1 % TreeTagger-TCOF. Toutefois, en dépit de sa facilité de calcul¹⁶, le taux de « précision » – souvent mis en avant par les développeurs comme indice de performance – ne constitue qu'un indicateur médiocre de la qualité de l'annotation, dont dépendront pourtant les analyses linguistiques en aval. Rien ne garantit que les données correctement étiquetées soient représentatives de l'ensemble du corpus, à fortiori s'il s'agit de collecter et d'analyser, comme ici, les occurrences d'un phénomène langagier particulier. En effet, ici, TreeTagger – le plus performant des trois – rate deux occurrences de SubjPr sur cinq (39,1 %), TreeTagger-TCOF près de la moitié (46,5 %) et Dismo encore davantage (55,9 %). Or, l'un des intérêts fondamentaux de la linguistique de corpus réside dans son recours à « une méthodologie quantitative » lui permettant idéalement de « généraliser les conclusions observées sur la base d'un échantillon linguistique à l'ensemble de la langue ou d'un registre de langue particulier » (Zufferey 2020: 4). Dès lors, d'un point de vue scientifique, seul un examen exhaustif des occurrences serait en mesure de garantir la robustesse (éventuelle) d'une telle généralisation. Stefanowitsch en fait d'ailleurs l'un des critères définitoires de la linguistique de corpus :

> Corpus linguistics is the investigation of linguistic research questions based on the complete and systematic analysis of the distribution of linguistic phenomena in a linguistic corpus. (Stefanowitsch 2020: 55)

> In [...] the definition of corpus linguistics adopted in this book, we stressed the need to investigate linguistic phenomena exhaustively, which we took to mean "taking into account all examples of the phenomenon in question". (2020: 111)
47 À moins de présumer – ce qu’aucun linguiste ne ferait – un fonctionnement de la langue parfaitement homogène quelle que soit l’étendue du corpus analysé, se posera donc la question de la représentativité des données correctement étiquetées. La présence importante de silence altère inévitablement la qualité des résultats obtenus et ce en dépit des taux élevés de « précision », pris comme critères d’évaluation de « la performance de l’annotation morphosyntaxique » (Christodoulides & Barreca 2017 : §38). Sur l’ensemble des étiquettes, Dismo revendique ainsi un taux de 97 % de « précision » et TreeTagger-TCOF 95,2 %¹⁷. Même si, globalement, silence et bruit se compensent, l’indication d’un taux de « précision » général tend à noyer les phénomènes rares et difficiles à étiqueter dans la masse, surreprésentée, des phénomènes fréquents dont l’étiquetage est facile. Par exemple, dans le cas de l’étiquetage du SubjPr avec TreeTagger, le silence provient majoritairement de la confusion avec l’IndPr (voir Tableau 10), générant donc du bruit dans l’étiquetage de 96 des 13 213 occurrences d’IndPr du corpus¹⁸. En d’autres termes, les 96 occurrences de silence dans le SubjPr ne correspondent qu’à 0,7 % de bruit dans l’IndPr, équivalent à une « précision » de 99,3 % pour l’étiquetage de l’IndPr. En l’absence du taux de rappel – beaucoup plus difficile à calculer –, de tels pourcentages avantageux (toujours proches de 100 %) ne peuvent que conduire le linguiste ordinaire à imaginer avoir collecté des données d’une grande fiabilité.

48 Un autre problème demeure, lié à la nature même du fonctionnement de l'informatique. Les ratages ne seront jamais véritablement aléatoires mais systématiques (Stefanowitsch 2020: 88-89). Par exemple, dans notre corpus, TreeTagger a systématiquement étiqueté les graphies <aille> (7/7) comme étant des 'VER:pres' du verbe ailler. L'aléatoire est exclu. Les mêmes causes engendrent les mêmes effets. Et en aval, l'analyse du linguiste risque, à son insu, de pâtir de l'ampleur et de la teneur du biais systématique introduit par l'algorithme d'étiquetage. En effet, d'un point de vue épistémologique, quelle que soit la langue, comme on l'a déjà évoqué, il semble difficile de partir du principe que les résultats collectés grâce à l'étiqueteur automatique sont en tous points représentatifs des données manquantes. Or, pour les phénomènes dont le taux de silence est important, la question de la représentativité est loin d'être anecdotique, d'autant plus qu'elle amplifie la problématique initiale de la représentativité du corpus lui-même, à fortiori si l'on considère que « la représentativité des données est une question primordiale pour la linguistique de corpus » (Jacques 2005: 26).

49 Idéalement, pour permettre un usage éclairé des étiqueteurs automatiques, le linguiste devrait toujours disposer des taux de silence ou de « rappel »¹⁹ propres à chaque étiquette²⁰, l'un des intérêts de la linguistique de corpus résidant notamment dans le fait que l'analyse d'un nombre important d'occurrences attestées permet de compléter l'examen ponctuel d'exemples fabriqués ou relevés à la volée. L'affichage du taux de « précision » et de « rappel » de chaque étiquette permettrait alors aux linguistes recourant à ce type d'outil de pondérer les résultats de leurs analyses ou, mieux encore, d'aller rechercher le silence. Par ailleurs, la publication des performances contraindrait les développeurs à les tester de manière rigoureuse si possible en collaboration avec des linguistes experts de chaque étiquette ou série d'étiquettes, ce qui permettrait de mieux évaluer les limites de l'étiquetage et, idéalement, d'en améliorer les performances. Nous nous inscrivons ici dans la lignée des suggestions d'Anthony (2013 : 156) :
[...] researchers in corpus linguistics should [...] work more closely with members of the science and engineering community, such as computer scientists and software engineers, in order to design and build the next generation of corpus tools.

50

Dans le cas du SubjPr examiné ici, il est tout d'abord fondamental de reconnaitre l'ambigüité d'un nombre majoritaire de formes graphiques (voir Tableau 4), rendant par conséquent déterminante la prise en compte des indices fournis par le cotexte antérieur, comme la présence de falloir, vouloir, etc. pour que, avant que, en attendant que, etc. (voir Blanche-Benveniste 2010: 143-145). Au sein de notre corpus, à elle seule la détection du verbe falloir (<faut>, <fallait>, <faudra>, etc.) aurait permis à TreeTagger de repérer 42 SubjPr sur les 117 occurrences ratées, aboutissant à l'élimination de 36 % du silence. Abstraction faite de l'apostrophe, l'empan typique en amont de l'occurrence du SubjPr est de trois items, soit de type « faut<sub>-3</sub> que<sub>-2</sub> je<sub>-1</sub> bouge<sub>0</sub> » (voir annexe).

51

Notre étude ne portant que sur le SubjPr, elle passe sous silence la grande fiabilité de l'étiquetage d'autres phénomènes, fiabilité qui explique les taux élevés de précision globale mis en avant par les développeurs. Toutefois se pose la question des usages concrets de ces étiqueteurs et des analyses linguistiques auxquelles ils sont susceptibles de donner lieu dans les cas les moins favorables²¹. En effet, TreeTagger²² est utilisé dans plusieurs logiciels (TXM, Anatext, Lancsbox, etc.), et, sans prise de conscience du taux parfois élevé de silence dans les résultats, les linguistes risquent à leur insu de fonder leurs analyses sur des données biaisées à l'identique lors de l'étiquetage, les conclusions des uns renforçant alors, peut-être à tort, celles des autres. En définitive, bien que dans la lignée de Rastier (2005 : 41), on puisse idéalement imaginer que « pour la linguistique de corpus, l'informatique n'est qu'un instrument, non un modèle théorique », un biais systématique introduit par l'étiqueteur est toujours susceptible d'influencer les descriptions et les modèles théoriques...

## BIBLIOGRAPHY

Anthony L. (2013). « A critical look at software tools in corpus linguistics », Linguistic Research 30(2): 141-161.

Avanzi M., Béguelin M.-J. & Diémoz F. (2016). « De l'archive de parole au corpus de référence : la base de données orales du français de Suisse romande (OFROM) », Corpus 15: en ligne. doi: 10.4000/corpus.3060.

Benzitoun C., Fort K. & Sagot B. (2012). « TCOF-POS : un corpus libre de français parlé annoté en morphosyntaxe », JEP-TALN 2012 - Journées d'Études sur la Parole et conférence annuelle du Traitement Automatique des Langues Naturelles. Grenoble, 99-112.

Blanche-Benveniste C. (2010). Le français. Usages de la langue parlée. Leuven/Paris : Peeters.

Brugman H. & Russel A. (2004). « Annotating Multi-media/Multi-modal Resources with ELAN », LREC 2004. Fourth International Conference on Language Resources and Evaluation. Lisbonne : European Language Resources Association, 1-4.
Christodoulides G. & Barreca G. (2017). « Expériences sur l'analyse morphosyntaxique des corpus oraux avec l'annotateur multi-niveaux DisMo », *Corela* HS-21 : 1-16. doi: 10.4000/corela.4867.

Christodoulides G., Avanzi M. & Goldman J.-P. (2014). « DisMo : A morphosyntactic, disfluency and multi-word unit annotator. An evaluation on a corpus of French spontaneous and read speech », *9th International Conference on Language Resources and Evaluation (LREC)*. Reykjavik, 3902-3907.

Egbert J., Larsson T. & Biber D. (2020). *Doing Linguistics with a Corpus*. Cambridge : Cambridge University Press. doi: 10.1017/9781108888790.

Gadet F. (1996). *Le français ordinaire*. Paris : Armand Colin.

Güngör T. (2010). « Part-of-Speech Tagging », in *Indurkhya N. & Damerau F. J. (éd.) Handbook of natural language processing*. Boca Raton : Chapman & Hall/CRC, 205-235.

Heiden S., Magué J.-P. & Pincemin B. (2010). « TXM : Une plateforme logicielle open-source pour la textométrie - conception et développement », *10th International Conference on the Statistical Analysis of Textual Data - JADT 2010*. Rome, 1021-1032.

Jacques M.-P. (2005). « Pourquoi une linguistique de corpus ? », in *Williams G. (éd.) La linguistique de corpus*. Rennes : Presses universitaires de Rennes, 21-30.

Kent A., Berry M. M., Luehrs F. U. & Perry J. W. (1955). « Machine literature searching VIII. Operational criteria for designing information retrieval systems », *American Documentation* 6-2 : 93-101. doi : 10.1002/asi.5090060209.

Newman J. & Cox C. (2020). « Corpus Annotation », in *Paquot M. & Gries S. T. (éd.) A Practical Handbook of Corpus Linguistics*. Berlin : Springer, 25-48. doi: 10.1007/978-3-030-46216-1_2.

Rastier F. (2005). « Enjeux épistémologiques de la linguistique de corpus », in *Williams G. (éd.) La linguistique de corpus*. Rennes : Presses universitaires de Rennes, 31-45.

Schmid H. (1999). « Improvements in part-of-speech tagging with an application to German », in *Armstrong S. et al. (éd.) Natural language processing using very large corpora*. Dordrecht : Springer Netherlands, 13-25.

Stefanowitsch A. (2020). *Corpus Linguistics. A Guide to the Methodology*. Berlin : Language Science Press.

Swanson D. R. (1988). « Historical note : Information retrieval and the future of an illusion », *Journal of the American Society for Information Science* 39(2) : 92-98. doi : 10.1002/ (sici)1097-4571(198803)39:2<92::Aid-asi4>3.0.Co;2-p.

Tanguy L. (2012). *Complexification des données et des techniques en linguistique : contributions du TAL aux solutions et aux problèmes*, Université de Toulouse II-Le Mirail, 257.

van Halteren H. (1999). « Performance of taggers », in van Halteren H. (éd.) *Syntactic Wordclass Tagging*. Dordrecht : Springer, 81-94. doi : 10.1007/978-94-015-9273-4.

Zufferey S. (2020). *Introduction à la linguistique de corpus*. London : ISTE.

## APPENDIXES

### Répartition par émission du Tableau 7. Bruit (Br) et silence (Sil) dans l'étiquetage de TreeTagger (TTg), TreeTagger-TCOF (TTgT) et Dismo (Dis) pour les 133 SubPrciblés du français parlé surveillé
<table><thead><tr><th>Émission</th><th>Manuel</th><th>TTg</th><th>Br</th><th>Sil</th><th>TTgT</th><th>Br</th><th>Sil</th><th>Dis</th><th>Br</th><th>Sil</th></tr></thead><tbody><tr><td>La Suite dans les idées</td><td>5</td><td>4</td><td>4</td><td>1</td><td>4</td><td>2</td><td>1</td><td>3</td><td>0</td><td>2</td></tr><tr><td>Tout un monde</td><td>5</td><td>3</td><td>4</td><td>2</td><td>4</td><td>3</td><td>1</td><td>3</td><td>0</td><td>2</td></tr><tr><td>Continent sciences</td><td>52</td><td>45</td><td>6</td><td>7</td><td>32</td><td>4</td><td>20</td><td>25</td><td>1</td><td>27</td></tr><tr><td>Répliques</td><td>18</td><td>14</td><td>5</td><td>4</td><td>13</td><td>1</td><td>5</td><td>11</td><td>0</td><td>7</td></tr><tr><td>Concordances des temps</td><td>16</td><td>10</td><td>10</td><td>6</td><td>5</td><td>6</td><td>11</td><td>8</td><td>0</td><td>8</td></tr><tr><td>La Méthode scientifique</td><td>18</td><td>13</td><td>3</td><td>5</td><td>10</td><td>7</td><td>8</td><td>8</td><td>0</td><td>10</td></tr><tr><td>Le Sens des choses</td><td>19</td><td>11</td><td>6</td><td>8</td><td>11</td><td>4</td><td>8</td><td>5</td><td>0</td><td>14</td></tr><tr><td></td><td>133</td><td>100</td><td>38</td><td>33</td><td>79</td><td>27</td><td>54</td><td>63</td><td>1</td><td>70</td></tr></tbody></table>

Répartition par émission du Tableau 8. Bruit (Br), silence (Sil) dans l'étiquetage de TreeTagger (TTg), TreeTagger-TCOF (TTgT) et Dismo (Dis) pour les 166 SubPr ciblés du français ordinaire

<table><thead><tr><th>Épisode</th><th>Manuel</th><th>TTg</th><th>Br</th><th>Sil</th><th>TTgT</th><th>Br</th><th>Sil</th><th>Dis</th><th>Br</th><th>Sil</th></tr></thead><tbody><tr><td>La perle rare</td><td>18</td><td>5</td><td>0</td><td>13</td><td>5</td><td>3</td><td>13</td><td>5</td><td>0</td><td>13</td></tr><tr><td>Hugo sur la corde raide</td><td>13</td><td>8</td><td>0</td><td>5</td><td>6</td><td>2</td><td>7</td><td>6</td><td>0</td><td>7</td></tr><tr><td>Retour sur le casse du siècle</td><td>8</td><td>8</td><td>4</td><td>0</td><td>7</td><td>4</td><td>1</td><td>7</td><td>0</td><td>1</td></tr><tr><td>Mariages blancs</td><td>4</td><td>2</td><td>0</td><td>2</td><td>2</td><td>0</td><td>2</td><td>1</td><td>0</td><td>3</td></tr><tr><td>Le Courage des femmes - Nathalie</td><td>5</td><td>3</td><td>1</td><td>2</td><td>3</td><td>1</td><td>2</td><td>3</td><td>0</td><td>2</td></tr><tr><td>Laetitia, médecin reconvertie</td><td>12</td><td>4</td><td>0</td><td>8</td><td>3</td><td>2</td><td>9</td><td>2</td><td>0</td><td>10</td></tr><tr><td>Cas d'école</td><td>17</td><td>7</td><td>2</td><td>10</td><td>9</td><td>5</td><td>8</td><td>6</td><td>0</td><td>11</td></tr><tr><td>Robinsonnades</td><td>12</td><td>8</td><td>0</td><td>4</td><td>7</td><td>6</td><td>5</td><td>6</td><td>0</td><td>6</td></tr><tr><td>Photo de classe 1</td><td>8</td><td>3</td><td>2</td><td>5</td><td>3</td><td>2</td><td>5</td><td>3</td><td>0</td><td>5</td></tr><tr><td>Photo de classe 2</td><td>6</td><td>3</td><td>4</td><td>3</td><td>3</td><td>0</td><td>3</td><td>3</td><td>0</td><td>3</td></tr><tr><td>Photo de classe 3</td><td>14</td><td>7</td><td>0</td><td>7</td><td>7</td><td>2</td><td>7</td><td>7</td><td>0</td><td>7</td></tr><tr><td>Photo de classe 4</td><td>12</td><td>7</td><td>2</td><td>5</td><td>7</td><td>1</td><td>5</td><td>7</td><td>0</td><td>5</td></tr><tr><td>Photo de classe 5</td><td>11</td><td>6</td><td>1</td><td>5</td><td>6</td><td>5</td><td>5</td><td>3</td><td>0</td><td>8</td></tr><tr><td>Le monde des escargots</td><td>4</td><td>2</td><td>2</td><td>2</td><td>2</td><td>1</td><td>2</td><td>2</td><td>0</td><td>2</td></tr><tr><td>Secrets et mensonges</td><td>7</td><td>2</td><td>0</td><td>5</td><td>3</td><td>1</td><td>4</td><td>1</td><td>0</td><td>6</td></tr><tr><td>Cohabiter - Elsa</td><td>6</td><td>4</td><td>0</td><td>2</td><td>4</td><td>0</td><td>2</td><td>4</td><td>0</td><td>2</td></tr><tr><td>Petites voleuses</td><td>9</td><td>3</td><td>3</td><td>6</td><td>4</td><td>0</td><td>5</td><td>3</td><td>0</td><td>6</td></tr></tbody><tfoot><tr><td></td><td>166</td><td>82</td><td>21</td><td>84</td><td>81</td><td>35</td><td>85</td><td>69</td><td>0</td><td>97</td></tr></tfoot></table>

Quelques exemples d'empan dans l'usage de falloir au sein de notre corpus

Sur les 42 occurrences de SubjPr avec falloir, l'empan moyen est de 3,7.

<table><tr><td></td><td>-3</td><td>-2</td><td>-1</td><td>SubjPr</td><td></td></tr><tr><td></td><td>faut</td><td>que</td><td>je</td><td>bouge</td><td></td></tr><tr><td>il</td><td>faut</td><td>que</td><td>ça</td><td>avance</td><td></td></tr><tr><td>il</td><td>faut</td><td>que</td><td>nous</td><td>terminions</td><td>cette conversation</td></tr><tr><td>il</td><td>fallait</td><td>que</td><td>je</td><td>sauve</td><td>le monde</td></tr><tr><td>il</td><td>va</td><td>falloir</td><td>que</td><td>j'</td><td>aille</td><td>voir mon bébé</td></tr><tr><td></td><td>faudrait</td><td>qu'</td><td>on</td><td>vérifie</td><td></td></tr></table>

L'empan le plus long est de 8 :

<table><tr><td>-8</td><td>-7</td><td>-6</td><td>-5</td><td>-4</td><td>-3</td><td>-2</td><td>-1</td><td>SubjPr</td><td></td></tr></table>
<table><tr><td>il</td><td>faut</td><td>que</td><td>ce</td><td>soit</td><td>toujours</td><td>l'</td><td>homme</td><td>qui</td><td>donne</td><td>les consignes au robot</td></tr></table>

## NOTES

1. L'adjectif « ordinaire » renvoie ici au statut des connaissances informatiques de la plupart des linguistes, pour qui les étiqueteurs automatiques fonctionnent de manière opaque. En effet : « the tools used in corpus linguistics are software based, and thus, abstract in nature. To develop a tool for corpus linguistics requires an understanding of not only human languages but also programming languages, computer algorithms, data storage methods, character encodings, and user-interface visual designs. Without a deep knowledge of these different aspects of software design and their impact on data analyses, it is easy to forget the crucial role that tools play » (Anthony 2013 : 144).

2. https://www.ortolang.fr/market/corpora/perceo# (accédé le 02/04/2024).

3. L'orthographe est en soi porteuse d'une conception préthéorique sur la langue, susceptible d'avoir des répercussions en . Par exemple, dans l'énoncé « par contre en maths je pense pas que j'[e] le niveau » (TCOF, Apprendreaulycee, 2000 : 12'25"), l'orthographe impose de choisir entre <ai> ou <aie> pour transcrire [e]. Or, ce choix affectera nécessairement l'étiquetage en aval : Présent de l'Indicatif pour <ai>, du Subjontif pour <aie>. Pourtant, le statut de [e] est objectivement indécidable ; c'est uniquement l'orthographe qui contraint le transcripteur à opter pour l'une ou l'autre des solutions.

4. Voir également §6 pour des estimations très proches portant explicitement sur l'étiquetage de corpus oraux.

5. Les graphies des verbes apparaîtront entre chevrons.

6. Les personnes sont numérotées selon l'ordre traditionnel de leur présentation, je=1, tu=2, etc.

7. Sont ici considérées comme idiosyncrasiques les graphies au sein de la conjugaison d'un même verbe, soit, ici, celles d'aller – <aille>, <ailles>, <aillent>.

8. Pour les personnes 1/2 et 4-6 des verbes du 2ᵉ groupe, il existe en théorie une ambigüité avec l'Imparfait du Subjontif.

9. Nous faisons abstraction ici de l'Impératif, dont l'usage reste relativement rare en français parlé dans les interactions entre adultes, à fortiori dans des entretiens radiophoniques ou des reportages.

10. C'est-à-dire la « langue de tous les jours » (Gadet 1996 : V).

11. Oral produit à partir de notes préparatoires, pratique professionnelle habituelle des animateurs de radio, qui ne correspond pas à du français parlé spontané, qu'il soit surveillé ou ordinaire, puisqu'il répond aux normes de l'écrit.

12. Le pourcentage de la partie en vert correspond à ce qui est généralement appelé « rappel » (« recall » en anglais ; voir §6). Le calcul des pourcentages est le suivant :

Taux de résultats justes, ou « rappel » = VP/(VP+FN) ; bruit=FP/(VP+FP) ; silence=FN/(VP+FN).

13. La différence considérable des pourcentages de silence entre français parlé surveillé et ordinaire provient essentiellement de la plus grande proportion de verbes de type ⑦ (1ᵉ groupe et deux verbes du 3ᵉ, découvrir, ouvrir, voir Tableau 4) dans ce second sous-corpus. Dans le cas de TreeTagger, en raison de leurs graphies ambigües avec l'Indicatif, les verbes de type ⑦ sont responsables de 60 % (20/33) du silence dans la variété surveillée et de 85 % (71/84) dans la variété ordinaire.

14. Nous tenons à signaler qu'aucun bébé n'a été maltraité durant la rédaction de cet article.

15. Stefanowitsch (2020 : 112, note 1) interroge néanmoins l'utilité du score F1 : « There are also various scores that combine individual measures to give us an overall idea of the accuracy of a test, for example, the F1 score, defined as the harmonic mean of precision and recall. Such scores are useful in
information retrieval or machine learning, but less so in corpus-linguistic research projects, where
precision and recall must typically be assessed independently of, and weighed against, each other. »

16. Rappelons que les occurrences de bruit sont relativement faciles à identifier et à comptabiliser, alors que le repérage du silence s'avère toujours malaisé.

17. Pour TreeTagger-TCOF, nous mentionnons le taux présenté sur le site de téléchargement de Perceo : « La version de Tree Tagger ré-entrainée permet d'obtenir un taux de précision respectivement de 95,2 % (POS + lemme) et de 96,4 % (POS uniquement) ».

18. Nous n'avons pas cherché à vérifier le bruit éventuel (et encore moins le silence) au sein de ces 13 213 occurrences étiquetées 'VER:pres' par TreeTagger sur l'intégralité de notre corpus.

19. Traduction de l'anglais « *recall* », de par son opacité, ce terme tend à masquer l'importance de sa prise en compte, et ajoute au caractère quelque peu magique et mystérieux de la linguistique informatique. Tout comme le terme « précision », « rappel » provient du champ de la recherche documentaire comme en témoigne l'article inaugural de Kent et al. (1955) où sont proposés les termes de « recall » et « pertinency factor », lequel deviendra « relevance ratio » puis « precision ratio » vers 1965 (Swanson 1988: 93). La problématique de la recherche documentaire diffère en de nombreux points de celle de l'étiquetage automatique. L'usager d'une bibliothèque en quête de documents sur le comportement des fourmis rouges n'a pas besoin de les trouver tous. Le silence n'est ici qu'une problématique annexe, même si dans l'absolu il peut paraitre souhaitable de l'éliminer. Par ailleurs, un document peut comporter dans de plus ou moins grandes proportions les informations recherchées. D'ailleurs Kent et al. (1955: 97) considèrent le cas de figure d'un silence important et d'un rappel suffisant comme possiblement satisfaisant pour l'usager : « *Such a situation may, however, be satisfactory if a small fraction of the pertinent documents contains sufficient information to satisfy the user of the system* ». Comme le montre notre bref aperçu, évaluer les performances des étiqueteurs automatiques des parties de discours en recourant à des concepts issus de la recherche documentaire ne va pas de soi, les enjeux étant en partie différents.

20. « for most taggers the precision and recall fluctuate rather a lot from tag to tag » (van Halteren 1999: 84).

21. Egbert et al. (2020: 33) invitent les linguistes à poser un regard critique sur les logiciels qu'ils utilisent : « In general, the field tends to rely heavily on pre-existing software tools. These tools thus have a strong influence on current research practices in quantitative corpus linguistics, which means that it is of the utmost importance that we critically examine the results they provide. [...] we should make sure to test (and report) the precision and recall and not just accept results at face value ». Si, ne serait-ce que pour des raisons épistémologiques, un tel regard critique parait toujours souhaitable, sans avertissement explicite de la part des développeurs, il n'est pas sûr que le linguiste ordinaire ait pleinement conscience des limites des logiciels qu'il utilise. Ainsi les développeurs devraient-ils systématiquement expliciter les taux de bruit et de silence, par étiquette.

22. « TreeTagger is one of the most established and accessible tools relevant to annotation, including lemma and POS tagging, available for Windows, Mac, and Unix systems » (Newman & Cox 2020: 45).

ABSTRACTS

Corpus linguistics has benefited greatly from advances in data processing. However, for the
ordinary linguist, the use of morphosyntactic taggers still carries a certain element of mystery
and magic. Equipped with this tool, the linguist can work on massive data, but is mostly unaware
of how the labels were assigned, and more fundamentally, what errors may have arisen during
labeling. And yet, the quality of the labeling process will determine the quality of the results used
for analysis. While noise is fairly easy to detect in tagged data, the resulting silence elsewhere is
much more insidious, difficult to track down, and therefore potentially more damaging to
linguistic analyses. In our study, we compared our manual tagging of Subjunctive Present
occurrences in a ten-hour corpus of spoken French with the tagging provided by TreeTagger,
TreeTagger-TCOF and Dismo. We'll show that noise in the tagging of the Present tense is the
main cause of the high rate of silence in the tagging of the Subjunctive, the confusions being due
-as revealed by our exhaustive analysis of the Subjunctive Present forms of the 6500 verbs in the
*Petit Robert* dictionary- to common orthographic forms with the Present tense. Yet the
"precision" of taggers is often presented as reaching scores of around 95% (including for spoken
French). While "precision" rates here range from 70% to 99%, "recall" rates are much lower: from
44% to 61%. In short, despite its name, the so-called "precision" rate, calculated on all tags, is a
poor indicator of the quality of tagging when it comes to a specific label such as SubjPr.

La linguistique de corpus tire largement profit des avancées de l'informatique dans le traitement
des données. Toutefois, pour le linguiste ordinaire le recours aux étiqueteurs morphosyntaxiques
comporte toujours une part de mystère et de magie. Si, muni de cet outil, il peut travailler sur des
données massives, il ignore cependant comment ont été attribuées les étiquettes, et plus
fondamentalement quelles erreurs peuvent avoir surgi durant l'étiquetage. Pourtant, de la
qualité de cet étiquetage va dépendre en aval celle des résultats exploités pour les analyses. S'il
est relativement aisé de repérer le bruit dans les résultats des requêtes, le silence qui en découle
ailleurs est quant à lui beaucoup plus insidieux, difficile à pister, et pour cette raison
potentiellement plus dommageable pour les analyses linguistiques. Dans notre étude, sur la base
d'un corpus de dix heures de français parlé (surveillé et ordinaire), nous avons comparé
l'étiquetage manuel des occurrences du Subjonctif Présent avec l'étiquetage fourni par
TreeTagger, TreeTagger-TCOF et Dismo. Nous montrerons que le bruit dans l'étiquetage de
l'Indicatif Présent est l'origine principale de l'important taux de silence dans l'étiquetage du
Subjonctif Présent, les confusions étant dues – comme le révèle notre examen exhaustif de la
conjugaison du Subjonctif Présent parmi les 6 500 verbes du *Petit Robert* – à des formes
orthographiques communes avec l'Indicatif Présent. Pourtant la « précision » des étiqueteurs est
souvent présentée comme atteignant des scores autour de 95 % (y compris pour le français parlé).
Si les taux de « précision » oscillent ici entre 70 % et 99 %, les taux de « rappel », eux, sont
beaucoup plus faibles : de 44 % à 61 %. En définitive, malgré sa dénomination avantageuse, le taux
dit de « précision », calculé sur l'ensemble des étiquettes, constitue un indicateur médiocre de la
qualité de l'étiquetage quand il s'agit d'une étiquette particulière comme celle du SubjPr.

INDEX

**Keywords:** spoken French, POS tagging, present tense, subjunctive present tense, TreeTagger, Dismo, precision, recall, noise, silence

**Mots-clés:** subjonctif présent, indicatif présent, étiquetage automatique, partie du discours, TreeTagger, Dismo, précision, rappel, bruit, silence, corpus de français parlé
AUTHOR

CHRISTIAN SURCOUF

Université de Lausanne (Suisse)