# Gérer le "bruit" dans les corpus en textométrie

Bénédicte Pincemin

► To cite this version:

Bénédicte Pincemin. Gérer le "bruit" dans les corpus en textométrie : Retour d'expérience et propositions. Journée d'étude "Bruit de fond ou valeur ajoutée? Gérer le bruit lors des traitements informatiques des corpus linguistiques", Université Grenoble Alpes; Università di Roma La Sapienza, Apr 2023, Grenoble, France. halshs-04127640

HAL Id: halshs-04127640

https://shs.hal.science/halshs-04127640

Submitted on 14 Jun 2023

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Gérer le « bruit » dans les corpus en textométrie
## Retour d'expérience et propositions

Bénédicte PINCEMIN

Université de Lyon, CNRS, IHRIM UMR 5317

<figure><img src="image_2.png" /></figure>

UNIVERSITÉ
DE LYON

<figure><img src="image_3.png" /></figure>

<figure><img src="image_4.png" /></figure>

<figure><img src="image_5.png" /></figure>

<figure><img src="image_6.png" /></figure>
# Plan

* Introduction

* Contexte 1 : Linguistique diachronique

- travailler avec un étiquetage morphosyntaxique automatique non exempt d'erreurs

- l'analyse factorielle des correspondances, un outil justement fait pour décanter les données ?

<figure><img src="image_7.png" /></figure>

<figure><img src="image_8.png" /></figure>

* Contexte 2 : Analyse historique d'archives audiovisuelles

- travailler avec une transcription automatique non exempte d'erreurs

- lancer des analyses focalisées sur les mentions de plan sans les interférences avec les autres mots, par annotation et projection

<figure><img src="image_9.png" /></figure>

<figure><img src="image_10.png" /></figure>

* Éliminer le bruit en corrigeant ? L'annotation en question

* Apprivoiser le bruit
# S'entendre sur le bruit

* Cadre de l'exposé - mon expérience est celle du bruit :

– dans une acception conceptuelle (bruit vs silence → relation aux erreurs)

– plutôt qu'au sens courant (« bruit du ventilateur » → notamment dans les recueils de données audio)

* Trois caractéristiques donnant à réfléchir

– Relativité à l'objet visé : /surplus/, /non-sens/, /entour/

– Pas ce qu'on cherche : encombre et occulte, ou nouveau et inattendu (et du coup valeur ajoutée) ?

– L'identifier et le délimiter : pas d'évidence, continuum ? Fait quand même partie des données ?
# BFM & Oral représenté

* Contexte de la recherche :

- en équipe : Céline Guillot-Barbance, Alexei Lavrentiev, Serge Heiden, Bénédicte Pincemin

- en lien avec la *Base de français médiéval*

* corpus de textes structurés (TEI) : 170 textes, 5 millions de mots

* initié en 1989, en science ouverte

* http://bfm-corpus.org

- sur la période 2011-2020

* avec une évolution du corpus (quantitative et qualitative)

* et l'apport successif de différents calculs (spécificités, AFC) réalisés avec le logiciel open-source TXM.
# BFM & Oral représenté

* Pour les derniers résultats sur le volet plus linguistique :

- Céline GUILLOT-BARBANCE, Bénédicte PINCEMIN, Alexei LAVRENTIEV (2017) - « Représentation de l'oral en français médiéval et genres textuels », *Langages*, 208 (4/2017), p. 53-68.
    https://halshs.archives-ouvertes.fr/halshs-01495132

* Pour les derniers résultats sur le volet plus méthodologique et statistique :

- Bénédicte PINCEMIN, Céline GUILLOT-BARBANCE, Alexei LAVRENTIEV (2020) - « Using the First Axis of a Correspondence Analysis as an Analytic Tool. Application to Establish and Define an Orality Gradient for Genres of Medieval French Texts », in D. F. Iezzi, D. Mayaffre, M. Misuraca (eds), *Text Analytics. Advances and Challenges*, Heidelberg : Springer, p. 127-143. https://doi.org/10.1007/978-3-030-52680-1_11, https://halshs.archives-ouvertes.fr/halshs-03070182
Une recherche avec la Base de français médiéval :
L'oral représenté au Moyen Âge

* Si l'on s'intéresse à la variation linguistique, le caractère oral ou écrit ne serait-il pas l'une des principales dimensions de variation dans la langue ?

* Pour le Moyen Âge, pas de paroles enregistrées ! Mais :

* Des observables pour une approche contrastive :

- De l'écrit qui se donne comme de l'oral : le *discours direct* (DD)

- Des *genres textuels oralisés* (ex. chanson de geste) ou non

* Pas de simple dichotomie oral / écrit

- Continuum

- Distinguer le canal et le mode de conception (Koch & Österreicher 1990 et 2001), « scripturalité à destin vocal » (Koch 1993)
# Balisage TEI du DD dans la BFM

Annotation semi-automatique, en se basant sur la typographie des éditeurs (guillemets – incises comprises).

Balise `<q>` de citation (cf. guillemets) :

Car il ont tozjorz esté sainz et haitiez. `<q>« Certes, fet mes sires Gauvains, ce me plest mout. »</q>` Granz est la joie que cil de la cort font a Boort et a Lion [...].

(qgraal_cm, p.160d-bis)

Balise `<sp>` de tour de parole (théâtre et « dialogues » pédagogiques) :

Connart, à l'extérieur du palais `<sp>CONNARS Oiiés ! Oiiés ! Oiés, signeur ! Oiés vo preu et vo honneur ! [...]</sp>`

Au palais : le Roi, Auberon `<sp>LI ROIS A AUBERON Diva ! Iés tu chaiens, Auberons, mes courlieus ?</sp>`

(bodelnic, p.74, v.225 sq.)

Le « non discours direct » (non-DD) est le « reste », il n'est pas balisé.
=> Dans l'analyse, on le note « **z** » (donc trois modalités possibles : **q / sp / z**).
# BFM & DD : unités d'analyse

* En 2020, travail sur le corpus BFM016DD19 : 4,2 millions de mots, 137 textes.

* Définition de **59 « unités de discours » (DU)** croisant DD et genres textuels :

- $(q / sp / z) \times 32$ genres = 59 unités de discours (DU)

- Notation : $q\_rbrefLn, sp\_dramatiqueR2, z\_lettreH1$

soit : ${DD : q, sp ou z}_{\{genre (28) : lettre, roman, chronique...\}_{\{domaine (7) : littéraire, religieux, juridique...\}_{\{nb textes : 1, 2 ou n c'est-à-dire >2\}}}$

* Description par leur profil morphosyntaxique : **33 étiquettes POS**

- Information linguistique a priori pertinente

* Formes graphiques : très dépendante des variations phonétiques et graphiques selon les régions et les époques

* Lemmes : non disponibles

- Granularité intermédiaire : jeu d'étiquettes CATTEX, 64 valeurs différentes dans notre corpus

- Sur l'ensemble du corpus, étiquetage automatique avec un modèle TreeTagger spécialisé pour le français de cette époque réalisé par l'équipe BFM

* étiquetage manuel vérifié pour un peu plus d'un million de mots (30 %) dans 38 textes.
<figure><img src="image_11.png" /></figure>

BFM & DD : données pour l'AFC

<figure><img src="image_12.png" /></figure>

<table><thead><tr><th>propos</th><th>Frequi</th><th>q_bestiaireD2 t=1698</th><th>z_bestiaireD2 t=34705</th><th>q_chroniqueHn t=63436</th><th>z_chroniqueHn t=346440</th><th>q_commentaireD1 t=130</th><th>z_c</th></tr></thead><tbody><tr><td>NOMcom</td><td>655584</td><td>261</td><td>6289</td><td>10394</td><td>61254</td><td>22</td><td></td></tr><tr><td>VERcjg</td><td>526369</td><td>272</td><td>5694</td><td>9065</td><td>46542</td><td>15</td><td></td></tr><tr><td>PRE</td><td>385087</td><td>146</td><td>3318</td><td>6336</td><td>37924</td><td>19</td><td></td></tr><tr><td>PROper</td><td>294126</td><td>211</td><td>2759</td><td>6928</td><td>23048</td><td>17</td><td></td></tr><tr><td>ADVgen</td><td>235283</td><td>108</td><td>2208</td><td>4120</td><td>22906</td><td>2</td><td></td></tr><tr><td>CONcoo</td><td>226973</td><td>111</td><td>2023</td><td>4289</td><td>25018</td><td>4</td><td></td></tr><tr><td>DETdef</td><td>195153</td><td>57</td><td>1552</td><td>2686</td><td>23840</td><td>5</td><td></td></tr><tr><td>CONsub</td><td>127472</td><td>72</td><td>1492</td><td>2496</td><td>12137</td><td>5</td><td></td></tr><tr><td>VERppe</td><td>125911</td><td>33</td><td>903</td><td>1865</td><td>11267</td><td>4</td><td></td></tr><tr><td>ADJqua</td><td>123262</td><td>62</td><td>1172</td><td>1965</td><td>9670</td><td>1</td><td></td></tr><tr><td>VERinf</td><td>104566</td><td>68</td><td>1176</td><td>2068</td><td>8544</td><td>5</td><td></td></tr><tr><td>PROrel</td><td>87659</td><td>53</td><td>912</td><td>1238</td><td>7266</td><td>1</td><td></td></tr><tr><td>DETADJpos</td><td>82152</td><td>57</td><td>877</td><td>1888</td><td>7240</td><td>4</td><td></td></tr><tr><td>ADVneg</td><td>75719</td><td>51</td><td>819</td><td>1493</td><td>4488</td><td>4</td><td></td></tr><tr><td>PRE.DETdef</td><td>62212</td><td>12</td><td>414</td><td>679</td><td>6705</td><td>0</td><td></td></tr><tr><td>PROdem</td><td>46559</td><td>17</td><td>559</td><td>707</td><td>3301</td><td>2</td><td></td></tr><tr><td>PROadv</td><td>43411</td><td>17</td><td>313</td><td>697</td><td>3735</td><td>2</td><td></td></tr><tr><td>DETind</td><td>39757</td><td>12</td><td>465</td><td>740</td><td>3738</td><td>2</td><td></td></tr><tr><td>PROind</td><td>37841</td><td>15</td><td>422</td><td>587</td><td>3054</td><td>1</td><td></td></tr><tr><td>DETndf</td><td>24413</td><td>6</td><td>156</td><td>196</td><td>2008</td><td>1</td><td></td></tr><tr><td>DETdem</td><td>23628</td><td>7</td><td>173</td><td>388</td><td>1870</td><td>0</td><td></td></tr><tr><td>VERppa</td><td>13012</td><td>3</td><td>132</td><td>158</td><td>1020</td><td>2</td><td></td></tr><tr><td>DETcar</td><td>12933</td><td>0</td><td>83</td><td>167</td><td>1355</td><td>2</td><td></td></tr><tr><td>ADlind</td><td>6290</td><td>1</td><td>53</td><td>96</td><td>649</td><td>0</td><td></td></tr></tbody></table>

* Les DU sont décrites par leurs « ingrédients » (telle POS, dans telle proportion)

* Et réciproquement, les POS sont représentées par les types de discours qui les mobilisent plus ou moins fortement.
BFM & DD : AFC 59 DU x 33 POS – Les DU

T

X

M

Axis 2 (12.75%)

<figure><img src="image_13.png" /></figure>

<figure><img src="image_14.png" /></figure>
<figure><img src="image_15.png" /><figcaption>BFM & DD : 4 zones</figcaption></figure>

<figure><img src="image_16.png" /></figure>
<figure><img src="image_17.png" /></figure>

# BFM & DD : gradient d'oralité

<figure><img src="image_18.png" /></figure>

<figure><img src="image_19.png" /></figure>

[Orality - - ]

[Orality + ]

<figure><img src="image_20.png" /></figure>

[Orality - ]

[Orality + +]
# BFM & DD : oralité, genres et discours direct

## [+ oralité]

- Des genres oralisés : Théâtre, fabliau

- D'autres genres narratifs brefs (nouvelle, récit bref)

- Oral représenté

- Genres du domaine littéraire

## [- oralité]

- Aucun genre oralisé ; pas d'oral représenté

- Genres des domaines juridiques et actes de la pratique (chartes, registres, comptes...)

- Apparaît plus hétérogène, plus dispersé.
# BFM & DD : AFC 59 DU x 33 POS – Les POS

Les 2 x 8 POS avec les
**plus fortes contributions**
sur l'axe 1 sont surlignées

<figure><img src="image_21.png" /></figure>
# BFM & DD : caractérisation par les POS contribuant le plus à l'axe 1

## [- oralité]

Préposition

Nom commun

Préposition + Déterminant défini

Participe passé

Déterminant défini

Déterminant cardinal

Participe présent

Conjonction de coordination

## [+ oralité]

Pronom personnel

Adverbe général

Adverbe de négation

Verbe conjugué

Pronom adverbial (en, y)

Déterminant ou adjectif possessif

Conjonction de subordination

Verbe à l'infinitif
BFM & DD : retour en détail sur la méthode
# Comment a-t-on géré le « bruit » ?

* Étiquetage morphosyntaxique automatique
  (étiquettes POS)

- Ajuster la représentation des données en fonction du type d'analyse menée, avec deux critères : fiabilité et pertinence

* L'apport des outils statistiques

- AFC et ordre des dimensions : fait pour décanter le bruit ?

- La « loi des grands nombres » ?

- Évaluer et gérer le manque de données avec les ellipses de confiance

- Adopter les bons repères de lecture : les aides à l'interprétation de l'AFC
# Ajustement POS (1) : connaissance des données

* Une évaluation systématique des étiquettes est menée en comparant l'étiquette automatique (fropos) et l'étiquette manuelle (pos) sur les textes vérifiés qui n'ont pas fait partie du corpus d'apprentissage.

<figure><img src="image_22.png" /></figure>

Premières lignes du tableur d'évaluation (document de travail, Lavrentiev, 2012) En rouge, les taux de réussite inférieurs à 75 %
# Ajustement POS (2) : diagnostic

* On en déduit 3 groupes d'étiquettes :

## 1) Taux suffisant

* ADJord

* PRE

* ADVgen

* PRE.DETdef

* ADVneg

* PROdem

* CONcoo

* PROper

* CONsub

* PROper.PROper

* DETdef

* PROpos

* DETdem

* PROrel

* DETind

* VERcjg

* DETndf

* VERinf

* DETpos

* VERppa

* NOMcom

## 2) Taux insuffisant ou fréquence trop faible + les ponctuations (à ne pas utiliser dans les calculs)

* ADJcar

* INJ

* ADJpos

* OUT

* ADVgen.PRO...

* PON...

* ADVint

* PRE.DETcom

* ADVsub

* PRE.PRO...

* CONsub.PRO...

* PROcar

* DETcom

* PROimp

* DETint

* PROint

* DETord

* PROord

* DETrel

* PROrel.PRO...

* ETR

* RED

## 3) Taux problématique (à discuter)

* ADJind (comput 57%, fréquence faible)

* ADJqua (DialGreg2 63% et comput 71%, fréquence haute)

* DETcar (DialGreg2 53% et comput 71%)

* NOMpro (adgar 59% et comput 64%)

* PROadv (DialGreg 64%)

* PROind (comput 58% et adgar 73%)

* VERppe (comput 73% et DialGreg2 73%)
<figure><img src="image_23.png" /></figure>

<figure><img src="image_24.png" /></figure>

# Ajustement POS (3) : seuillage

* On remarque que les plus basses fréquences concentrent les étiquettes non fiables

- Cela paraît d'ailleurs assez cohérent du fait du fonctionnement de l'étiqueteur, basé sur un apprentissage

* Les basses fréquences ont également un rôle très faible dans l'AFC (basée sur le « poids », l'inertie)
=> filtrage des fréquences < 1700

<figure><img src="image_25.png" /></figure>
<figure><img src="image_26.png" /></figure>

<figure><img src="image_27.png" /></figure>

Ajustement POS (4) : influence sur l'analyse

<table><thead><tr><th>Lignes</th><th>Q12</th><th>Q13</th><th>Q23</th><th>Masse</th><th>Dist</th><th>Cont1</th><th>Cos<sup>2</sup></th><th>Cont2</th><th>Cos<sup>2</sup></th></tr></thead><tbody><tr><td>DETcom</td><td>0,83</td><td>0,92</td><td>0,17</td><td>0,25</td><td>3,77</td><td>17,09</td><td>0,79</td><td>1,98</td><td>0,04</td></tr><tr><td>NOMpro</td><td>0,58</td><td>0,79</td><td>0,22</td><td>3,03</td><td>0,36</td><td>14,67</td><td>0,58</td><td>0,14</td><td>0,00</td></tr><tr><td>PRE.DETcom</td><td>0,77</td><td>0,87</td><td>0,19</td><td>0,15</td><td>4,87</td><td>12,64</td><td>0,73</td><td>1,63</td><td>0,04</td></tr><tr><td>PROper</td><td>0,57</td><td>0,71</td><td>0,15</td><td>7,90</td><td>0,09</td><td>9,11</td><td>0,57</td><td>0,19</td><td>0,01</td></tr><tr><td>PRE</td><td>0,79</td><td>0,83</td><td>0,04</td><td>10,44</td><td>0,04</td><td>7,13</td><td>0,79</td><td>0,00</td><td>0,00</td></tr><tr><td>ADVgen</td><td>0,74</td><td>0,69</td><td>0,10</td><td>6,42</td><td>0,05</td><td>5,78</td><td>0,66</td><td>1,42</td><td>0,07</td></tr><tr><td>VERcjg</td><td>0,54</td><td>0,64</td><td>0,14</td><td>13,93</td><td>0,03</td><td>4,95</td><td>0,52</td><td>0,38</td><td>0,02</td></tr><tr><td>ADVneg</td><td>0,71</td><td>0,78</td><td>0,14</td><td>2,06</td><td>0,13</td><td>4,58</td><td>0,68</td><td>0,47</td><td>0,03</td></tr></tbody></table>

* On calcule une première AFC sur le tableau seuillé et on examine les POS qui contribuent de façon majeure à l'axe 1.

* DETcom et PRE.DETcom (ledit) introduisent un effet diachronique singulier (apparaît fin XIIIe s. : cas rare d'apparition d'une catégorie) : **on le note** et on retire ces catégories de l'analyse (peeling) pour pouvoir observer les contrastes liés aux genres et DD/nonDD.
<figure><img src="image_28.png" /></figure>

# Ajustement POS (5) : influence sur l'analyse

<figure><img src="image_29.png" /></figure>

* On recalcule l'AFC (tableau seuillé et sans DETcom/PRE.DETcom), et on examine à nouveau les POS qui contribuent à l'axe 1 de façon marquée (supérieure à la moyenne ~3%).

* On trouve une seule POS non fiable qu'il ne faut pas laisser influencer de façon majeure l'analyse : NOMpro → à éliminer (et s'en rappeler pour l'interprétation des résultats)

* Pour les autres peu fiables, impact acceptable :

- soit ctr1 < 1%,

- soit <3% avec juste 1 texte sur 7 de qualité 50-70 (DETcar, PROadv, ADJqua),

- soit <5% mais quasi pas de pb de qualité (tous les textes de qualité au-dessus de 70) (VERppe)

<table><thead><tr><th>Lignes</th><th>Q12</th><th>Q13</th><th>Q23</th><th>Masse</th><th>Dist</th><th>Cont1</th><th>Cos<sup>2</sup></th></tr></thead><tbody><tr><td>NOMpro</td><td>0,65</td><td>0,94</td><td>0,31</td><td>3,04</td><td>0,37</td><td>22,02</td><td>0,64</td></tr><tr><td>PROper</td><td>0,72</td><td>0,73</td><td>0,04</td><td>7,94</td><td>0,09</td><td>14,73</td><td>0,71</td></tr><tr><td>PRE</td><td>0,74</td><td>0,89</td><td>0,18</td><td>10,48</td><td>0,04</td><td>9,29</td><td>0,72</td></tr><tr><td>ADVgen</td><td>0,68</td><td>0,69</td><td>0,07</td><td>6,45</td><td>0,05</td><td>7,16</td><td>0,65</td></tr><tr><td>ADVneg</td><td>0,79</td><td>0,79</td><td>0,01</td><td>2,07</td><td>0,12</td><td>6,90</td><td>0,79</td></tr><tr><td>NOMcom</td><td>0,79</td><td>0,78</td><td>0,06</td><td>17,54</td><td>0,01</td><td>5,87</td><td>0,75</td></tr><tr><td>VERcjq</td><td>0,44</td><td>0,77</td><td>0,40</td><td>13,99</td><td>0,03</td><td>4,74</td><td>0,40</td></tr><tr><td>VERppe</td><td>0,65</td><td>0,58</td><td>0,08</td><td>3,46</td><td>0,06</td><td>4,20</td><td>0,57</td></tr><tr><td>PRE.DETdef</td><td>0,70</td><td>0,66</td><td>0,07</td><td>1,62</td><td>0,09</td><td>3,60</td><td>0,64</td></tr><tr><td>DETdef</td><td>0,34</td><td>0,27</td><td>0,07</td><td>5,37</td><td>0,06</td><td>2,87</td><td>0,27</td></tr><tr><td>VERinf</td><td>0,44</td><td>0,55</td><td>0,29</td><td>2,83</td><td>0,06</td><td>2,46</td><td>0,35</td></tr><tr><td>DETcar</td><td>0,58</td><td>0,53</td><td>0,09</td><td>0,37</td><td>0,33</td><td>2,46</td><td>0,51</td></tr><tr><td>PROadv</td><td>0,43</td><td>0,50</td><td>0,12</td><td>1,15</td><td>0,11</td><td>2,26</td><td>0,41</td></tr><tr><td>ADJqua</td><td>0,28</td><td>0,29</td><td>0,01</td><td>3,27</td><td>0,03</td><td>1,88</td><td>0,28</td></tr><tr><td>CONsub</td><td>0,61</td><td>0,61</td><td>0,20</td><td>3,58</td><td>0,03</td><td>1,86</td><td>0,51</td></tr><tr><td>DETpos</td><td>0,43</td><td>0,53</td><td>0,23</td><td>2,14</td><td>0,06</td><td>1,85</td><td>0,37</td></tr><tr><td>VERppa</td><td>0,35</td><td>0,39</td><td>0,06</td><td>0,37</td><td>0,15</td><td>1,09</td><td>0,34</td></tr><tr><td>DETrel</td><td>0,23</td><td>0,33</td><td>0,20</td><td>0,12</td><td>0,64</td><td>0,75</td><td>0,18</td></tr><tr><td>PROint</td><td>0,38</td><td>0,38</td><td>0,01</td><td>0,06</td><td>0,51</td><td>0,63</td><td>0,37</td></tr><tr><td>ADVneg.PROper</td><td>0,31</td><td>0,51</td><td>0,23</td><td>0,06</td><td>0,50</td><td>0,46</td><td>0,30</td></tr><tr><td>DETdem</td><td>0,21</td><td>0,17</td><td>0,15</td><td>0,69</td><td>0,06</td><td>0,43</td><td>0,30</td></tr></tbody></table>
<figure><img src="image_30.png" /></figure>

# Ajustement POS (6) : influence sur l'analyse BFM

* On recalcule l'AFC (tableau seuillé et sans DETcom/PRE.DETcom ni NOMpro).

* On observe que ADJpos s'accapare l'axe 2, en lien avec un seul genre, le psautier (usage spécifique : « la meie aneme », « la tue misericorde »...)

- cela ne participe pas à une description mettant en relation les genres

- l'ADJpos correspond à un usage proche du DETpos (vers lequel il va évoluer)

<figure><img src="image_31.png" /></figure>

=> on fusionne ADJpos et DETpos en DETADJpos.
# Ajustement POS (7) : récapitulatif

* Connaissance des données et diagnostic : repérage des étiquettes POS non fiables

* Concentration des POS non fiables en basse fréquence → **seuillage** (f > 1 700)

* On écarte DETcom/PRE.DETcom (*ledit*), car cas isolé (majeur) de changement diachronique occultant les observations sur DD et genres (*peeling*)

* Il faut également **filtrer** NOMpro, car peu fiable et influence majeure sur l'axe 1 sur lequel se focalise l'analyse.

* On **fusionne** ADJpos à DETpos, dont l'usage est proche, pour éviter que l'association isolée de l'ADJpos et du psautier n'accapare l'axe 2, et avoir ainsi un plan factoriel plus équilibré.

* L'AFC repose au final sur 33 POS, couvrant 3 565 375 occurrences, soit plus de 96 % des mots (après exclusion des ponctuations, marques éditoriales, mots étrangers et abréviations).
# Ajustement POS (8) : discussion

* Est-ce rigoureux ? Est-ce qu'on n'arrange pas les données pour leur faire dire ce qu'on veut ?

- Le seuillage qui enlève les basses fréquences allège l'analyse **sans modifier les résultats** (poids trop faible) → cohérent avec l'outil d'analyse utilisé

- Les opérations de peeling, par élimination mais aussi fusion (élimination d'une distinction) :

* Elles consistent à écarter un point phénomène singulier qui accapare l'analyse, pour **pouvoir poursuivre** celle-ci.

* Cas rencontrés :

- DETcom/PREDETcom : apparition de *ledit* au XIIIe s., qui a sa propre catégorie grammaticale.

- NOMpro : on ne veut pas laisser une étiquette insuffisamment fiable influencer fortement l'analyse (22%).

- Association spécifique de l'ADJpos et du Psautier.

* Attention, on ne fait pas disparaître sous le tapis, mais on note la première observation pour en **tenir compte** dans l'analyse globale.

* Par ex., nous avons fait une AFC complémentaire qui montre que l'oralité est une dimension de contraste même plus forte que la diachronie, **en précisant** bien que ce résultat **ne tient pas compte** de l'apparition de *ledit* au XIIIe s.
<figure><img src="image_32.png" /></figure>

# BFM & DD : AFC 238 DU (textesxDD) x 33 POS pour évaluation de la variation oralité vs diachronie

BFM

<figure><img src="image_33.png" /></figure>

* Diachronie plutôt sur l'axe 2

* Se rappeler cependant que nous avons écarté de l'analyse le déterminant composé ledit → cette analyse ne tient pas compte de son apparition au XIIIe s.
BFM & DD : retour en détail sur la méthode
# Comment a-t-on géré le « bruit » ?

* Étiquetage morphosyntaxique automatique
  (étiquettes POS)

- Ajuster la représentation des données en fonction du type d'analyse menée, avec deux critères : fiabilité et pertinence

* L'apport des outils statistiques

- AFC et ordre des dimensions : fait pour décanter le bruit ?

- La « loi des grands nombres » ?

- Évaluer et gérer le manque de données avec les ellipses de confiance

- Adopter les bons repères de lecture : les aides à l'interprétation de l'AFC
# Apport des outils statistiques (1) : l'AFC comme outil de hiérarchisation de l'information

* Par construction mathématique, l'axe 1 est choisi pour porter le maximum d'inertie (force de contraste & place prise dans le corpus)

- Nous l'avons mobilisé comme outil analytique pour dé-composer l'information et mettre en évidence le caractère majeur de la variation observée

<figure><img src="image_34.png" /></figure>

* Pour chaque entier $n$, l'axe $n$ est construit pour porter le maximum d'inertie de l'espace restant (hors dimensions 1 à $n-1$). Les dernières dimensions se partagent l'information restante : contrastes faibles, faiblement présents dans le corpus, dispersés/désordonnés (pas de renforcement collectif).

- L'AFC est ainsi proposée comme moyen de « compression » des données : en réduisant les données aux $n$ premiers axes, on dégage l'information la plus significative (en force et en présence), et **on élimine le bruit des petites variations isolées**.

- Exemple d'application : la classification opérée sur les coordonnées factorielles limitées aux $n$ premières dimensions (stratégie appliquée par la CAH de TXM, ne considérant pas plus que les 5 premières dimensions d'une AFC sous-jacente).
BFM & DD : retour en détail sur la méthode
# Comment a-t-on géré le « bruit » ?

* Étiquetage morphosyntaxique automatique
  (étiquettes POS)

- Ajuster la représentation des données en fonction du type d'analyse menée, avec deux critères : fiabilité et pertinence

* L'apport des outils statistiques

- AFC et ordre des dimensions : fait pour décanter le bruit ?

- La « loi des grands nombres » ?

- Évaluer et gérer le manque de données avec les ellipses de confiance

- Adopter les bons repères de lecture : les aides à l'interprétation de l'AFC
Apport des outils statistiques (2) :
vertus de la « loi des grands nombres » ?

* Étienne Brunet, pionnier de la textométrie et auteur du logiciel Hyperbase, invoquait volontiers la « loi des grands nombres ».

* Wikipedia en donne une présentation technique (mathématique) :

- « En mathématiques, la loi des grands nombres permet d'interpréter la probabilité comme une fréquence de réalisation, justifiant ainsi le principe des sondages, et présente l'espérance comme une moyenne. Plus formellement, elle signifie que la moyenne empirique, calculée sur les valeurs d'un échantillon, converge vers l'espérance lorsque la taille de l'échantillon tend vers l'infini. »

* Autrement dit, de façon moins technique, c'est l'idée qu'avec un grand nombre d'observations (la grande fréquence d'un mot, la grande taille du corpus), les petites irrégularités et les écarts contingents, allant dans tous les sens, **se compensent** mutuellement, si bien que **la mesure synthétique obtenue peut être juste** alors même que le détail de quelques données ne permettait pas de se faire une bonne idée.
Apport des outils statistiques (2) :
vertus de la « loi des grands nombres » ?

• (Brunet, 1987, « Les noms propres chez Zola », rééd. 2016, *Écrits choisis*, tome III, p. 176)

– « Il serait vain de nier ces difficultés théoriques et pratiques et, faute d'avoir désambiguïsé les quelque 72 000 occurrences de noms propres chez Zola, on ne saurait prétendre à l'exactitude du détail. Mais cette situation est assez répandue là où s'exerce la statistique, c'est-à-dire là où la mesure directe des phénomènes est peu praticable. Et l'on peut tirer des conclusions relativement précises et sûres à partir de données floues et incertaines, quand du moins la **loi des grands nombres** permet d'espérer la neutralisation des erreurs et des 'bruits' ».
Apport des outils statistiques (2) :
vertus de la « loi des grands nombres » ?

* Brunet, 2012, « Au fond du GOOFRE,
un gisement de 44 milliards de mots »,
rééd. 2016, *Écrits choisis*, tome III :

- Suite à l'initiative de numérisation de Google (Google Books et projet Culturonomics), É. Brunet étudie les possibilités d'exploration offertes par l'outil d'interrogation proposé par Google (Ngram Viewer) puis montre l'intérêt de pouvoir analyser les mêmes données avec son logiciel Hyperbase.
Apport des outils statistiques (2) :
vertus de la « loi des grands nombres » ?

• (Brunet, 2012, « Au fond du GOOFRE », rééd. 2016, p. 105)

– « L'automate n'a pas su reconnaître les **s longs** de l'ancienne typographie (confondus avec des **f**). Et cette seule négligence a des effets incalculables dont témoigne la liste des spécificités de la première période (tableau 2). les éléments insolites qui se portent en tête de liste (**eft**, **fe**, **fur**, **fa**) sont des avatars mal repérés des formes régulières (**est**, **se**, **sur** et **sa**) et cela jette la suspicion sur tous les mots où l'on trouve un **s** ou un **f**, c'est-à-dire un tiers du lexique français. »

<figure><img src="image_35.png" /></figure>
Apport des outils statistiques (2) :
vertus de la « loi des grands nombres » ?

• Brunet, 2012, « Au fond du GOOFRE, un gisement de 44 milliards de mots », rééd. 2016, *Écrits choisis*, tome III, p. 116

- Dans la conclusion,

« La **loi des grands nombres** n'efface pas complètement les fautes de conception, les bévues des machines et les erreurs de traitement. Un corpus restreint mais plus pur vaut mieux qu'un terril énorme, mais dégradé. »

<figure><img src="image_36.png" /></figure>

=> Différencier l'erreur désordonnée, dispersée, aléatoire, et l'erreur orientée (toujours dans le même sens), répétitive.
BFM & DD : retour en détail sur la méthode
# Comment a-t-on géré le « bruit » ?

* Étiquetage morphosyntaxique automatique
  (étiquettes POS)

- Ajuster la représentation des données en fonction du type d'analyse menée, avec deux critères : fiabilité et pertinence

* L'apport des outils statistiques

- AFC et ordre des dimensions : fait pour décanter le bruit ?

- La « loi des grands nombres » ?

- Évaluer et gérer le manque de données avec les ellipses de confiance

- Adopter les bons repères de lecture : les aides à l'interprétation de l'AFC
## Apport des outils statistiques (3) :
### « petits nombres » et manque de données

* Par exemple : dans notre analyse sur le discours direct dans les genres, un genre avec peu de textes et peu de DD (ou peu de non-DD).

- Une phrase de plus ou un mot de moins peuvent alors avoir un impact non négligeable sur le profil POS représentant la DU

* Une gestion qualitative : connaître son corpus ; et rappel, dans la notation, de la multiplicité des textes (1, 2 ou plus).

* Une gestion quantitative, statistique : validation par rééchantillonnage (bootstrap) et ellipses de confiance

- On trace autour de chaque point une ellipse qui montre dans quelle mesure sa position est impactée s'il y a de petites variations dans les données – autrement dit, on introduit expérimentalement un « bruit » plausible, pour évaluer si les résultats se maintiennent

- Petite ellipse => la position est stable, la représentation est fiable ;

- Grande ellipse, ellipse traversant l'origine et s'étendant de part et d'autre => la position apparaît contingente, elle ne se prête pas à une interprétation générale

- Confirmation de la quantité suffisante ou insuffisante de données.
<figure><img src="image_37.png" /></figure>

BFM & DD : AFC 59 DU x 33 POS, petites ellipses

Validation par
rééchantillonnage :

42 DUs avec ellipse de petite taille

-> DUs de 6 971 à 545 635 mots

-> les positions des DU sur l'axe 1 sont stables

<figure><img src="image_38.png" /></figure>
BFM & DD : AFC 59 DU x 33 POS, ellipses moyennes

BFM

<figure><img src="image_39.png" /></figure>

Validation par rééchantillonnage:

12 DUs avec ellipse de taille moyenne

-> DUs de 261 à 3 328 mots

-> les positions des DUs sur l'axe 1 peuvent être interprétées

<figure><img src="image_40.png" /></figure>
<figure><img src="image_41.png" /></figure>

BFM & DD : AFC 59 DU x 33 POS, grandes ellipses

<figure><img src="image_42.png" /></figure>

Validation par
rééchantillonnage:

Seules 5 DUs avec ellipse de
grande taille (2 ne pouvant être
dessinées par le logiciel)

-> DUs de 11 à 122 mots

-> le champ des interprétations est trop large

<figure><img src="image_43.png" /></figure>
BFM & DD : retour en détail sur la méthode
# Comment a-t-on géré le « bruit » ?

* Étiquetage morphosyntaxique automatique
  (étiquettes POS)

- Ajuster la représentation des données en fonction du type d'analyse menée, avec deux critères : fiabilité et pertinence

* L'apport des outils statistiques

- AFC et ordre des dimensions : fait pour décanter le bruit ?

- La « loi des grands nombres » ?

- Évaluer et gérer le manque de données avec les ellipses de confiance

- Adopter les bons repères de lecture : les aides à l'interprétation de l'AFC
Apport des outils statistiques (4) :
visualisation plus intuitive

* Le tableau des « aides à l'interprétation » permet d'évaluer

- Ce qui contribue de façon importante au contraste représenté (contribution à l'axe), et

- Dans quelle mesure la projection dans le plan (2D) a déformé (aplati) la position réelle du point dans l'espace complet (32 dimensions) (cosinus carré au plan)

* On focalise l'attention sur les points pertinents, pour leur importance ou/et la représentativité de leur position.
<figure><img src="image_44.png" /></figure>

BFM & DD (3) : indicateurs de l'AFC

<figure><img src="image_45.png" /></figure>
# BFM & DD : AFC 59 DU x 33 POS

## Représentation initiale complète

<figure><img src="image_46.png" /></figure>
BFM & DD : AFC 59 DU x 33 POS

Filtre: (Cos²(1x2) <0.3) & (ctrb1 < 2 %) & (ctrb2 < 2 %)

<figure><img src="image_47.png" /></figure>

<figure><img src="image_48.png" /></figure>
<figure><img src="image_49.png" /></figure>

<figure><img src="image_50.png" /></figure>

# BFM & DD : gradient d'oralité

<table><thead><tr><th>DU</th><th>c1</th><th>Curb1</th><th>Cos²1</th><th>Q12</th><th>Mass</th><th>Word Nb</th><th>Ellipse size</th></tr></thead><tbody><tr><td>1 z_dramatiqueLn</td><td>-0,60</td><td>0,16</td><td><strong>0,31</strong></td><td>0,53</td><td>0,01</td><td>334</td><td>medium</td></tr><tr><td>2 z_dialogueD2</td><td>-0,49</td><td>0,07</td><td><strong>0,38</strong></td><td>0,52</td><td>0,01</td><td>261</td><td>medium</td></tr><tr><td>3 z_plaidsP1</td><td>-0,47</td><td><strong>2,46</strong></td><td><strong>0,72</strong></td><td>0,72</td><td>0,28</td><td>10153</td><td>small</td></tr><tr><td>4 z_diversP1</td><td>-0,40</td><td><strong>1,53</strong></td><td><strong>0,70</strong></td><td>0,72</td><td>0,25</td><td>9025</td><td>small</td></tr><tr><td>5 z JournalJ2</td><td>-0,40</td><td><strong>21,26</strong></td><td><strong>0,86</strong></td><td>0,86</td><td><strong>3,51</strong></td><td>125563</td><td>small</td></tr><tr><td>6 z_registreP2</td><td>-0,23</td><td><strong>18,16</strong></td><td><strong>0,69</strong></td><td>0,76</td><td><strong>8,73</strong></td><td>312528</td><td>small</td></tr><tr><td>7 z_rvoyageL1</td><td>-0,21</td><td><strong>1,13</strong></td><td><strong>0,36</strong></td><td>0,36</td><td>0,66</td><td>23469</td><td>small</td></tr><tr><td>8 z_commentaireD1</td><td>-0,21</td><td>0,35</td><td><strong>0,70</strong></td><td>0,71</td><td>0,21</td><td>7573</td><td>small</td></tr><tr><td>9 z_lettreH1</td><td>-0,20</td><td>0,10</td><td><strong>0,39</strong></td><td>0,42</td><td>0,06</td><td>2263</td><td>medium</td></tr><tr><td>10 z_psautierRn</td><td>-0,16</td><td><strong>1,27</strong></td><td>0,10</td><td>0,46</td><td><strong>1,29</strong></td><td>46058</td><td>small</td></tr><tr><td>11 sp_hagiographieRn</td><td>-0,14</td><td>0,35</td><td>0,14</td><td>0,14</td><td>0,44</td><td>15732</td><td>small</td></tr><tr><td>12 z_mémoiresHn</td><td>-0,12</td><td><strong>2,86</strong></td><td><strong>0,31</strong></td><td>0,40</td><td><strong>5,40</strong></td><td>193101</td><td>small</td></tr><tr><td>13 z manuelDn</td><td>-0,11</td><td>0,09</td><td>0,07</td><td>0,16</td><td>0,19</td><td>6971</td><td>small</td></tr><tr><td>14 sp_dialogueD2</td><td>-0,11</td><td>0,31</td><td>0,17</td><td>0,18</td><td>0,65</td><td>23405</td><td>small</td></tr><tr><td>15 q JournalJ2</td><td>-0,11</td><td>0,01</td><td>0,04</td><td>0,14</td><td>0,03</td><td>1131</td><td>medium</td></tr><tr><td>16 z_histoireR1</td><td>-0,09</td><td>0,45</td><td>0,04</td><td>0,68</td><td><strong>1,50</strong></td><td>53537</td><td>small</td></tr><tr><td>17 z_lettreR1</td><td>-0,08</td><td>0,19</td><td>0,13</td><td>0,13</td><td>0,84</td><td>30003</td><td>small</td></tr><tr><td>18 z_chroniqueHn</td><td>-0,08</td><td><strong>2,06</strong></td><td><strong>0,32</strong></td><td>0,42</td><td><strong>9,24</strong></td><td>330617</td><td>small</td></tr><tr><td>19 z_computD1</td><td>-0,05</td><td>0,04</td><td>0,02</td><td>0,03</td><td>0,39</td><td>14055</td><td>small</td></tr><tr><td>20 z_coutumierJ2</td><td>-0,04</td><td>0,28</td><td>0,04</td><td>0,29</td><td><strong>4,37</strong></td><td>156475</td><td>small</td></tr><tr><td>21 z_traitéDRn</td><td>-0,04</td><td>0,25</td><td>0,03</td><td>0,23</td><td><strong>4,91</strong></td><td>175799</td><td>small</td></tr><tr><td>22 z_epiqueLn</td><td>-0,04</td><td>0,06</td><td>0,02</td><td>0,58</td><td><strong>1,22</strong></td><td>43785</td><td>small</td></tr><tr><td>23 z_hagiographieRn</td><td>-0,03</td><td>0,15</td><td>0,08</td><td>0,42</td><td><strong>3,44</strong></td><td>123094</td><td>small</td></tr><tr><td>24 z SermonRn</td><td>0,00</td><td>0,00</td><td>0,00</td><td>0,00</td><td><strong>3,26</strong></td><td>116703</td><td>small</td></tr><tr><td>25 z_lapidaireD2</td><td>0,01</td><td>0,00</td><td>0,00</td><td>0,00</td><td>0,39</td><td>13781</td><td>small</td></tr><tr><td>26 z_rrefsRn</td><td>0,02</td><td>0,02</td><td>0,01</td><td>0,08</td><td><strong>2,29</strong></td><td>81911</td><td>small</td></tr><tr><td>27 q_commentaireD1</td><td>0,03</td><td>0,00</td><td>0,00</td><td>0,01</td><td>0,00</td><td>122</td><td>large</td></tr><tr><td>28 q_traitéDRn</td><td>0,05</td><td>0,05</td><td>0,05</td><td>0,14</td><td>0,50</td><td>17960</td><td>small</td></tr><tr><td>29 z_romanLn</td><td>0,06</td><td><strong>1,91</strong></td><td>0,20</td><td>0,41</td><td><strong>15,25</strong></td><td>545635</td><td>small</td></tr><tr><td>30 q_dialogueD2</td><td>0,06</td><td>0,00</td><td>0,01</td><td>0,15</td><td>0,00</td><td>91</td><td>large</td></tr><tr><td>31 z_romanDn</td><td>0,07</td><td>0,81</td><td><strong>0,36</strong></td><td>0,50</td><td><strong>4,20</strong></td><td>150333</td><td>small</td></tr><tr><td>32 z_bestiaireD2</td><td>0,07</td><td>0,19</td><td>0,28</td><td>0,28</td><td>0,95</td><td>34160</td><td>small</td></tr><tr><td>33 z_commentaireR1</td><td>0,08</td><td>0,30</td><td>0,10</td><td>0,11</td><td><strong>1,26</strong></td><td>45201</td><td>small</td></tr><tr><td>34 z_dramatiqueR2</td><td>0,09</td><td>0,02</td><td>0,10</td><td>0,31</td><td>0,06</td><td>2319</td><td>medium</td></tr></tbody></table>

[Orality - - ]

<figure><img src="image_51.png" /></figure>

[Orality + ]

<figure><img src="image_52.png" /></figure>

[Orality - ]

[Orality + +]
# Plan

* Introduction

* Contexte 1 : Linguistique diachronique

- travailler avec un étiquetage morphosyntaxique automatique non exempt d'erreurs

- l'analyse factorielle des correspondances, un outil justement fait pour décanter les données ?

BFM

<figure><img src="image_53.png" /></figure>

* Contexte 2 : Analyse historique d'archives audiovisuelles

ANTRACT

<figure><img src="image_54.png" /></figure>

- travailler avec une transcription automatique non exempte d'erreurs

- lancer des analyses focalisées sur les mentions de plan sans les interférences avec les autres mots, par annotation et projection

* Éliminer le bruit en corrigeant ? L'annotation en question

* Apprivoiser le bruit
# Le projet ANR Antract

<figure><img src="image_55.png" /></figure>

* Étude des *Actualités françaises* (1945-1968)

- Actualités filmées diffusées dans les cinémas

- Hebdomadaires, durée d'environ 10 mn

- 1261 éditions, traitant en moyenne 8 sujets.
# Le projet ANR Antract : partenaires

CHS
XXᵉ siècle

* Centre d'histoire sociale des mondes contemporains, Univ. Paris, UMR 8058

ina

* Institut National de l'Audiovisuel, Bry-sur-Marne

lium

* Laboratoire d'Informatique de l'Université du Maine, Univ. du Mans, EA 4023

EURECOM
Sophia Antipolis

* Département Data Science de l'École d'ingénieurs Eurecom, Sophia Antipolis

ihrim

* Institut d'Histoire des Représentations et des Idées dans les Modernités, Univ. Lyon, UMR 5317
Corpus TXM AF-NOTICES

<figure><img src="image_56.png" /></figure>

<figure><img src="image_57.png" /></figure>

<figure><img src="image_58.png" /></figure>

* Source = Base documentaire INA

* 10776 notices sujets de 1261 émissions

* 2,2 millions de mots

* Un corpus structuré (hors texte, listes de descripteurs typés, etc.)
Corpus TXM AF-VOIX-OFF

<figure><img src="image_59.png" /></figure>

<figure><img src="image_60.png" /></figure>

* Transcription automatique de la bande son des vidéos

* 1260 textes, 10683 sujets synchronisés

* 1,5 millions de mots

* Intégration de la description documentaire (notices) en métadonnées.
<figure><img src="image_61.png" /></figure>

# Les (quasi)-doublons d'AF-VOIXOFF-V1

<figure><img src="image_62.png" /></figure>

Rq. : on a affaire ici aux premières transcriptions automatiques, avant que l'outil soit adapté/entraîné pour ces données d'archives. Il est mis en difficulté par la qualité ± dégradée de l'enregistrement, la façon de parler qui a beaucoup changé, l'évolution du vocabulaire, etc.
# L'amélioration des corpus : cas d'AF-VOIX-OFF

<figure><img src="image_63.png" /></figure>

* 6 versions !

* Parmi les actions :

- Transcription issue de la dernière version d'ASR (automatic speech recognition), après adaptation à ces données d'archive

- Réorganisation du corpus pour éviter les doublons : passage d'une logique de **sujet** documentaire à une logique d'émission métropolitaine diffusée.

- Données de contexte (métadonnées)

* Mise en relation transcription ↔ vidéo ↔ sujet ↔ informations documentaires : synchronisation **automatique**, synchronisation **semi-automatique**, traitement **robuste** des petites incohérences de synchronisation (chevauchement/trou au niveau des raccords)

- Retour à la vidéo (et nécessité d'un accès en ligne).
# Importance du retour à la vidéo

* [Pourquoi ?] Retour au texte → retour au document source → vidéo

- La transcription automatique doit pouvoir être contrôlée

- La transcription manuelle elle-même impliquerait des choix de représentation (des interprétations, des réductions)

* [Comment ?] Information de synchronisation

- Manuellement : idéalement utiliser un logiciel de saisie de transcription comme Transcriber

- Automatiquement : les time-codes peuvent être intégrés automatiquement dans un format XML.

* Pour en savoir plus :

- Bénédicte PINCEMIN, Serge HEIDEN, Matthieu DECORDE (2020) - « Textometry on Audiovisual Corpora. Experiments with TXM software », in P. Marchand & P. Ratinaud (eds), *JADT' 20. Proceedings of the 15th International Conference on Statistical Analysis of Textual Data*, Université de Toulouse, 16-19 juin 2020.

https://halshs.archives-ouvertes.fr/halshs-02779055v1
# Possibilité d'accès distant aux vidéos

<figure><img src="image_64.png" /></figure>
Retour à la vidéo

<figure><img src="image_65.png" /></figure>
<figure><img src="image_66.png" /></figure>

# Fonctionnement du retour à la vidéo

* Lien hypertexte depuis :

- La CONCORDANCE (pivot)

- L'ÉDITION : au niveau du texte (journal), de la section (sujet), du tour de parole, du mot (fenêtre)

* Possibilité d'adapter la position de la fenêtre vidéo

- Par glisser-déplacer (drag & drop)

- Par réglage d'une préférence

* Curseurs pour naviguer à l'intérieur de la vidéo
<figure><img src="image_67.png" /></figure>

<figure><img src="image_68.png" /></figure>

## RE I.
DANS LEQUEL PHILEAS FOGG ET
PASSEPARTOUT S'ACCEPTENT

RÉCIPROQUEMENT L'UN COMME
MAITRE, L'AUTRE COMME DOMESTIQUE

En l'année 1872, la maison portant le numéro 7 de Saville-row, Burlington Gardens - maison dans laquelle Sheridan mourut en 1814 -, était habitée par Phileas Fogg, esq., l'un des membres les plus singuliers et les plus remarqués du Reform-Club de Londres, bien qu'il semblât prendre à tâche de ne rien faire qui pût attirer l'attention.

<figure><img src="image_69.png" /></figure>
BFM

GRAAL

<figure><img src="image_70.png" /></figure>

<figure><img src="image_71.png" /></figure>

<figure><img src="image_72.png" /></figure>

<figure><img src="image_73.png" /></figure>

<figure><img src="image_74.png" /></figure>

<figure><img src="image_75.png" /></figure>

<figure><img src="image_76.png" /></figure>

<figure><img src="image_77.png" /></figure>

<figure><img src="image_78.png" /></figure>

CORPUS

Corpus

A

<figure><img src="image_79.png" /></figure>

BFM2019

<figure><img src="image_80.png" /></figure>

BFMMS

<figure><img src="image_81.png" /></figure>

CORPT...

<figure><img src="image_82.png" /></figure>

GRAAL...

<figure><img src="image_83.png" /></figure>

PALAF...

<figure><img src="image_84.png" /></figure>

PALAF...

<figure><img src="image_85.png" /></figure>

PALAF...

ACCUEIL

AIDE

<figure><img src="image_86.png" /></figure>

TEXT: QGRAAL_CM

<figure><img src="image_87.png" /></figure>

[Galaad à Kamaalot]

§ 1

[A] la veille de la Pente-
coste quant li compai-
gnon de la table re-
onde furent venu
a Kamaalot et il o-
rent oï le servisse et
l'en voloit metre les
tables a heure de]

[5]

nonne .’ lors en [tra a cheval en ]a [1] sale une mout bele
damoisele, et fu venuei si grant oirre que bien le pot
l’en veoir, car ses chevaux en fu encore toz suanz, et ele
descent et vient devant le roi si le salue, et il dist que
Diex la beneïe. « Sire, fet ele, por Dieu dites moi se Lancelot
est ceenz. - Oil voir, fet li rois, veez le la. » Si li mostre, et
ele va maintenant la ou il est, et li dist : « Lancelot je vos
di de par le roi Pellés que vos avec moi venez iusqu’en
cele forest. » Et il li demande a qui ele est. « Je sui, fait
ele, a celui donc je vos paroil. - Et quel besoign, fet
il, avez vos de moi ? - Ce verroiz vos bien (bien), fet ele.
- De par Dieu, fet il, et g’irai volentiers. » Lors dist a un
escuier qu’il mete la sele en son cheval, et li aport
ses armes, et cil si fet tout maintenant. Et quant
li rois et li autre qui ou palés estoient voient ce si lor
en poise mout. Et neporquant quant il voient
qu’il ne remaindroit il l’en lessent aler. Et la reïne
li dist : « Que est ce Lancelot ? Nos lairez vos a cest jor qui
si est hauz ? - Dame, fet la damoisele, sachiez que
vos le ravroiz demain ceenz ainz hore de disner.

10

15

20

25

1

Ordre des mots différent dans le ms. Z : 'entre en la salle a cheval'.

<160a>

§ 1

[A] la ueille delapente
coste qût li compai
gnon de latable re
onde furent uenu
a kamaalot ] il o
rent oi leferuiffe ]
l'en uoloit metre lef
tablef a heure de]

[5]

nōnē. 'loſ en [tra acheual en ]a fale une mout bele
damoifele. ſu ſuuenve ſigant oirre que bien le pot
l'en ueoir, car ſel cheaux enſu encoze toz ſuanz. ſel ele
defcent et uient devant leroi ſile ſalue, et il diſt que
diex la beneie. Sire fet ele poz dieu diſeſ moi ſe lanč.
eſt ceenz. Oil voir fet liroif ueez le la. ſilimoffre. ſe
ele ua maintenant la ouileſt. ſi li diſt lanč. ieuſo
di de par leroi pelleſ queoſa avec mui uenez iuſqen
cele fozeſt. ſiillidemande a qui ele eſt. Ie ſui fait
ele a celui donc ie uof paroil. Et quel beſoign fet
il auez uof de moi. Ce verroiz uof bien bien fet ele.
Depardieu fet il. ſi girai uolentierſ. loſ diſt a un
eſcuier quil mete la ſele en ſon cheual. ſiapoſt
ſef armef. ſi cil ſiſet tout maintenant. Et quant

10

15

20

<160a>

Fragment du ms. Z (BnF, n.a.fr. 1119, col. 1858 à la place d'un fragment manquant du ms. K

<figure><img src="image_88.png" /></figure>

Retour au manuscrit K (Lyon, BM, P.A. 77, col. 160

<figure><img src="image_89.png" /></figure>

<figure><img src="image_90.png" /></figure>

<figure><img src="image_91.png" /></figure>

<figure><img src="image_92.png" /></figure>

<figure><img src="image_93.png" /></figure>

<figure><img src="image_94.png" /></figure>

<figure><img src="image_95.png" /></figure>
# Plan

* Introduction

* Contexte 1 : Linguistique diachronique

- travailler avec un étiquetage morphosyntaxique automatique non exempt d'erreurs

- l'analyse factorielle des correspondances, un outil justement fait pour décanter les données ?

BFM

<figure><img src="image_96.png" /></figure>

* Contexte 2 : Analyse historique d'archives audiovisuelles

- travailler avec une transcription automatique non exempte d'erreurs

- lancer des analyses focalisées sur les mentions de plan sans les interférences avec les autres mots, par annotation et projection

ANTRACT

<figure><img src="image_97.png" /></figure>

* Éliminer le bruit en corrigeant ? L'annotation en question

* Apprivoiser le bruit
# Un thème de recherche : la grammaire cinématographique

* Contexte : thèse de Franck Mazuet

- Le cinéma de l'événement. Histoire de la société de presse filmée Les Actualités Françaises (1945-1969). Université Paris 1 Panthéon Sorbonne, 19 avril 2023.

* Façon dont les vidéos sont composées

- types de plans

- mouvements de caméra

* Analyse automatique de vidéo ?

* Dans TXM → textométrie, texte → passer par la description documentaire ?

- Champ Séquences : description plan à plan
# Vue du sujet « Rugby » dans TXM

<figure><img src="image_98.png" /></figure>
<figure><img src="image_99.png" /></figure>

# Grammaire cinématographique : pistes pour travailler avec TXM

* Difficultés (~ bruits ?)

- Variabilité des désignations

* Description libre

* Pratiques ± partagées

- Mots qui s'intercalent

* Distance variable

* Pris dans la requête

* Solutions

- Annotation par des catégories d'analyse (recodage)

- Projection

* Un nouveau corpus avec uniquement les catégories d'analyse
<figure><img src="image_100.png" /></figure>

# Annotation automatique par requêtes CQL

* ex. : Les requêtes pour la catégorie **Plan général** (10PG) :

[word="-*(VG|PG|GVG|CG)"%c]

[word="-*(plan|vues?)"%c][word="générale?s?"%c]

[word="-*PANORAMA"%c]

[word="-*(PE|VE)"%c]

[word="-*(plan|vue)s?"%c][][word="ensemble"%c]
<figure><img src="image_101.png" /></figure>

# Annotation automatique par requêtes CQL

* Un tableau (xlsx/ods) avec

- 19 valeurs de plan + Divers plans + Hors-sujet

- 60 requêtes

* Une même valeur de plan peut avoir plusieurs requêtes

* 1 ligne = 1 requête pour 1 valeur de plan

* Utilitaire CQLList2WordProperties

- Ajoute une propriété de mot

- Les requêtes sont appliquées dans l'ordre → possibilité d'affinement de l'étiquetage par le contexte
<figure><img src="image_102.png" /></figure>

Corpus annoté

<figure><img src="image_103.png" /></figure>
Exemple d'analyse sur le corpus annoté

<figure><img src="image_104.png" /></figure>

* **32PP** (Plan porté, rouge) et **12PM** (Plan moyen, bleu) montrent des profils complémentaires : Remplacement ? Équivalence ? Consigne de catalogage ?...

* **70TI** (Titres, vert) : des périodes « magazine » où les titres semblent plus à la mode ?

* Apparition de **60ZOOM** (Zoom, jaune) : nouveauté technique
<figure><img src="image_105.png" /></figure>

# Projection

* Utilitaire WordProperty2Word

- Génère un nouveau corpus

* Il est utile de garder les deux corpus car ils se complètent (le premier est important pour le retour au texte)

- On peut choisir de ne pas projeter certaines valeurs

* Ici : pas les « hors-sujet »
Exemple d'analyse sur les plans de début de sujet

<figure><img src="image_106.png" /></figure>

Les segments
répétés (SR) de 3
plans pour tout
le corpus

SR de 3
plans en
début de
sujet

L'ensemble des
catégories de plan
mentionnées (n'importe
où : au début ou ailleurs)

Les catégories
de plan en
début de sujet
(1ère mentionnée)

Le calcul statistique des SPÉCIFICITÉS
sur les plans en 1ère position dans le sujet
met en évidence les sur- et sous-emplois
qui peuvent vraiment attirer notre attention67
<figure><img src="image_107.png" /></figure>

# Annotation ou/et Projection : un outil méthodologique

* Pas spécifique aux corpus multimédia

* Annotation semi-automatique par requêtes

- D'autres modes d'annotation sont disponibles dans TXM

- Celui-ci nous intéresse pour :

* la documentation systématique de l'annotation

* sa compatibilité avec l'évolution du corpus (versions successives)

* Un corpus « réécrit » pour l'analyse : normalisation des variations, neutralisation de l'entour gênant

* Pour en savoir plus :

- Bénédicte PINCEMIN, Serge HEIDEN, Franck MAZUET (2022) - « The Textometric Concept of Active Corpus. Illustration by an Analysis Scenario based on Annotation then Projection », in M. Misuraca et al. (eds), *JADT' 22. Proceedings of the 16th International Conference on Statistical Analysis of Textual Data*, VADISTAT - Per Simona Balbi, Univ. of Naples Federico II, July 6-8 2022.

https://halshs.archives-ouvertes.fr/halshs-03667319
# Plan

* Introduction

* Contexte 1 : Linguistique diachronique

- travailler avec un étiquetage morphosyntaxique automatique non exempt d'erreurs

- l'analyse factorielle des correspondances, un outil justement fait pour décanter les données ?

BFM

<figure><img src="image_108.png" /></figure>

* Contexte 2 : Analyse historique d'archives audiovisuelles

- travailler avec une transcription automatique non exempte d'erreurs

- lancer des analyses focalisées sur les mentions de plan sans les interférences avec les autres mots, par annotation et projection

ANTRACT

<figure><img src="image_109.png" /></figure>

* Éliminer le bruit en corrigeant ? L'annotation en question

* Apprivoiser le bruit
Corriger ? L'annotation en question(s)

* Workflow : dynamique du corpus et capitalisation

• Données originales et traçabilité

• Conception globale

• Équilibre annotation / analyse
# Corriger ? L'annotation en question(s)

* Workflow : dynamique du corpus et capitalisation

- corpus final / sources (ex. nouvelle édition, enrichissement, ajout de textes)

- prise en compte par les outils (entraînement, référence)

- manuel ("en extension") / calculé ("en intension")

- travail collectif : partage et collaboration

* Données originales et traçabilité

* Conception globale

* Équilibre annotation / analyse
# Corriger ? L'annotation en question(s)

* Workflow : dynamique du corpus et capitalisation

* Données originales et traçabilité

- ajouter vs remplacer

- travailler au plus près des données

- multiplicité de points de vue

* Conception globale

* Équilibre annotation / analyse
# Corriger ? L'annotation en question(s)

* Workflow : dynamique du corpus et capitalisation

* Données originales et traçabilité

* Conception globale

- cohérence, efficacité

- risque que la facilité technique d'ajout d'annotation conduise à les multiplier sans profit

* Équilibre annotation / analyse
# Corriger ? L'annotation en question(s)

* Workflow : dynamique du corpus et capitalisation

* Données originales et traçabilité

* Conception globale

* Équilibre annotation / analyse

- ne pas attendre des données parfaites pour commencer l'analyse mais procéder par étapes (en connaissant et gérant les limites des données effectives)

- s'interroger sur la nécessité de certains préalables, savoir dans quelles analyses on utilisera quel codage (ex. : entités nommées, analyse de sentiments, chaînes de référence)

- possibilité de mener une analyse fine en restant très proche des données originales, sans l'intermédiaire d'unités prédéfinies ?

- Si le global détermine le local (cf. François Rastier), cercle herméneutique analyse/édition en commençant par l'analyse ?
# Plan

* Introduction

* Contexte 1 : Linguistique diachronique

- travailler avec un étiquetage morphosyntaxique automatique non exempt d'erreurs

- l'analyse factorielle des correspondances, un outil justement fait pour décanter les données ?

<figure><img src="image_110.png" /></figure>

<figure><img src="image_111.png" /></figure>

* Contexte 2 : Analyse historique d'archives audiovisuelles

- travailler avec une transcription automatique non exempte d'erreurs

- lancer des analyses focalisées sur les mentions de plan sans les interférences avec les autres mots, par annotation et projection

<figure><img src="image_112.png" /></figure>

<figure><img src="image_113.png" /></figure>

* Éliminer le bruit en corrigeant ? L'annotation en question

* Apprivoiser le bruit
Apprivoiser le bruit

* Bruit plutôt que silence : cf. stratégie générale de construction de requête

* Le critère d'**interprétabilité** du corpus

- Par delà les critères de constitution de corpus et règles formelles (cohérence, pertinence, représentativité, homogénéité, etc.)

- Faire un usage juste et approprié du corpus par la bonne connaissance de son contenu et de ses limites

- Ni corpus parfait, idéal, ni données au kilomètre...

- cf. Bénédicte Pincemin, 2012, « Hétérogénéité des corpus et textométrie », *Langages*, 187, 13-26.
Apprivoiser le bruit

• Approche proposée :

- Connaître (décrire, contextualiser) ses données

- Garder une attention critique (contrôler)

- Ajuster/adapter les traitements (capacité à rester au plus près des données originales)

- Contextualiser l'interprétation

Merci de votre attention !
# Annexes et compléments

* Caractéristiques de la Base de français médiéval

* Les différents types d'annotation dans le logiciel TXM
# La Base de Français Médiéval

* Textes intégraux du IXe au XVe s. : aujourd'hui 170 textes, près de 5 millions de mots.

* Développée à l'ENS Fontenay-Saint-Cloud puis Lyon depuis 1989 (Ch. Marchello-Nizia, C. Guillot-Barbance)

* Ressources pour l'enseignement et la recherche sur la langue, la littérature et la civilisation médiévale

* Philologie numérique et humanités numériques : édition XML-TEI, et interface d'analyse (Weblex puis portail TXM)

* Science ouverte : FAIR ; licences ouvertes (Etalab pour texte, CC BY-NC-SA pour l'apparat critique éventuel, GPL v.2 pour TXM)

* Adresse : http://bfm-corpus.org
<figure><img src="image_114.png" /><figcaption>Annotation par requêtes :
tableau définissant les annotations à ajouter</figcaption></figure>
3 types d'annotation dans TXM

<table><thead><tr><td>Type</td><td>Projets</td><td>Interface</td><td>Nature technique</td><td>Intérêts</td><td>Limites</td></tr></thead><tbody><tr><td>CQP sur Mot</td><td>PaLaFra, BFM</td><td>Concordance</td><td>Propriétés lexicales</td><td>Simple à comprendre, peut répondre à beaucoup de besoins</td><td>Unités définies par la tokenisation</td></tr><tr><td>CQP sur Séquence de mots</td><td>BHE / SyMoGIH</td><td>Concordance</td><td>Structures et propriété</td><td>Délimitation de l'unité</td><td>Une seule annotation par structure (ref) ; complexité de la gestion des chevauchements</td></tr><tr><td>URS (Unité-Relation-Schéma)</td><td>Democrat, DTH</td><td>Edition, puis Concordance</td><td>Annotation déportée</td><td>Délimitation de l'unité, pas de contraintes structurelles, et modèle d'annotation structuré</td><td>Pas d'exploitation directe en CQP donc macros dédiées (ou projection vers CQP)</td></tr></tbody></table>

L'annotation par requêtes pour la grammaire cinématographique dans le projet Antract est une annotation de type « CQP sur Mot ».