<figure><img src="image_46.png" /><figcaption>(a) L'écriture est très compacte.</figcaption></figure>

<figure><img src="image_47.png" /><figcaption>(c) La première ligne de texte est écrite autour (d) La première ligne de texte est raturée, puis d'un sceau.

réécrite.</figcaption></figure>

<figure><img src="image_48.png" /><figcaption>(b) Le groupe de signatures ressemble à des pre-
mières lignes (majuscules, interligne)</figcaption></figure>

<figure><img src="image_49.png" /></figure>

**Figure 3.7** – Exemples d'actes difficiles pour la localisation de premières lignes de texte. Les premières lignes sont localisées par des lignes en violet. Dans l'acte (a), les premières lignes de texte sont difficiles à localiser à cause d'un espace interligne uniforme. Dans l'acte (b), le groupe de signatures peut être faussement détectées comme une première ligne de texte. L'acte (c) montre une première ligne coupée en deux qui peut être oubliée par le système. Dans l'acte (d), la première ligne de texte est barrée, mais pourrait être reconnue malgré tout.

nom du prêtre suivi de la mention « curé » ou « prêtre » / « ptre ».

La localisation de signatures peut se faire à l'aide de réseaux de neurones de segmentation sémantique appris sur la base DLA-BMS-1. Nous comparons cinq architectures pour cette tâche : dhSegment, U-Net, RU-Net, ARU-Net et LARU-Net. Pour le post-traitement, les masques de probabilité sont seuillés, et les petites composantes connexes sont retirés.

La localisation des signatures simplifie grandement la tâche de localisation des actes. En revanche, certaines configurations semblent difficiles à traiter, en raison des interactions et des confusions possibles entre le texte et les signatures. Le premier cas évident est l'absence de signature, comme illustré dans la figure 3.8a. Une autre difficulté vient du fait que les signatures sont parfois très similaires à des mots issus du texte principal.

Par exemple, dans la figure 3.8b, la signature ressemble beaucoup au texte principal. Par opposition, le réseau peut également produire un faux positif sur des actes où les mots du texte principal sont plus stylisés que les signatures, comme sur la figure 3.8c. Enfin,
il existe une forte interaction entre les signatures et le texte principal de l'acte suivant, comme sur la figure 3.8d.

<figure><img src="image_50.png" /><figcaption>**Figure 3.8** – Exemples d'actes difficiles pour la reconnaissance de signatures. Les signatures sont localisées par des rectangles englobants rouges. L'acte (a) n'est pas signé. Les signatures de l'acte (b) ne sont pas stylisés et peuvent être manqués. Les noms et annotations marginales de l'acte (c) sont élaborés et peuvent être faussement détectés comme des signatures. Le texte de l'acte (d) et les signatures se superposent.</figcaption></figure>

### 3.3.2.2 Métriques d'évaluation

L'extraction des indices visuels peut être évalué grâce à une matrice de confusion présentant le nombre de pixels vrais positifs TP, vrais négatifs TN, faux positifs FP et faux négatifs FN. Ces termes sont illustrés par la figure 3.9

Ces valeurs permettent également de mesurer la précision, le rappel, et le score F1 d'un système.

**Précision** La précision mesure le pourcentage d'éléments classés positifs qui sont réellement positifs. Une précision élevée signifie que la plupart des éléments classés comme positifs sont bien des positifs.

$$p = \frac{TP}{TP + FP}$$
<figure><img src="image_51.png" /><figcaption>**Figure 3.9** – Illustration des erreurs de classification : les échantillons positifs correctement classifiés correspondent aux vrais positifs TP, les échantillons négatifs correctement classifiés correspondent aux vrais négatifs TN, les échantillons négatifs incorrectement classifiés correspondent aux faux positifs FP et les échantillons positifs incorrectement classifiés correspondent aux faux négatifs FN</figcaption></figure>

**Rappel** Le rappel mesure le pourcentage d'éléments positifs qui ont été correctement identifiés comme positifs par le système. Un rappel élevé signifie que le système oublie peu d'éléments positifs.

$$r = \frac{TP}{TP + FN}$$

**F1-score** Le F1-score permet de résumer ces deux mesures et permet une bonne évaluation globale de la performance d'un système.

$$f = 2 \times \frac{p \times r}{p + r}$$

### 3.3.2.3 Évaluation des indices visuels

Les indices visuels ont été annotés sur la base de données DLA-BMS-1. Ainsi, les résultats sont présentés sur cette base de données. L'apprentissage est effectué en utilisant une validation croisée, afin de pouvoir évaluer les modèles sur toutes les images.
**Lignes de texte** Nous avons choisi ARU-Net pour extraire les lignes de texte dans les images, car ce réseau surpasse dhSegment sur la base publique cBAD [Diem 2017]. Puisque la vérité terrain de la base DLA-BMS-1 a été établie à partir des prédicitions d'ARU-Net, nous avons introduit un biais en la faveur d'ARU-Net. Ainsi, nous ne comparons pas ces deux architectures pour cette tâche.

**Bords de page** Nous comparons deux approches pour la localisation des bords de page : une méthode basée sur un seuillage développée dans l'équipe Intuidoc, et le réseau de neurones dhSegment. Nous présentons des mesures de précision et de rappel, le score F1 et l'IoU de ces deux méthodes dans la table 3.3. Des exemples de résultats sont également présentés dans la figure 3.10. Le réseau dhSegment permet une localisation des bords de page fiable et robuste. Nous retenons donc cette méthode pour localiser les bords de page.

<table><caption>**Table 3.3** – Évaluation quantitative de la détection des bords de page sur la base de données DLA-BMS-1. Le réseau est appris sur 120 images en utilisant la validation croisée à 5 feuilles.</caption><thead><tr><th>Modèle</th><th>Précision ↑</th><th>Rappel ↑</th><th>F1 score ↑</th><th>IoU ↑</th></tr></thead><tbody><tr><td>dhSegment<sup>5</sup></td><td><strong>0,99</strong></td><td><strong>0,99</strong></td><td><strong>0,99</strong></td><td><strong>0,98</strong></td></tr><tr><td>Seuillage</td><td>0,92</td><td>0,96</td><td>0,93</td><td>0,88</td></tr></tbody></table>

<figure><img src="image_52.png" /><figcaption>**Figure 3.10** – Illustration de la détection des bords de page. Les bords en rouge correspondent à la vérité, les bords bleus et verts aux prédicitions de dhSegment et de la méthode de seuillage.</figcaption></figure>

**Premières lignes de texte** L'apprentissage des premières lignes de texte est effectué à partir de l'échantillon d'apprentissage de DLA-BMS-1 en utilisant la validation croisée
afin que chaque image soit évaluée.

Les premières lignes de texte sont évaluées grâce au protocole d'évaluation READ-BAD<sup>6</sup> [Grüning 2017]. Ce protocole a été conçu pour évaluer des systèmes de localisation de lignes de bases. Pour chaque image trois scores sont calculés : une pseudo Précision (P-value), un pseudo rappel (R-value), et un pseudo F1 score (F-value). Ces scores sont ensuite moyennés sur toutes les images. Les résultats sont présentés sur la table 3.4.

Nous avons comparé trois architectures pour cette tâche, à savoir dhSegment [Oliveira 2018], ARU-Net et LARU-Net [Grüning 2018]. Les résultats indiquent une supériorité nette des réseaux ARU-Net et LARU-Net pour la localisation des premières lignes de texte. Le réseau LARU-Net est retenu pour la suite des expériences, car il obtient le meilleur score.

Sur cette architecture, plusieurs stratégies d'apprentissage ont été comparées. En effet, nous souhaitons mesurer si la localisation des premières lignes bénéficie d'un apprentissage des autres lignes en simultané. Ainsi nous comparons plusieurs protocoles. Dans la première expérience, le réseau apprend à localiser uniquement les premières lignes. Dans la seconde expérience, le réseau apprend à localiser toutes les lignes et à leur associer un label parmi deux classes exclusives : première ligne (PL) et autre ligne (AL) de texte. La dernière expérience est similaire, mais avec deux classes non exclusives : première ligne (PL) et toutes lignes (TL) de texte. Ces classes sont illustrées dans la figure 3.11. Dans tous les scénarios, seules les performances de la classe correspondant aux premières lignes est évaluée. Les résultats montrent que le premier scénario d'apprentissage surpasse les deux autres.

Enfin, nous évaluons l'impact de différentes méthodes de post-traitement de ces masques de probabilité. La première méthode consiste à seuiller la carte de probabilité par hystérésis. La seconde consiste à extraire les lignes à partir de l'image floue du masque de probabilités [Lemaitre 2014]. La dernière consiste à effectuer une combinaison des deux en retirant les pixels peu probables par hystérésis, puis en effectuant l'extraction des lignes dans l'image floue.

La configuration retenue correspond à l'architecture LARU-Net appris avec une seule classe (PL) dont les masques de probabilités sont post-traités à l'aide de la méthode des lignes floues.

<footnote n="6">6. https://github.com/Transkribus/TranskribusBaseLine EvaluationScheme</footnote>
<figure><img src="image_53.png" /><figcaption>**Figure 3.11** – Illustration des différentes classes apprises. Les premières lignes correspondent aux premières lignes de texte de chaque acte. Les autres lignes correspondent aux lignes de texte qui ne sont pas des premières lignes de texte.</figcaption></figure>

<table><caption>**Table 3.4** – Évaluation des premières lignes de texte. Les classes correspondent à PL : premières lignes, F fond, TL : toutes les lignes, AL autres lignes</caption><thead><tr><th colspan="3">Paramètres d'apprentissage</th><th colspan="3">Métriques</th></tr><tr><th>Architecture</th><th>Classes</th><th>Post-traitement</th><th>Précision ↑</th><th>Rappel ↑</th><th>F1 score ↑</th></tr></thead><tbody><tr><td>dhSegment</td><td>PL</td><td>Hystérésis</td><td>0.58</td><td>0.78</td><td>0.66</td></tr><tr><td>ARU-Net</td><td>PL</td><td>Hystérésis</td><td>0.79</td><td>0.93</td><td>0.85</td></tr><tr><td>LARU-Net</td><td>PL</td><td>Hystérésis</td><td>0.81</td><td>0.94</td><td>0.87</td></tr><tr><td>LARU-Net</td><td>PL / TL</td><td>Hystérésis</td><td>0.77</td><td>0.74</td><td>0.75</td></tr><tr><td>LARU-Net</td><td>PL / AL</td><td>Hystérésis</td><td>0.81</td><td>0.91</td><td>0.86</td></tr><tr><td>LARU-Net</td><td>PL / AL</td><td>Hystérésis</td><td>0.81</td><td>0.94</td><td>0.87</td></tr><tr><td>LARU-Net</td><td>PL / TL</td><td>Lignes floues</td><td><strong>0.91</strong></td><td><strong>0.89</strong></td><td><strong>0.90</strong></td></tr><tr><td>LARU-Net</td><td>PL / AL</td><td>Combinaison</td><td>0.86</td><td>0.93</td><td>0.89</td></tr></tbody></table>
**Signatures** L'apprentissage automatique des signatures peut également se faire à l'aide d'un réseau de segmentation sémantique [Tarride 2019]. L'apprentissage est effectué à partir de l'échantillon d'apprentissage de DLA-BMS-1 en utilisant la validation croisée afin que chaque image soit évaluée en test. Le post-traitement consiste à seuiller ces cartes de probabilité, et à retirer les petites composantes connexes. Les masques de signatures sont ensuite évalués à l'échelle des pixels. Les configurations d'apprentissage sont évaluées et comparées dans la table 3.5.

Nous avons comparé différents réseaux de neurones pour cette tâche, en particulier dh-

<table><thead><tr><th rowspan="2"></th><th colspan="2">Paramètres d'apprentissage</th><th colspan="4">Métriques</th></tr><tr><th>Architecture</th><th>Classes</th><th>Augmentation</th><th>Précision ↑</th><th>Rappel ↑</th><th>F1-score ↑</th></tr></thead><tbody><tr><td rowspan="5">E1</td><td>dhSegment</td><td>2</td><td>S+R</td><td>0.45</td><td>0.22</td><td>0.28</td></tr><tr><td>U-Net</td><td>2</td><td>S+R</td><td>0.37</td><td>0.45</td><td>0.38</td></tr><tr><td>RU-Net</td><td>2</td><td>S+R</td><td>0.32</td><td>0.48</td><td>0.34</td></tr><tr><td>ARU-Net</td><td>2</td><td>S+R</td><td>0.59</td><td>0.43</td><td>0.46</td></tr><tr><td>LARU-Net</td><td>2</td><td>S+R</td><td>0.59</td><td>0.43</td><td>0.47</td></tr><tr><td>E2</td><td>LARU-Net</td><td>3</td><td>S+R</td><td>0.63</td><td>0.48</td><td>0.52</td></tr><tr><td rowspan="4">E3</td><td>LARU-Net</td><td>3</td><td>S</td><td>0.66</td><td>0.45</td><td>0.51</td></tr><tr><td>LARU-Net</td><td>3</td><td>S+A</td><td><strong>0.67</strong></td><td><strong>0.51</strong></td><td><strong>0.55</strong></td></tr><tr><td>LARU-Net</td><td>3</td><td>S+R+E</td><td>0.61</td><td>0.48</td><td>0.52</td></tr><tr><td>LARU-Net</td><td>3</td><td>S+R+A</td><td>0.62</td><td>0.50</td><td>0.52</td></tr></tbody></table>

**Table 3.5** – Évaluation quantitative de différentes configurations pour la segmentation de signatures. L'expérimentation E1 compare les architectures des réseaux de neurones, et met en évidence LARU-Net. L'expérimentation E2 souligne l'intérêt d'utiliser trois classes pour l'apprentissage (trait de la signature, zone polygonale de la signature, et autre) au lieu de deux (trait de la signature, autre). L'expérimentation E3 compare les stratégies d'augmentation (S redimensionnement, R rotation, A transformation affine, E transformation élastique).

Segment, U-Net, ARU-Net et LARU-Net [Diem 2017]. Les résultats indiquent clairement que les réseaux ARU et LARU-Net sont les plus adaptés pour cette tâche.

Nous comparons également différentes représentations des signatures. En particulier, une signature peut être représentée par une segmentation fine de l'encre, ou bien par son polygone englobant. Nous étudions l'intérêt de combiner ces deux représentations lors de l'apprentissage (3 classes : *trait*, *polygone*, *fond*) ou pas (2 classes : *trait*, *fond*). Nous constatons que l'ajout d'une classe *polygone* permet d'améliorer les résultats. Notre intuition est que le réseau apprend à localiser grossièrement les zones d'intérêt, puis apprend à les segmenter plus finement.
Enfin, nous évaluons différentes stratégies d'augmentation de données. En particulier,

<figure><img src="image_54.png" /><figcaption>(a) Image pour laquelle aucune signature n'est oubliée ou faussement détectée. En revanche, des erreurs au niveau pixel existent et les scores sont donc moyens ($p = 0.68, r = 0.72$)</figcaption></figure>

<figure><img src="image_55.png" /><figcaption>(b) Image pour laquelle une signature est complètement oubliée. La précision est donc moyenne, et le rappel bas ($p = 0.68, r = 0.54$).</figcaption></figure>

**Figure 3.12** – Analyse des erreurs pour la localisation des signatures au niveau pixel. Les images originales sont situées à gauche, et les masques de prédiction des signatures à droite. Ces masques contiennent des pixels verts, qui correspondent aux vrais positifs TP, des pixels rouges qui correspondent aux faut négatifs FN, des pixels bleus qui correspondent aux faux positifs FP, et des pixels blancs qui correspondent aux vrais négatifs TN.

nous étudions l'impact du redimensionnement des images (S), des rotations (R), des transformations affines (A) et élastiques (E). Différentes combinaisons de ces transformations sont comparées. La meilleure stratégie d'apprentissage consiste à effectuer un redimensionnement et des transformations affines.

Globalement, les résultats au niveau pixels sont faibles, en particulier le rappel. Cela signifie que le réseau ne retrouve pas tous les pixels correspondant aux signatures. En revanche, ceux qu'il trouve correspondent plutôt bien à des signatures. Ces résultats faibles s'expliquent par le bruit introduit lors de la création de la vérité terrain, qui nécessite une
phase de binarisation. En particulier, certaines signatures contenant des taches d'encre,
des éléments visibles par transparence, ou bien des contrastes bas, contiennent des erreurs
de segmentation. Cette observation se quantifie : plus de la moitié des pixels faux positifs
sont localisés dans le polygone englobant de la signature correspondante. Ainsi, ces pixels
faux positifs viennent d'imprécisions autour de la signature, et ne correspondent pas à des
signatures faussement détectées. En conséquence, ces erreurs n'ont pas d'impact négatif
lors de l'application des règles logiques. Nous illustrons ce point sur la figure 3.12.

3.3.3 Règles logiques des actes

À partir des indices visuels extraits, des règles logiques sont appliquées pour grou-
per ceux qui appartiennent à un même acte. Les règles logiques sont définies grâce au
formalisme EPF [Coüasnon 2017].

Le système doit s'adapter à des documents en simple-page ou double-page. La première
 étape consiste donc à délimiter chaque page dans les documents, à partir des bords de
 page. Pour cela, le système tente de localiser la pliure entre les pages, par filtrage, ou
 grâce à l'alignement des lignes de texte. Si aucun séparateur n'est trouvé, le système fait
 l'hypothèse que l'image ne contient qu'une page.

Des règles logiques sont ensuite appliquées à chaque page pour décrire la mise en
page. Une page est définie comme une succession d'actes. Mais un acte peut être défini
de différentes façons, selon la variante de la méthode utilisée. Nous décrivons ci-dessous
les trois variantes proposées pendant cette thèse.

3.3.3.1 Variante basée sur les signatures

À première vue, il est possible d’envisager une localisation des actes uniquement basée
sur la localisation des signatures. En effet, la plupart des actes sont signés, la signature
peut donc permettre de repérer la fin des actes. La règle principale pour cette variante
stipule qu’un acte est composé d’un groupe de lignes de texte suivi d’une ou plusieurs
signatures. La construction d’un acte se fait en localisant une signature S, et en groupant
toutes les lignes de texte TL localisées au-dessus de cette signature Le pseudo-code de
cette règle principale est fourni ci-dessous.

record := AT(topPage) &&
            signature S &&
            AT(above S) &&
textLines TL.

Pour chaque page, l'analyse s'effectue de haut en bas. Chaque groupe de signature marque la fin d'un acte : toutes les lignes situées au-dessus de ce groupe de signature correspondent à un même acte. Le rectangle englobant ces lignes de texte et la signature de fin permet de localiser l'acte, comme le montre la figure 3.5. Ces indices visuels sont alors retirées de la liste des indices à traiter pour le reste de l'analyse.

D'autres règles sont également définies pour traiter les actes incomplets :

- En début de page, on peut trouver un acte incomplet composé uniquement d'un groupe de signatures S (le texte de l'acte étant sur la page précédente);

- En fin d'acte, on peut trouver un acte composé uniquement de lignes de texte TL (le reste du texte ainsi que la signature étant sur la page suivante).

Cette variante a deux limites principales. D'une part, tous les actes ne sont pas signés, en particulier avant le milieu du XVIIe siècle. D'autre part, les potentielles erreurs de segmentation des signatures se propagent au niveau des actes : une signature manquée produit une fusion de deux actes, une signature faussement détectée produit un acte coupé en deux.

### 3.3.3.2 Variante basée sur les premières lignes

Une deuxième façon de faire consiste à se baser uniquement sur la localisation des premières lignes de texte. La règle principale stipule qu'un acte est composé d'une première ligne de texte FTL suivi d'un groupe de lignes de texte TL qui s'étend jusqu'à la première ligne de texte suivante FTL_next. Le pseudo-code de cette règle principale est fourni ci-dessous :

```
record := AT(topPage) &&
         firstTextLine FTL &&
         AT(under FTL) &&
         firstTextLine FTL_next &&
         AT(between FTL FTL_next) &&
         textLines TL.
```

La plus haute première ligne de texte FTL permet de délimiter le haut d'un acte. Le système recherche alors la première ligne suivante FTL_next, afin de localiser la fin de l'acte. Toutes les lignes de texte TL situées entre ces deux éléments sont groupées, et leur boite englobante forme l'acte courant.
D'autres règles sont également définies pour traiter les actes incomplets :

— En début de page, on peut trouver un acte incomplet composé uniquement de lignes de texte (la première ligne étant sur la page précédente);

— En fin d'acte, on peut trouver un acte avec uniquement une première ligne (le reste du texte étant sur la page suivante).

La principale limite de cette approche vient des potentielles erreurs de segmentation des premières lignes de texte. Une première ligne manquée produit une fusion de deux actes, une première ligne faussement détectée produit un acte coupé en deux.

### 3.3.3.3 Variante mixte

La dernière façon de faire consiste à combiner les informations sur la localisation des premières lignes de texte et des signatures pour localiser la séparation entre les actes. Dans ce cas, la règle principale stipule qu'un acte est composé d'une première ligne de texte suivi d'un groupe de lignes de texte et d'un groupe de signatures. Le pseudo-code de cette règle principale est fourni ci-dessous :

```
record := AT(topPage) &&
        firstTextLine FTL &&
        AT(under FTL) &&
        signature S &&
        AT(between FTL S) &&
        textLines TLS.
```

Tous les autres cas particuliers sont traités à l'aide de règles secondaires. En particulier, ces règles permettent de corriger les erreurs fréquentes de prédiction des signatures et des premières lignes de texte. Ces règles ont été conçues pour obtenir un compromis entre les erreurs de division et de fusion. Ces règles se basent principalement sur les premières lignes de texte pour délimiter les actes, car elles sont prédites avec plus de précision que les signatures. Cependant, dans certaines configurations, les signatures sont également utilisées pour trouver la fin de l'acte.

Dans cette section, nous avons présenté notre contribution originale : la méthode hybride. Dans la suite, nous évaluons cette méthode sur deux bases de données, puis nous comparons cette approche avec une méthode complètement neuronale : Mask-RCNN.
3.3.4 Évaluation de l’approche hybride

Dans cette section, nous évaluons les trois variantes hybrides proposées. Dans un premier temps, nous évaluons la reconnaissance automatique des indices visuels, puis nous comparons les trois variantes de règles pour la reconnaissance des actes.

3.3.4.1 Évaluation de la localisation d'actes

Dans cette section, nous évaluons les différentes variantes de la méthode hybride et nous montrons l'intérêt d'utiliser la variante mixte pour fiabiliser la localisation des actes sur la base DLA-BMS-1.

Nous avons présenté au début de ce chapitre quelques exemples pour lesquels la com-
binaison des signatures et des lignes de texte est pertinente. En effet, combiner ces indices
visuels permet de dépasser deux limites principales. La première limite vient du fait que
certains actes ne sont pas signés, ainsi les signatures ne suffisent pas à séparer les actes. La
seconde limite vient des potentielles erreurs de reconnaissance : les signatures et premières
lignes de texte peuvent être oubliées ou faussement détectées par le réseau de neurones.
La figure 3.13 illustre quelques cas où la combinaison des indices visuels permet de sé-
parer correctement les actes. La figure 3.13a présente une configuration parfaite : chaque
acte commence par une première ligne de texte et finit par une signature ou la fin de la
page. Tous les indices visuels sont correctement identifiés. Dans cette configuration, les
trois variantes permettent de localiser les actes de manière efficace. Dans la figure 3.13b,
la première ligne de texte du deuxième acte est oubliée. Dans ce cas, l'acte est détecté
grâce à la signature du premier acte qui est suffisamment grande pour être considérée
comme fiable. Ainsi, la variante mixte et celle basée sur les signatures permettent de sé-
parer les actes de cette page. En revanche, la variante basée sur les premières lignes ne
localise qu'un acte (erreur de fusion). Dans la figure 3.13c, les actes ne sont pas signés
par le prêtre. Dans ce cas, les premières lignes de texte sont utilisées pour délimiter les
actes. Ainsi la variante mixte et celle basée sur les premières lignes de texte permettent
de localiser correctement les actes, contrairement à celle basée sur les signatures. Enfin,
dans la figure 3.13d, une signature est faussement détectée au milieu à droite du dernier
acte. Dans ce cas, la variante mixte permet d'ignorer cette signature, car elle n'est pas
suffisamment fiable et est ignorée.

Les résultats présentés dans la table 3.6 confirment l’intérêt de combiner ces deux
indices visuels pour la localisation des actes, car la variante mixte surpasse les autres
<figure><img src="image_56.png" /><figcaption>(a) Configuration principale : un acte est composé d'une première ligne de texte, de lignes de texte, et d'une signature.</figcaption></figure>

<figure><img src="image_57.png" /><figcaption>(c) Signature manquante : les actes ne sont pas signés, ils sont alors localisés par les premières lignes de texte.</figcaption></figure>

<figure><img src="image_58.png" /><figcaption>(b) La première ligne du deuxième acte est oubliee : la signature est utilisée pour localiser la fin du premier acte.</figcaption></figure>

<figure><img src="image_59.png" /><figcaption>(d) Signature faussement détectée : la signature est ignorée en raison de sa petite taille et de l'absence de première ligne.</figcaption></figure>

**Figure 3.13** – Illustration des configurations principales. Pour chaque sous-figure, l'image de gauche présente les indices visuels localisés par les réseaux de neurones (premières lignes de texte en violet, lignes de texte en bleu, signatures en rouge). L'image de droite présente les actes localisés par les règles logiques.

**Table 3.6** – Évaluation quantitative des différentes variantes de la méthode hybride pour la localisation d'acte lorsque 120 images sont utilisées pour l'apprentissage.

<table><thead><tr><th>Variante</th><th>ZoneMap ↓</th><th>AP@0.50 ↑</th><th>AP@0.75 ↑</th></tr></thead><tbody><tr><td>Signatures</td><td>32.1</td><td>78.8</td><td>49.1</td></tr><tr><td>Premières lignes</td><td>28.4</td><td>87.2</td><td>54.4</td></tr><tr><td>Mixte</td><td>27.1</td><td>89.5</td><td>69.8</td></tr></tbody></table>
variantes. Si l'on regarde la métrique AP@0.75, le gain apporté par la variante mixte atteint 28% par rapport à la variante basée sur les premières lignes, et 42% par rapport à la variante basée sur les signatures.

## 3.4 Comparaison entre l'approche hybride et les approches neuronales

Nous comparons à présent les deux types de stratégies pour la localisation des actes : les réseaux de neurones de détection d'objets et l'approche hybride mixte. Ces deux approches sont comparées sur trois bases de données : les bases DLA-BMS-2, et la base publique Esposalles [Romero 2013]. L'évaluation sur ces différentes bases de données permet d'évaluer les capacités de généralisation des deux stratégies.

### 3.4.1 DLA-BMS-1

Dans cette section, nous focalisons la comparaison de ces approches sur la base de données DLA-BMS-1, présentée dans le chapitre 1. L'utilisation de la validation croisée nous permet de présenter des résultats en test sur les 200 images.

Les résultats permettant de comparer les deux stratégies sont présentés dans la table 3.7. Les deux méthodes produisent des résultats acceptables sur cette base de données. Si l'on regarde les erreurs de surface, la méthode hybride obtient un meilleur score ZoneMap, mais Mask R-CNN obtient un meilleur score d'AP. L'analyse de ces chiffres ne permet pas de déterminer la meilleure approche. En revanche, lorsque l'on s'intéresse aux erreurs de mise en correspondance des actes hypothèses et références, nous constatons que la méthode hybride obtient un nombre de mise en correspondance très correct (1401 pour la méthode hybride contre 1293 pour Mask R-CNN, sur un total de 1565 actes références). Mask R-CNN semble produire plus d'erreurs de fusions, en particulier sur les actes les plus petits. A l'opposé, la méthode hybride semble produire plus d'erreurs de division, ce qui peut être lié à des faux positifs au niveau des indices visuels. Pour les deux méthodes, les fausses détections apparaissent principalement sur des pages où les prêtres rédigeaient des paragraphes pour décrire les registres : ces paragraphes ne sont pas annotés comme des actes, mais ils y ressemblent fortement. Enfin, certains actes écrits sur la page suivante ou précédente sont parfois faussement détectés, car ils apparaissent en transparence. Si les deux stratégies obtiennent une précision acceptable, la méthode hybride obtient un
meilleur rappel, ce qui la place légèrement au-dessus de Mask R-CNN.

<table><caption>**Table 3.7** – Évaluation quantitative des résultats pour la localisation d'actes sur la base de données DLA-BMS-1 (1565 actes) lorsque 120 images sont utilisées pour l'apprentissage.</caption><caption>(a) Erreurs de surface</caption><thead><tr><th></th><th>Mask R-CNN</th><th>Méthode hybride</th></tr></thead><tbody><tr><th>ZoneMap</th><td>29.1</td><td><strong>27.1</strong></td></tr><tr><th>AP@0.5</th><td><strong>89.6</strong></td><td>89.5</td></tr><tr><th>AP@0.75</th><td><strong>73.9</strong></td><td>69.8</td></tr></tbody></table>

<table><caption>(b) Erreurs de mise en correspondance</caption><thead><tr><th></th><th>Mask R-CNN</th><th>Méthode hybride</th></tr></thead><tbody><tr><th>Correct</th><td>1293</td><td><strong>1401</strong></td></tr><tr><th>Division</th><td><strong>40</strong></td><td>71</td></tr><tr><th>Fusion</th><td>107</td><td><strong>42</strong></td></tr><tr><th>Fausse détection</th><td>22</td><td><strong>16</strong></td></tr><tr><th>Oubli</th><td>2</td><td><strong>1</strong></td></tr><tr><th>Précision</th><td>0.86</td><td><strong>0.87</strong></td></tr><tr><th>Rappel</th><td>0.83</td><td><strong>0.90</strong></td></tr><tr><th>F1-score</th><td>0.84</td><td><strong>0.88</strong></td></tr></tbody></table>

### 3.4.2 DLA-BMS-2

Dans cette section, les deux approches sont apprises sur la base DLA-BMS-1, puis évaluées sur la base DLA-BMS-2. Ces deux bases sont présentées dans le chapitre 1. Cette évaluation permet d’évaluer les systèmes sur des documents provenant de périodes temporelles non représentées dans l’ensemble d’apprentissage. En particulier, les registres les plus anciens sont difficiles à reconnaître, car les actes sont plus courts et la présence de signatures n’est pas systématique. De plus, le style d’écriture et la langue évoluent avec le temps, ainsi ces actes apparaissent différents.

La figure 3.14 permet de comparer les prédicitions faites par ces deux méthodes de façon qualitative. Ce registre date du XVIe siècle, période non représentée dans la base d’apprentissage. Les rectangles prédits par Mask R-CNN sont peu précis : les deux premiers et les deux derniers actes de la page de gauche sont fusionnés. Les actes correctement détectés ont des boites englobantes trop hautes, avec une large superposition entre les actes
successifs. En revanche, la méthode hybride localise correctement tous les actes. Seul le premier acte de la page de droite est rallongé en raison du texte visible par transparence.

<figure><img src="image_60.png" /><figcaption>**Figure 3.14** – Comparaison qualitative des systèmes sur un registre du XVIᵉ siècle provenant de la base de données DLA-BMS-2.</figcaption></figure>

Nous avons également comparé les performances de ces systèmes avec un nombre de documents d'apprentissage variable. L'objectif est d'identifier la méthode permettant de généraliser correctement à partir de peu d'exemples d'apprentissage, car c'est la principale difficulté rencontrée dans notre contexte industriel. Les systèmes sont évalués sur la base DLA-BMS-2, lorsqu'ils sont entraînés sur 60, 120 ou 180 documents de la base DLA-BMS-1. Les résultats sont présentés dans le tableau 3.8.

<table><caption>**Table 3.8** – Évaluation des systèmes sur les 2143 actes de la base DLA-BMS-2. Pour chaque système, les performances sont évaluées avec un nombre de documents d'apprentissage variable.</caption><thead><tr><th rowspan="2">Images d'apprentissage (DLA-BMS-1)</th><th rowspan="2"></th><th colspan="3">Mask R-CNN</th><th colspan="3">Méthode hybride</th></tr><tr><th>60</th><th>120</th><th>180</th><th>60</th><th>120</th><th>180</th></tr></thead><tbody><tr><td rowspan="3">Surface</td><td>ZoneMap</td><td>23.0</td><td>20.2</td><td>17.9</td><td>14.7</td><td>14.1</td><td><strong>13.7</strong></td></tr><tr><td>AP@0.5</td><td>80.1</td><td>77.4</td><td>82.0</td><td>83.3</td><td><strong>84.0</strong></td><td>83.1</td></tr><tr><td>AP@0.75</td><td>52.3</td><td>59.0</td><td><strong>63.8</strong></td><td>59.6</td><td>62.8</td><td>61.1</td></tr><tr><td rowspan="7">Correspondance</td><td>Correct</td><td>1576</td><td>1547</td><td>1653</td><td>1762</td><td>1787</td><td><strong>1794</strong></td></tr><tr><td>Division</td><td>54</td><td><strong>14</strong></td><td>21</td><td>80</td><td>56</td><td>67</td></tr><tr><td>Fusion</td><td>205</td><td>224</td><td>183</td><td>122</td><td>121</td><td><strong>105</strong></td></tr><tr><td>Fausse détection</td><td><strong>2</strong></td><td><strong>2</strong></td><td>4</td><td>4</td><td>3</td><td>5</td></tr><tr><td>Oubli</td><td>5</td><td>5</td><td>4</td><td><strong>1</strong></td><td><strong>1</strong></td><td>4</td></tr><tr><td>Précision</td><td>0.83</td><td>0.86</td><td><strong>0.88</strong></td><td>0.85</td><td><strong>0.88</strong></td><td><strong>0.88</strong></td></tr><tr><td>Rappel</td><td>0.74</td><td>0.72</td><td>0.77</td><td>0.82</td><td>0.83</td><td><strong>0.84</strong></td></tr><tr><td colspan="2">F1-score</td><td>0.78</td><td>0.78</td><td>0.82</td><td>0.84</td><td><strong>0.86</strong></td><td><strong>0.86</strong></td></tr></tbody></table>

Une baisse importante des performances est observée sur le système de détection d'objets : le F1-score diminue de 0.84 sur la base DLA-BMS-1 à 0.78 sur la base DLA-BMS-2,
en utilisant 120 images d'entraînement. Une explication possible est que les documents de la base DLA-BMS-2 sont plus anciens et présentent des mises en page plus compactes. Par conséquent, les actes successifs sont souvent fusionnés. Si l'augmentation du nombre d'exemples d'entraînement augmente un peu les performances, elle n'est pas suffisante pour rivaliser avec celles obtenues par la méthode hybride. Cela dit, il est très probable que Mask-RCNN s'améliorerait si davantage de documents étaient annotés.

En revanche, les performances de la méthode hybride tendent à rester stables sur les deux bases de données. La principale différence est que le système produit plus d'erreurs de fusion que d'erreurs de division sur la base DLA-BMS-2, alors qu'il produit plus d'erreurs de division que d'erreurs de fusion sur la base DLA-BMS-1. Cette différence peut être liée aux mises en page plus compactes de la base DLA-BMS-2. Les performances augmentent lorsque le nombre de documents d'apprentissage augmente.

Lorsqu'il est entraîné sur le même ensemble d'apprentissage que Mask R-CNN, la méthode hybride produit en moyenne 12% de plus de configurations de correspondance tout en réduisant l'erreur de surface ZoneMap de 30 %. Lorsqu'il est entraîné sur trois fois moins de données que Mask R-CNN, la méthode hybride parvient à produire 7% de plus de bonne mise en correspondance, et permet de réduire le score de ZoneMap de 18%. Ainsi, il serait plus facilement applicable pour le traitement massif des registres paroissiaux français.

### 3.4.3 Esposalles

Enfin, nous évaluons ces deux systèmes sur les registres catalans de la base publique Esposalles [Romero 2013]. Cette base de données est composée de registres de mariages catalans des Archives de la Cathédrale de Barcelone. Chaque image présente un document manuscrit d'une page contenant des actes de mariage. Les actes sont rédigés en catalan ancien et proviennent du XVIIe siècle. La base de données est composée de 125 pages : 75 pour l'apprentissage, 75 pour la phase de validation, et 25 pour la phase d'évaluation. Ces registres présentent une disposition différente de celle des registres paroissiaux français : les actes sont plus petits et la langue est différente. De plus, il n'y a pas de signatures, mais un symbole de taxe peut permettre de localiser la fin des actes. Par conséquent, les deux systèmes doivent être appris sur cette base de données. Nous étudions l'influence de la taille de l'ensemble d'apprentissage sur les performances de chaque système. Les résultats des deux stratégies sont ensuite comparés et discutés.

Les deux systèmes sont appris sur des sous-ensembles de la base de données Esposalles,
en utilisant 10, 25, 50 ou 75 exemples. Les scores détaillés sont présentés dans le tableau.
3.9. Ils montrent que de très bonnes performances peuvent être obtenues en utilisant peu de données d'apprentissage sur cette base de données. En effet, les résultats suggèrent que les deux systèmes deviennent efficaces à partir de 25 documents d'apprentissage, ce qui correspond à environ 250 actes. Cet apprentissage rapide peut être expliqué par l'homogénéité des actes, puisqu'il n'y a qu'un seul scripteur. Pour la méthode hybride, les expériences montrent que les symboles de taxe sont correctement détectés à partir de 10 images d'apprentissage, tandis que les premières lignes de texte sont correctement détectées à partir de 25 images d'apprentissage. La figure 3.15 illustre les prédictions des deux méthodes sur une seule image dans cette condition.

<figure><img src="image_61.png" /><figcaption>**Figure 3.15** – Comparaison des deux systèmes sur la base de données Esposalles avec différentes tailles d'apprentissage.</figcaption></figure>

Si les deux systèmes parviennent à reconnaître les documents avec précision, Mask R-CNN parvient à produire des boîtes qui correspondent très bien à la vérité terrain. L'erreur de surface ZoneMap diminue systématiquement lorsque la taille de l'ensemble d'apprentissage augmente, alors qu'elle reste constante pour la méthode hybride. Une explication probable est que la méthode hybride produit des boîtes de délimitation contraintes par des règles. Par conséquent, de petites erreurs de surface subsistent, même avec des prédictions de modèle parfaites. Par opposition, les réseaux de détection d'objets apprennent à s'adapter à chaque acte.

L'évaluation de la mise correspondance montre que les erreurs se produisent sur un petit nombre d'actes. En effet, la grande majorité des actes sont correctement détectés. La méthode hybride produit seulement trois faux positifs, qui correspondent aux trois actes annulés qui apparaissent dans l'ensemble de test. Nous observons très peu d'erreurs de fusion ou d'oublis sur l'ensemble de test. En revanche, il y a plusieurs erreurs de
<table><caption>**Table 3.9** – Évaluation sur les 253 actes de test de la base de données Esposalles.</caption><thead><tr><th rowspan="2">Images d'apprentissage</th><th rowspan="2"></th><th colspan="4">Mask R-CNN</th><th colspan="4">Méthode hybride</th></tr><tr><th>10</th><th>25</th><th>50</th><th>75</th><th>10</th><th>25</th><th>50</th><th>75</th></tr></thead><tbody><tr><td rowspan="3">Surface</td><td>ZoneMap</td><td>18.5</td><td>14.6</td><td>12.8</td><td><strong>11.9</strong></td><td>17.1</td><td>13.9</td><td>14.3</td><td>14.1</td></tr><tr><td>AP@0.5</td><td>96.1</td><td>98.3</td><td>98.7</td><td><strong>99.1</strong></td><td>95.1</td><td>97.6</td><td>97.2</td><td>98.2</td></tr><tr><td>AP@0.75</td><td>70.0</td><td>85.6</td><td>89.5</td><td><strong>89.6</strong></td><td>74.2</td><td>82.3</td><td>82.6</td><td>81.4</td></tr><tr><td rowspan="7">Correspondance</td><td>Correct</td><td>241</td><td>249</td><td><strong>252</strong></td><td>251</td><td>240</td><td>248</td><td>248</td><td>249</td></tr><tr><td>Division</td><td>4</td><td>2</td><td><strong>1</strong></td><td>2</td><td>5</td><td>6</td><td>5</td><td>4</td></tr><tr><td>Fusion</td><td>4</td><td>1</td><td><strong>0</strong></td><td><strong>0</strong></td><td>1</td><td><strong>0</strong></td><td><strong>0</strong></td><td><strong>0</strong></td></tr><tr><td>Fausse détection</td><td>2</td><td>5</td><td>3</td><td><strong>1</strong></td><td>3</td><td>3</td><td>3</td><td>3</td></tr><tr><td>Oubli</td><td><strong>0</strong></td><td><strong>0</strong></td><td><strong>0</strong></td><td><strong>0</strong></td><td>6</td><td><strong>0</strong></td><td><strong>0</strong></td><td><strong>0</strong></td></tr><tr><td>Précision</td><td>0.95</td><td>0.98</td><td>0.98</td><td>0.98</td><td>0.95</td><td>0.95</td><td>0.95</td><td>0.96</td></tr><tr><td>Rappel</td><td>0.95</td><td>0.98</td><td>1.00</td><td>0.99</td><td>0.95</td><td>0.98</td><td>0.98</td><td>0.98</td></tr><tr><td colspan="2">F1-score</td><td>0.95</td><td>0.98</td><td>0.99</td><td>0.98</td><td>0.95</td><td>0.96</td><td>0.96</td><td>0.97</td></tr></tbody></table>

division. Pour Mask R-CNN, il y a également quelques erreurs de division et de fusion, mais elles tendent à disparaître lorsque la taille de l'ensemble d'apprentissage augmente. Les trois actes qui ont été annulés posent problème aux deux systèmes, même lorsqu'ils sont entraînés avec le nombre maximal d'images.

## 3.5 Conclusion du chapitre

Dans ce chapitre, nous avons comparé deux stratégies pour la localisation d'actes : les réseaux de détection d'objets et les méthodes hybrides. Nous avons étudié leur applicabilité dans un contexte de traitement massif de documents, à partir de peu de données d'apprentissage. Pour cela, nous avons comparé différents scénarios d'apprentissage avec un échantillon d'apprentissage de taille variable. Nous avons également évalué ces systèmes sur une base de données complexe de registres paroissiaux contenant des documents issus de périodes temporelles non représentées dans la base d'apprentissage. Enfin, ces méthodes permettent également de reconnaître d'autres types de registres, comme les registres catalans de la base Esposalles [Romero 2013]. Les résultats sont synthétisés sur la figure 3.16

Les réseaux de détection d'objets obtiennent de bonnes performances sur la base de données Esposalles, car les actes sont très homogènes (même scripteur, même longueur, même structure de phrase). En revanche, la performance chute considérablement sur les
<figure><img src="image_62.png" /><figcaption>**Figure 3.16** – Le F1-score des deux approches pour chaque base de données. Les deux approches sont apprises sur 25 documents de la base Esposalles, ou 120 documents de la base DLA-BMS-1. La difficulté des documents augmente de gauche à droite. Les résultats montrent que la méthode hybride généralise mieux que Mask R-CNN.</figcaption></figure>

deux bases de données de registres paroissiaux. Les actes les plus courts sont les plus problématiques pour ces réseaux, en particulier lorsque l'écriture est resserrée. Les rec-
tangles englobants prédits sont peu précis, avec une grande superposition entre les actes successifs. Le réseau produit des erreurs récurrentes sur les registres paroissiaux : les actes courts sont fusionnés ou manqués et les grands actes sont coupés en deux. Le modèle Mask R-CNN nécessite plus d'images d'apprentissage afin de capturer la variabilité des actes, notamment avec des registres issus de différentes paroisses et époques. Un point crucial est la variabilité des époques, car les actes les plus anciens sont généralement moins détaillés, moins signés, et donc plus courts.

À l'opposé, les méthodes hybrides reposent sur la localisation d'objets plus simples,
comme les signatures et les lignes de texte. Ces objets peuvent être appris à partir d'un
nombre limité d'images. Ainsi, cette stratégie est plus robuste pour la détection d'acte. La
limite principale de cette méthode vient de sa complexité, car elle nécessite deux étapes
d'analyse. De plus, les boites englobantes sont contraintes par des règles, et ne peuvent
pas s'adapter à de nouvelles mises en pages. La méthode hybride est applicable sans
limites pour la détection d'actes dans les registres. L'utilisation de motifs structurants
aide à simplifier le problème de localisation des actes. En effet, les actes sont des objets
bien plus complexes et hétérogènes que les lignes de texte ou les signatures. Nous avons
également montré que la combinaison de plusieurs indices visuels permet de fiabiliser la
reconnaissance. L'avantage notable de cette approche est qu'elle nécessite peu de données,
comparé à Mask R-CNN. En effet, elle permet d'obtenir 12% de configurations correctes
supplémentaires, avec trois fois moins de données d'apprentissage. Enfin, cette méthode
permet une description de la structure plus riche qu'une simple localisation des actes. En
effet, la composition structurelle de chaque acte est également connue : première ligne de
texte, lignes de texte. Les règles ont également été enrichies afin de séparer les lignes de
texte appartenant à la marge, au texte principal, et aux signatures.

De nombreuses pistes restent à explorer pour la reconnaissance de structure de docu-
ments. En particulier, il serait intéressant d'intégrer le contenu textuel des documents dans
la segmentation des actes [Boillet 2021a]. Ces mots clés pourraient également permettre
de classer chacun des actes selon son type : baptême, mariage, sépulture.
# RECONNAISSANCE D'ÉCRITURE
MANUSCRITE

Dans ce chapitre, nous adaptons un réseau de neurones basé sur un mécanisme d'attention pour la reconnaissance d'écriture manuscrite. Cette architecture nous semble intéressante, car elle permet d'extraire des caractéristiques pertinentes pour la prédiction des caractères et la modélisation implicite du langage. Dans un premier temps, nous décrivons les différentes composantes de cette architecture ainsi que son fonctionnement. Nous détaillons ensuite les expérimentations et optimisations réalisées sur l'architecture et les paramètres d'apprentissage. L'architecture retenue est ensuite évaluée sur quatre bases de données publiques, et comparée aux autres approches de l'état de l'art. Enfin, nous discutons de l'applicabilité de cette architecture aux registres paroissiaux, dans un contexte où peu de données d'apprentissage sont disponibles.

## 4.1 Introduction

Les réseaux de neurones s'appuyant sur des mécanismes d'attention [Xu 2016] ont rencontré un succès majeur dans de nombreux domaines connexes à la vision par ordinateur ou au traitement automatique de la langue. Les mécanismes d'attention permettent aux réseaux de neurones d'apprendre à focaliser leur attention sur des caractéristiques d'intérêt pour la décision. L'idée défendue par [Xu 2016] est que ce mécanisme permet de simuler le système visuel humain [Rensink 2000; Corbetta 2002]. Ce mécanisme permet de mettre en avant certaines caractéristiques importantes de l'image de façon dynamique, lorsque cela est utile au système. À l'inverse, les systèmes sans mécanisme d'attention compressent l'image en une représentation vectorielle compacte et statique.

Le fonctionnement d'un mécanisme d'attention est illustré dans la figure 4.1, dans le cadre d'une tâche de sous-titrage d'images. Les mécanismes d'attention font partie des innovations majeures en deep learning apparues ces dernières années. En particulier, ils
<figure><img src="image_63.png" /><figcaption>**Figure 4.1** – Illustration du mécanisme d'attention pour le sous-titrage d'image proposé par Xu et al. [Xu 2016]. L'image est encodée par un encodeur convolutif, puis le mécanisme d'attention permet au décodeur de se focaliser sur certaines parties de l'image pour prédire chaque mot. L'attention se focalise sur l'oiseau pour générer le mot « bird », et sur le fond de l'image pour générer le mot « water ».</figcaption></figure>

ont révolutionné les domaines de la traduction automatique [Bahdanau 2014], la reconnaissance de la parole [Chorowski 2015b], le sous-titrage d'images [Xu 2016], ou encore la segmentation sémantique de scènes naturelles [Fu 2019] ou d'images de documents [Soulard 2020]. Outre les améliorations quantitatives, ces mécanismes rendent également les réseaux de neurones plus explicables, car la visualisation des cartes d'attention permet de mieux comprendre le mécanisme de décision.

Les mécanismes d'attention semblent pertinents pour la reconnaissance automatique d'écriture, et plus généralement pour l'extraction d'information dans des images de documents. En effet, ils permettent au modèle de se focaliser sur les zones de l'image présentant le plus d'intérêt pour la prise de décision. Par exemple, un modèle de reconnaissance d'écriture pourra se concentrer sur la zone de l'image correspondant à la lettre à reconnaître. Cette focalisation du modèle sur les caractéristiques importantes peut également permettre d'atténuer l'impact des éléments de l'image pouvant potentiellement perturber la reconnaissance, comme les ratures, les taches d'encre ou encore les éléments décoratifs. Enfin, une dernière propriété intéressante de cette architecture est la présence d'un décodeur récurrent, qui permet une modélisation implicite d'un langage.

De premières architectures s'appuyant sur des mécanismes d'attention ont récemment été proposées pour la reconnaissance d'écriture manuscrite. Certains travaux de recherche ont exploré l'intérêt d'un mécanisme d'attention à travers des convolutions à portes<fnref n="1" /> pour l'extraction de caractéristiques pertinentes [Bluche 2017; Yousef 2018; Coquenet 2020].

<footnote n="1">1. *Gated convolutions* en anglais</footnote>
Plus récemment, d'autres modèles intègrent un mécanisme d'attention au sens de Xu et al. [Xu 2016] pour la reconnaissance d'écriture à partir d'images de mots [Kang 2019b], de lignes [Poulos 2017; Michael 2019] ou de paragraphes [Bluche 2016].

Dans ce chapitre, nous adaptons une architecture avec mécanisme d'attention pour la reconnaissance d'écriture manuscrite à partir de lignes de texte.

# 4.2 Description de l'architecture

Nous présentons ici une architecture, adaptée de celle proposée par Xu et al. [Xu 2016], pour la reconnaissance d'écriture manuscrite. L'implémentation est effectuée en utilisant le framework Pytorch. Dans la suite du chapitre, nous menons des expérimentations sur les différentes composantes du modèle afin d'aboutir à l'architecture la plus adaptée à la reconnaissance d'écriture.

## 4.2.1 Architecture

L'architecture seq2seq est un réseau encodeur-décodeur. L'encodeur permet d'encoder l'image dans un vecteur de caractéristique de taille fixe. Le décodeur est ensuite utilisé pour générer le texte associé à l'image, caractère par caractère. Pour chaque pas de temps, le mécanisme d'attention met en évidence une partie du vecteur de caractéristique sur laquelle le décodeur se concentre pour prédire le caractère correspondant. L'architecture est schématisée sur la figure 4.2.

### 4.2.1.1 Entrée du réseau

Le réseau de neurones prend des images RGB de lignes de texte en entrée. Les images sont redimensionnées afin de permettre un traitement par batch, et normalisées entre 0 et 1. Pour cela, une image noire de taille 1400x80 pixels est créée. L'image de ligne est redimensionnée en conservant son ratio originel, normalisée, puis collée dans l'image noire. Certaines transformations sont ensuite appliquées aléatoirement afin d'augmenter artificiellement la variabilité des images. La résolution, la luminosité, et le contraste de l'image sont modifiés. Une modification lourde peut également être appliquée aléatoirement. Cette transformation est tirée parmi trois types de transformations : un changement de perspective, une transformation affine, ou une déformation élastique sont appliqués.
<figure><img src="image_64.png" /><figcaption>**Figure 4.2** – Architecture seq2seq avec mécanisme d'attention. *L* est une fonction linéaire, ($c_i$) est le vecteur de contexte du décodeur et ($h_i$) est l'état caché du décodeur.</figcaption></figure>

Enfin, des dilatations et érosions sont utilisées afin de grossir ou affiner la taille du trait.
Chacune de ces transformations est appliquée avec une probabilité *p* = 0.2.

Le modèle est supervisé grâce au texte associé à l'image. Le texte correspondant à
l'ensemble d'apprentissage est analysé afin de calculer le nombre d'occurrences de chaque
caractère du dictionnaire. Les caractères apparaissant moins de 10 fois dans l'ensemble
d'apprentissage sont remplacés par le token <unk>. Deux tokens sont ajoutés à chaque
séquence : un premier token <start> et un dernier token <end>. Chaque séquence est
ensuite complétée avec le token <pad> jusqu'à être de taille fixe N. Cette taille est choisie
de façon à être supérieure à la taille de la plus grande séquence de caractères de l'ensemble
d'apprentissage (N = Nmax_app + 25), afin d'être en mesure de générer des séquences
suffisamment longues. Le texte est ensuite encodé grâce à une couche d'embedding de
dimension 32.

4.2.1.2 Encodeur

Le rôle de l'encodeur consiste à extraire des caractéristiques visuelles à partir des pixels de l'image d'entrée. Le papier original utilise une architecture VGG [Simonyan 2015], pré-entraînée sur la base de données ImageNet, dont les couches linéaires sont retirées afin de
ne garder que la partie convolutive.

Cette architecture étant très profonde, nous choisissons d'entraîner uniquement les dernières couches sur cette nouvelle tâche. Le vecteur de caractéristiques final a une taille 3x45 avec 512 canaux. Enfin, une couche de pooling adaptatif est utilisée afin de changer la taille du vecteur de caractéristiques. Cette étape a un impact sur les performances du système, et notamment sur l'attention. Dans la suite de ce chapitre, nous évaluons d'autres architectures pour l'encodeur. Nous étudions également l'intérêt d'ajouter des couches de récurrences dans la phase d'extraction des caractéristiques.

### 4.2.1.3 Mécanisme d'attention

Le mécanisme d'attention est situé entre l'encodeur et le décodeur. Il permet au décodeur de se concentrer sur la partie du vecteur de caractéristiques la plus pertinente pour la prise de décision. L'utilisation du mécanisme d'attention améliore la performance de ces réseaux. Nous utilisons ici le modèle d'attention proposée par BAHDANAU et al. [Bahdanau 2014]. D'autres modèles sont comparés dans la suite de ce chapitre.

Le mécanisme d'attention permet de calculer un vecteur de contexte $c_t$ pour chaque pas de temps. Ce vecteur est donné en entrée du décodeur, comme illustré sur le schéma 4.2. Ce vecteur de contexte correspond au vecteur caractéristique $v$ pondéré par les scores d'attention et est calculé de la façon suivante, pour chaque pas de temps $t$ :

$$c_t = \sum_{i=1}^{n} \alpha_{t,i} v_i$$

Le score $\alpha_{t,i}$ correspond à la pertinence d'un pixel du vecteur de caractéristique $v_i$ pour la décision prise au pas de temps $t$. Concrètement, une carte de probabilité est calculée afin de pondérer le vecteur de caractéristiques, ce qui permet de mettre en évidence les zones de l'image les plus pertinentes. Pour chaque pas de temps $t$, un score d'alignement est calculé en tout point du vecteur de caractéristique $v$. La carte de probabilité est calculée en passant le score d'alignement dans une fonction softmax.

$$\alpha_{t,i} = \mathrm{softmax}(\mathrm{align}(h_{t-1}, v_i)) = \frac{\exp(\mathrm{align}(h_{t-1}, v_i))}{\sum_{k=1}^{T_x} \exp(\mathrm{align}(h_{t-1}, v_k))}$$

$$\mathrm{align}(h_{t-1}, v_i) = V_a^T \tanh(W_1 h_{t-1} + W_2 v_i)$$

où $W_1$, $W_2$ et $V_a^T$ sont des matrices de poids apprises de façon conjointe avec le modèle
de reconnaissance.

La figure 4.3 illustre une carte d'attention lors de la génération de la séquence prédite. Dans cet exemple, l'attention est focalisée sur la bonne zone de l'image pour prédire la lettre a. Plus généralement, les cartes d'attention se concentrent sur des zones cohérentes pour la génération des caractères. Cet alignement entre l'image et la séquence prédite n'est pas supervisé : aucune segmentation préalable des lettres n'est nécessaire.

<figure><img src="image_65.png" /><figcaption>**Figure 4.3** – Visualisation des scores d'attention sur une image de la base de données Esposalles [Romero 2013] sur trois étapes consécutives. Le texte en bleu correspond à la transcription vérité complète. Le texte en rouge correspond à la transcription prédite par le réseau à l'étape *t* - l'attention se concentre sur la zone mise en évidence dans l'image pour prédire la dernière lettre de cette séquence.</figcaption></figure>

### 4.2.1.4 Décodeur

Le rôle du décodeur est de générer la séquence des caractères à partir du vecteur de caractéristiques pondéré par la carte d'attention. Le décodeur est un réseau récurrent. Pour chaque pas de temps, la sortie du décodeur est passée dans une couche softmax afin d'obtenir les probabilités respectives de chaque caractère de l'alphabet. Le décodage s'appuie sur l'algorithme *beam search*, avec une taille de faisceau de 5. Ainsi, les 5 séquences les plus probables sont sélectionnées à chaque pas de temps *t*. À la fin du décodage, la meilleure séquence parmi les 5 retenues est sélectionnée.
## 4.2.2 Paramètres d'apprentissage

**Fonction de coût** L'architecture proposée par Xu et al. [Xu 2016] est entraînée en minimisant la fonction de coût d'entropie croisée $\mathcal{L}_{CE}$, ou Cross Entropy (CE).

Il a été démontré que l’intégration de la fonction de coût de classification connexion- niste temporelle, Connectionnist Temporal Classification (CTC), accélère la convergence du système et améliore ses performances, notamment pour des tâches de reconnaissance de la parole [Kim 2016] et de reconnaissance d’écriture [Michael 2019]. Nous utilisons donc la fonction de coût CTC $\mathcal{L}_{CTC}$ afin d’affiner les poids de l’encodeur.

Un terme de régularisation est ajouté au niveau du mécanisme d'attention, afin d'en- courager le modèle à se concentrer sur toutes les zones de l'image durant la génération

$$ \mathcal{L}_{reg} = -\lambda \sum_{i}^{L} (1 - \sum_{t}^{T} \alpha_{ti}^2) $$

où T est la taille de la séquence, L le nombre de pixels du vecteur caractéristique et $\alpha_{ti}$ le poids de l'attention du pixel i de la carte d'attention généré au pas de temps t.

La fonction de coût finale est une combinaison convexe de la fonction CE et CTC, à laquelle s'ajoute le terme de régularisation du mécanisme d'attention.

$$ \mathcal{L} = \beta \mathcal{L}_{CE} + (1 - \beta) \mathcal{L}_{CTC} + \mathcal{L}_{reg} $$

**Convergence** La descente de gradient est effectuée à l'aide de l'algorithme Adam. L'apprentissage s'arrête lorsque la fonction de coût de validation ne diminue pas pendant 20 epochs. Les poids de la meilleure epoch en validation sont retenus pour l'inférence.

**Teacher forcing** Durant l'apprentissage, le teacher forcing est utilisé afin d'accélérer et stabiliser la convergence. Au moment de la prédiction de l'étape t, la prédiction à l'étape t-1, la vérité terrain t-1 est utilisée. L'inconvénient de cette approche est qu'elle simplifie grandement le problème : elle empêche ainsi le décodeur d'apprendre à partir de ses propres erreurs, ce qui provoque un biais au moment de l'inférence. Pour résoudre ce problème, nous utilisons du teacher forcing aléatoirement pendant l'apprentissage, avec une probabilité $p = 0.5$.
<figure><img src="image_66.png" /><figcaption>**Figure 4.4** – Fonction de coût hybride pour l’apprentissage du modèle seq2seq. La fonction est une combinaison des fonctions de coût CE et CTC, à laquelle s’ajoute un terme de régularisation de l’attention.</figcaption></figure>

**Dropout** Enfin, le dropout est utilisé comme méthode de régularisation dans l'encodeur et dans le décodeur.

## 4.3 Expérimentations

Dans cette section, nous réalisons certaines expérimentations sur la base de données IAM [Marti 2002] afin d'améliorer l'architecture et les paramètres d'apprentissage pour la tâche de reconnaissance d'écriture manuscrite.

### 4.3.1 Architecture

Dans un premier temps, nous réalisons des optimisations sur l'architecture du réseau.

#### 4.3.1.1 Encodeur

Trois encodeurs génériques pré-entraînés sur ImageNet [Deng 2009] sont comparés : ResNet-50, ResNet-101 et VGG-16. Seules les dernières couches de convolutions sont spé-
**Table 4.1** – Expérimentations menées sur l'architecture de l'encodeur. La base de l'encodeur est un réseau pré-entraîné sur la base ImageNet [Deng 2009]. Seules quelques couches de convolution sont entraînées sur la base de données IAM [Marti 2002] afin de réduire le nombre de paramètres. L'impact des couches récurrentes est également évalué : elles permettent d'améliorer les scores de reconnaissance.

<table><caption>(a) Paramètres des différents modèles de base</caption><thead><tr><th>Encodeur</th><th>Paramètres (total)</th><th>Paramètres (entraînables)</th></tr></thead><tbody><tr><td>ResNet-50</td><td>25M</td><td>2.5M</td></tr><tr><td>ResNet-101</td><td>44M</td><td>2.5M</td></tr><tr><td>VGG-16</td><td>138M</td><td>2.4M</td></tr></tbody></table>

<table><caption>(b) Scores des différentes architectures d'encodeurs</caption><thead><tr><th>Encodeur</th><th>CER (%) ↓</th><th>WER (%) ↓</th></tr></thead><tbody><tr><td>VGG-16</td><td>48.83</td><td>98.05</td></tr><tr><td>ResNet-50</td><td>10.34</td><td>35.59</td></tr><tr><td>ResNet-101</td><td>7.10</td><td>26.99</td></tr><tr><td>ResNet-101 + GRU (2 couches)</td><td>7.49</td><td>29.25</td></tr><tr><td>ResNet-101 + Bi-GRU (2 couches)</td><td>5.52</td><td>23.14</td></tr><tr><td>ResNet-101 + LSTM (2 couches)</td><td>8.28</td><td>30.82</td></tr><tr><td>ResNet-101 + Bi-LSTM (2 couches)</td><td><strong>5.22</strong></td><td><strong>21.71</strong></td></tr><tr><td>ResNet-101 + Bi-LSTM (1 couche)</td><td>6.63</td><td>26.36</td></tr><tr><td>ResNet-101 + Bi-LSTM (3 couches)</td><td>8.03</td><td>30.88</td></tr></tbody></table>

cialisées pour la reconnaissance d'écriture, afin de réduire le nombre de paramètres à apprendre à environ 2.5M. Pour le réseau VGG, seule la dernière couche est spécialisée. Pour les deux architectures ResNet, le dernier bloc de convolution est spécialisé, ce qui correspond aux trois dernières couches de convolution. Les résultats du tableau 4.1 montrent que l'architecture ResNet-101 permet d'améliorer considérablement les performances du modèle. Deux facteurs peuvent expliquer ce gain considérable. D'une part, seule une couche de l'architecture VGG est spécialisée : les caractéristiques sont donc probablement peu adaptées à la reconnaissance d'écriture. D'autre part, ResNet permet un encodage plus riche, avec 2018 canaux au lieu de 512 pour le vecteur de caractéristiques.

Nous étudions également l'impact des blocs de récurrence ajoutés après le réseau convolutif. Au préalable, le vecteur de caractéristique est aplati en utilisant un *average pooling* adaptatif. Les résultats montrent que l'ajout d'un réseau BLSTM à la suite de ResNet-101
améliore les résultats : un gain de 2% sur le taux d'erreur caractère, et de 5% sur le taux d'erreur mot. Cette configuration est sélectionnée pour la suite de ce travail.

### 4.3.1.2 Décodeur

Nous étudions également l'architecture du décodeur, en particulier nous comparons l'utilisation de cellule LSTM ou GRU, dont une comparaison détaillée a été proposée par CHUNG et al. [Chung 2014]. Leur étude met en évidence que les GRUs et les LSTMs permettent d'obtenir des résultats comparables. Dans le cas de notre architecture, les résultats du tableau 4.2 montrent une amélioration non négligeable des résultats avec la cellule LSTM. C'est donc cette configuration qui est retenue pour la suite de notre étude.

<table><caption>**Table 4.2** – Expérimentations sur l'architecture du décodeur sur la base de données IAM</caption><thead><tr><th>Décodeur</th><th>CER (%) ↓</th><th>WER (%) ↓</th></tr></thead><tbody><tr><td>LSTM</td><td><b>5.22</b></td><td><b>21.71</b></td></tr><tr><td>GRU</td><td>6.91</td><td>27.26</td></tr></tbody></table>

## 4.3.2 Mécanisme d'attention

En plus de l'attention *additive*, proposée par [Bahdanau 2014], nous étudions les scores d'alignement proposés par LUONG et al. [Luong 2015b] et CHOROWSKI et al. [Chorowski 2015b]. Nous proposons également un score pénalisé pour la reconnaissance d'écriture.

**Attention multiplicative** L'attention multiplicative de LUONG et al. [Luong 2015b] a été proposée pour une tâche de traduction automatique, et a depuis été reprise dans les réseaux Transformers [Vaswani 2017]. Le score d'alignement mesure une similarité entre le vecteur de caractéristique et l'état caché du décodeur :

$$align_L(h_t, v_i) = h_t^T v_i$$

**Attention hybride** L'attention hybride de CHOROWSKI et al. [Chorowski 2015b] a été proposée pour une tâche de reconnaissance de la parole. Elle étend la fonction d'alignement de BAHDANAU et al. [Bahdanau 2014] en ajoutant une information sur la localisation de l'attention à l'étape précédente. Pour cela, le score d'attention de l'étape précédente est
convolué par une matrice F dont les poids sont appris par le réseau.

$$f_{i,t} = F \times \alpha_{i-1}$$

Le score d'alignement est ensuite défini de la façon suivante :

$$align_C(s_t, h_i) = w^T \tanh(W h_{t-1} + V v_i + U f_{i,t} + b)$$

où w et b sont des vecteurs et W, V sont des matrices.

**Attention hybride pénalisée** Nous proposons également une variante d'attention pénalisée, adaptée à la reconnaissance d'écriture. La pénalisation force l'attention à bouger de sa position précédente. Nous proposons un mécanisme d'attention pénalisée pour la reconnaissance d'écriture latine, basé sur l'attention de CHOROWSKI et al. [Chorowski 2015b]. Puisque l'écriture latine se lit de gauche à droite, nous proposons de pénaliser fortement le texte qui a déjà été lu par le réseau, afin de le forcer à se concentrer sur une zone qui n'a pas encore été vue.

$$\alpha_{t,i} = \mathrm{softmax}(align_C(s_t, h_i) \times (1 - align_C(s_{t-1}, h_i)))$$

**Comparaison des mécanismes d'attention** Les résultats quantitatifs sont présentés dans la table 4.3. Le mécanisme d'attention le moins effectif semble être l'attention multiplicative. La convergence de l'architecture est fortement perturbée par ce mécanisme d'attention. L'observation des cartes d'attention montre que le réseau se focalise sur des zones incohérentes.

Au contraire, l'attention hybride permet d'obtenir les meilleurs résultats, avec un gain de 1% sur le CER par rapport à l'attention additive. Les cartes d'attention pour les attentions hybride, additive et hybride pénalisée se ressemblent : le réseau se concentre sur des zones cohérentes.

Enfin, l'attention hybride pénalisée n'apporte rien de plus au réseau : l'attention se déplace de façon cohérente de gauche à droite, et ce, sans pénalisation.

### 4.3.3 Fonction de coût hybride

Dans le tableau ??, nous avons souhaité comparer l'architecture seq2seq avec l'architecture CRNN-CTC correspondante. Pour cela, il suffit de fixer $\alpha = 0$ dans la fonction de
<figure><img src="image_67.png" /><figcaption>**Figure 4.5** – Visualisation des différents types d'attention. La séquentialité de l'analyse est représentée de haut en bas. Pour chaque caractère, les zones d'attention apparaissent en rose. La diagonale montre que le réseau est capable de focaliser son attention sur des zones cohérentes au fur et à mesure de l'analyse.</figcaption></figure>
<table><caption>**Table 4.3** – Comparaison des différents types de mécanismes d'attention sur la base de données IAM</caption><thead><tr><th>Type d'attention</th><th>CER (%) ↓</th><th>WER (%) ↓</th></tr></thead><tbody><tr><td>Multiplicative [Luong 2015b]</td><td>7.15</td><td>30.19</td></tr><tr><td>Additive [Bahdanau 2014]</td><td>6.15</td><td>25.43</td></tr><tr><td>Hybride [Chorowski 2015b]</td><td><strong>5.39</strong></td><td><strong>23.00</strong></td></tr><tr><td>Hybride pénalisée</td><td>5.50</td><td>23.39</td></tr></tbody></table>

coût hybride, afin d'entraîner et évaluer l'encodeur uniquement.

Nous évaluons également l'architecture seq2seq apprise avec la fonction de coût hybride et $\alpha = 0.5$. Dans cette configuration, l'encodeur et le décodeur peuvent chacun être évalués indépendamment [Michael 2019]. Enfin, nous évaluons cette architecture sans utiliser la fonction de coût CTC, soit avec $\alpha = 1$.

Il est intéressant d'observer que l'évaluation de l'encodeur permet d'obtenir un meilleur taux de reconnaissance caractère, alors que l'évaluation du décodeur permet d'obtenir un meilleur taux de reconnaissance au niveau des mots. Dans les deux configurations, le modèle seq2seq appris avec la fonction de coût hybride est plus performant que la configuration CRNN-CTC, qui correspond à l'architecture classique pour la reconnaissance d'écriture. Cela est probablement dû au mécanisme d'attention et au modèle linguistique implicite appris par le décodeur.

### 4.3.4 Intégration d'un modèle de langue

La dernière expérimentation menée sur cette architecture concerne l'intégration d'un modèle de langue explicite. Pour cela, nous avons évalué l'architecture avec et sans la connaissance d'un modèle de langue 3-gram. La fusion des connaissances du modèle seq2seq et du modèle de langue 3-gram se fait au niveau dans la phase de décodage.

D'une part, le décodeur produit un vecteur de probabilité par caractères $p_{dec}$. D'autre part, le modèle 3-gram modélise la fréquence des triplets de caractères observés dans l'ensemble d'apprentissage. Il est donc capable de produire un vecteur de probabilités par caractère $p_{gram}$, en fonction des deux derniers caractères prédits par le réseau. Ces probabilités sont fusionnées $p = (1 - \beta_{lm}) \times p_{dec} + \beta_{lm} \times p_{lm}$, à l'exception de celle du token `<end>` qui est très peu probable dans le modèle N-gram.

Les résultats, présentés dans la table 4.5, ne sont pas concluants. En effet, le réseau seq2seq obtient de meilleures performances sans modèle de langue explicite. Ces résul-
<table><caption>**Table 4.4** – Évaluation quantitative de la reconnaissance d'écriture manuscrite sur quatre bases de données, sans post-processing. Le tableau permet de comparer les performances d'un CRNN-CTC et d'un seq2seq basés sur le même encodeur. Le seq2seq appris avec la loss hybride peut être évalué au niveau de l'encodeur (CTC) ou du décodeur (CE).</caption><thead><tr><th>Base de données</th><th>IAM</th><th>READ</th><th>RIMES</th><th>Esposalles</th></tr></thead><tbody><tr><td colspan="5" style="text-align: center;">CER (%) ↓</td></tr><tr><td>Encodeur (CTC)</td><td>6.06</td><td>14.53</td><td>5.18</td><td><strong>1.61</strong></td></tr><tr><td>Décodeur (CE)</td><td>8.72</td><td>20.38</td><td>7.59</td><td>2.62</td></tr><tr><td>Encodeur (hybrid)</td><td><strong>5.13</strong></td><td><strong>12.10</strong></td><td><strong>3.29</strong></td><td>2.36</td></tr><tr><td>Décodeur (hybrid)</td><td>5.22</td><td>12.70</td><td>4.35</td><td>2.35</td></tr><tr><td colspan="5" style="text-align: center;">WER (%) ↓</td></tr><tr><td>Encodeur (CTC)</td><td>27.68</td><td>48.02</td><td>27.94</td><td><strong>6.75</strong></td></tr><tr><td>Decoder (CE)</td><td>32.90</td><td>57.01</td><td>23.73</td><td></td></tr><tr><td>Encodeur (hybrid)</td><td>24.30</td><td>43.42</td><td>20.33</td><td>11.33</td></tr><tr><td>Décodeur (hybrid)</td><td><strong>23.00</strong></td><td><strong>41.66</strong></td><td><strong>18.93</strong></td><td>7.90</td></tr></tbody></table>

tats ont également été observés par KANG et al. [Kang 2019a]. Dans leur article, les auteurs proposent trois façons de fusionner les informations d'un modèle seq2seq et du modèle de langue. Si les deux premières méthodes proposées ne parviennent pas à améliorer les résultats, leur troisième proposition « Candidate fusion » permet un gain de performance. Cependant, ce gain reste négligeable. En revanche, ils montrent que le score peut être amélioré de façon plus significative par l'utilisation d'un dictionnaire fermé en post-processing.

<table><caption>**Table 4.5** – Résultats quantitatifs de l'intégration d'un modèle de langue à l'architecture seq2seq. Les résultats montrent que l'architecture seq2seq est plus performante sans modèle de langue explicite.</caption><thead><tr><th>Coefficient β<sub>lm</sub></th><th>N-gram</th><th>CER (%) ↓</th><th>WER (%) ↓</th></tr></thead><tbody><tr><td>0</td><td>-</td><td><strong>5.22</strong></td><td><strong>23.00</strong></td></tr><tr><td>0.5</td><td>3-gram</td><td>8.38</td><td>34.84</td></tr><tr><td>0.3</td><td>3-gram</td><td>7.39</td><td>30.49</td></tr><tr><td>0.1</td><td>3-gram</td><td>7.16</td><td>29.05</td></tr></tbody></table>
### 4.3.5 Comparaison à l'état de l'art

L'architecture retenue est composée d'un encodeur convolutif récurrent (ResNet-100 combiné à un réseau Bi-LSTM), d'un mécanisme d'attention hybride et d'un décodeur LSTM. L'apprentissage se fait avec une fonction de coût hybride. Dans un premier temps, nous démontrons l'intérêt de cette architecture seq2seq pour la reconnaissance d'écriture. L'évaluation est réalisée sur quatre bases de données publiques au niveau des lignes : IAM [Marti 2002] (moderne, anglais) et RIMES [Augustin 2006] (moderne, français). Nous comparons notre architecture avec d'autres méthodes à l'état de l'art, sans post-traitement ni modèle de langue, dans le tableau. 4.6. Notre architecture finale obtient des résultats compétitifs sur la base de données IAM.

<table><caption>**Table 4.6** – Comparaison avec les méthodes de l'état de l'art pour la reconnaissance d'écriture (CER %) à l'échelle des lignes de texte, sur l'échantillon de test, et sans modèle de langue ou post-processing.</caption><thead><tr><th>System</th><th>Method</th><th>IAM</th><th>RIMES</th></tr></thead><tbody><tr><td>CRNN-CTC</td><td>Wigington et al. [Wigington 2018b]</td><td>6.4</td><td><strong>2.1</strong></td></tr><tr><td>CRNN-CTC</td><td>Puigcerver [Puigcerver 2017]</td><td>5.8</td><td>2.3</td></tr><tr><td>CRNN-CTC</td><td>Dutta et al. [Dutta 2018]</td><td>5.2</td><td>5.1</td></tr><tr><td>CRNN-CTC</td><td>Ours</td><td>6.1</td><td>5.2</td></tr><tr><td>Seq2seq</td><td>Poulos et al. [Poulos 2017]</td><td>16.6</td><td>12.1</td></tr><tr><td>Seq2seq</td><td>Chowdhury et al. [Chowdhury 2018]</td><td>8.1</td><td>3.5</td></tr><tr><td>Seq2seq</td><td>Bluche [Bluche 2016]</td><td>7.9</td><td>2.9</td></tr><tr><td>Seq2seq</td><td>Michael et al. [Michael 2019]</td><td><strong>5.2</strong></td><td>-</td></tr><tr><td>Seq2seq</td><td>Ours</td><td><strong>5.2</strong></td><td>4.4</td></tr><tr><td>Transformers</td><td>Kang et al. [Kang 2020a]</td><td>7.6</td><td>-</td></tr></tbody></table>

## 4.4 Applications aux registres paroissiaux

Nous souhaitons à présent étudier l'applicabilité de ce modèle à la reconnaissance du texte des registres paroissiaux. Pour cela, nous réalisons quelques expérimentations de transfert de connaissance, avec très peu ou pas de données de spécialisation.

Nous étudions également, sur les bases publiques, l'impact de la taille de l'ensemble d'apprentissage sur les performances du système. Cette étude nous permet d'estimer un nombre de documents à transcrire afin d'obtenir un modèle utilisable.
4.4.1 Stratégie d'apprentissage

Nous disposons de 700 lignes de texte de registres paroissiaux, qui correspondent
à la base HTR-BMS. Ces lignes sont réparties dans les ensembles d'apprentissage, de
validation et de test selon trois découpages. Nous créons également une base de données
**HTR-générique** qui regroupe les bases de données IAM, RIMES, Esposalles, READ et
HTR-Paleo.

Évaluation avec spécialisation Dans cette première expérimentation, la base HTR-BMS est découpée en 200 images d'apprentissage, 200 images de validation et 300 images de test. Nous spécialisons le modèle, pré-entraîné sur la base HTR-générique, en utilisant ces 200 images d'apprentissage et 200 images de validation. Nous constatons que le modèle diverge lors de la spécialisation, ce qui indique que le nombre d'images d'apprentissage n'est pas suffisant pour envisager une spécialisation En règle générale, il est souvent dé-conseillé de spécialiser un réseau sur si peu d'échantillons. En effet, l'utilisation d'un faible nombre d'images tend à favoriser le sur-apprentissage, ce qui dégrade les performances du modèle sur l'échantillon de test.

**Évaluation sans spécialisation** Dans cette deuxième expérimentation, toutes les images de la base HTR-BMS sont utilisées en test. Le modèle est appris sur la base HTR-générique et évaluée sur la base HTR-BMS, sans aucune spécialisation sur ces documents. Les résultats sont faibles : le taux d'erreur caractère est d'environ 50%.

Évaluation avec spécialisation uniquement dans l'ensemble de validation Dans cette dernière expérimentation, aucune ligne de la base HTR-BMS n'est utilisée pour l'apprentissage, 300 sont utilisées en validation et 400 en test. L'apprentissage est effectué sur la base de données HTR-générique, en utilisant 300 lignes de registres paroissiaux comme échantillons de validation. Les taux de reconnaissance s'améliorent, avec un CER à environ 34%, mais restent inexploitables. Nous effectuons la même expérience avec le réseau de neurones pré-entraîné sur une base de données publique individuelle. Les résultats de la table 4.7 montrent que le pré-entraînement sur READ et HTR-Paleo permettent d'obtenir les meilleurs résultats. À l'inverse, lorsque l'architecture est pré-entraînée sur Esposalles, RIMES ou IAM, les scores chutent. Cela peut s'expliquer par le fait que READ et HTR-Paleo sont les plus proches des registres paroissiaux. Au contraire, RIMES, Esposalles et IAM sont plutôt homogènes.
<table><caption>**Table 4.7** – Résultats du transfert de connaissance sur la base de données HTR-BMS. L'utilisation d'une base générique en apprentissage, et de registres paroissiaux en validation aide à améliorer les performances du réseau. Cependant, les taux d'erreur restent trop élevés.</caption><thead><tr><th>Base d'apprentissage</th><th>Base de validation</th><th>Base de test</th><th>CER (%) ↓</th><th>WER (%) ↓</th></tr></thead><tbody><tr><td>HTR-générique</td><td>HTR-générique</td><td>HTR-BMS</td><td>49.95</td><td>95.42</td></tr><tr><td>Esposalles</td><td>HTR-BMS</td><td>HTR-BMS</td><td>99.14</td><td>129.49</td></tr><tr><td>READ</td><td>HTR-BMS</td><td>HTR-BMS</td><td>54.92</td><td>100.02</td></tr><tr><td>RIMES</td><td>HTR-BMS</td><td>HTR-BMS</td><td>67.52</td><td>97.88</td></tr><tr><td>IAM</td><td>HTR-BMS</td><td>HTR-BMS</td><td>65.20</td><td>119.36</td></tr><tr><td>HTR-Paleo</td><td>HTR-BMS</td><td>HTR-BMS</td><td>57.48</td><td>142.86</td></tr><tr><td>HTR-générique</td><td>HTR-BMS</td><td>HTR-BMS</td><td><strong>33.87</strong></td><td><strong>82.84</strong></td></tr></tbody></table>

<figure><img src="image_68.png" /><figcaption>(a) Fonction de coût d'apprentissage</figcaption></figure>

<figure><img src="image_69.png" /><figcaption>(b) Fonction de coût de validation</figcaption></figure>

**Figure 4.6** – Problèmes de convergence des différents modèles lorsque la validation est effectuée sur la base de données HTR-BMS. Une même architecture est apprise sur IAM (vert clair), READ (rose), RIMES (marron), Esposalles (bleu), HTR-Paleo (vert foncé), ou sur l'union de toutes ces bases (violet). L'apprentissage est validé sur HTR-BMS. Les bases de données READ, HTR-Paleo et HTR-générique sont les seules à permettre la convergence du modèle.

La figure 4.6 illustre les problèmes de convergence rencontrés lors de cette configuration de transfert de connaissance. Lorsque l'architecture est apprise sur des images très différentes des registres paroissiaux, la fonction de coût de validation diverge en raison de la différence trop importante entre l'ensemble d'apprentissage et de validation. En revanche, lorsque le modèle apprend sur une base plus hétérogène ou proche des registres paroissiaux, comme les bases HTR-générique, READ, ou HTR-Paleo, l'apprentissage est possible. La figure 4.7 présente un exemple de carte d'attention obtenue sur une ligne de registre BMS, avec le modèle appris sur la base de données HTR-générique. Le mécanisme d'attention s'adapte bien à ce nouveau style d'écriture, mais le réseau produit de nombreuses erreurs à l'échelle des caractères.
<figure><img src="image_70.png" /><figcaption>**Figure 4.7** – Exemple de carte d'attention sur la base de données HTR-BMS. L'attention est cohérente avec la génération des lettres. En revanche, le taux d'erreur est élevé.</figcaption></figure>

Vérité : riebaut originaire de montreuil sur isle et domicilier

Prédiction : nubant eiquelire de montrevil sur ister et demilier

### 4.4.2 Estimation du nombre d'images nécessaires

Les résultats présentés sur la base HTR-BMS confirment que le manque de données est un point bloquant pour la reconnaissance de registres paroissiaux. Nous souhaitons à présent estimer le nombre de registres qu'il est nécessaire de transcrire afin d'obtenir des performances compétitives.

Pour cela, nous avons comparé les taux d'erreur caractère pour IAM, RIMES et Esposalles, en fonction du nombre d'images d'apprentissage. Nous avons choisi d'ignorer la base de données READ, car elle contient des documents issus de collections variées. La figure 4.8 synthétise les résultats. Pour Esposalles, environ 400 images de lignes suffisent à obtenir un CER à 10%. Cela correspond à environ 100 actes ou 15 pages de documents transcrits. Ce résultat s'explique par l'homogénéité de la base de données Esposalles : elle ne contient qu'un style d'écriture, et les documents sont de très bonne qualité. Les bases de données IAM et RIMES obtiennent des résultats comparables : environ 6500 lignes sont nécessaires pour obtenir 10% de taux d'erreur caractère. Ces documents sont plus hétérogènes, mais sont de bonne qualité et ne présentent pas de dégradations. Enfin, sur la base READ, l'utilisation de tous les documents (>10000 lignes) ne permet pas d'obtenir un CER inférieur à 10%. Les images de cette base sont très hétérogènes, mais de bonne qualité. Pour ces raisons, nous pensons qu'il est nécessaire d'annoter environ 10000 lignes de registres paroissiaux pour obtenir un CER avoisinant les 10% sur la base HTR-BMS. Cela correspond à environ 1500 actes, soit 200 pages de documents rien que pour l'apprentissage. En tenant compte des ensembles de validation et de test, ce chiffre monterait à environ 2000 actes.

### 4.4.3 Discussion

Les expérimentations menées dans ce chapitre montrent clairement l'impact du manque de transcriptions de registres paroissiaux sur les performances du système.

Nous sommes en mesure d'affirmer que la limite de notre approche vient du manque
<figure><img src="image_71.png" /><figcaption>**Figure 4.8** – Impact du nombre d'images d'apprentissage sur les performances du système.</figcaption></figure>

d'annotations, et pas de l'architecture. En effet, le réseau de neurones obtient un CER
de 12% sur READ, qui est d'une difficulté comparable à la base HTR-BMS. Or, un score
proche de 10% est acceptable sur des documents anciens, car la correction des erreurs
nécessite peu d'effort [Strauß 2018].

L'annotation de ces documents n'a pas été envisageable pendant ce travail de thèse en raison de la difficulté de lecture et du temps nécessaire à la réalisation d'une transcription de qualité. Pour surmonter ce manque de données, nous introduisons dans le dernier chapitre une méthode de génération d'actes synthétiques qui vise à réduire la dépendance en transcriptions.

**4.5 Conclusion du chapitre**

Dans ce chapitre, nous avons proposé une architecture basée sur un mécanisme d'at-
tention pour la reconnaissance d'écriture manuscrite.

Cette architecture est intéressante, car elle permet d'extraire des caractéristiques per-
tinentes pour la prédiction des caractères et la modélisation implicite du langage. De plus,
le mécanisme d'attention rend la prise de décision plus explicable, car il met en évidence
les zones de l'image les plus utiles pour générer la séquence.

Nous avons réalisé de nombreuses expérimentations sur cette architecture, et nous avons comparé plusieurs mécanismes d'attention pour la reconnaissance d'écriture manuscrite. Les expérimentations menées ont également souligné l'intérêt de la fonction de coût hybride, proposée par MICHAEL et al. [Michael 2019]. Enfin, nous avons montré son intérêt par rapport à l'architecture CRNN-CTC, classiquement utilisée pour la reconnaissance d'écriture.

Nous avons ensuite discuté de l'applicabilité de cette architecture aux registres paroissiaux, dans un contexte où peu de données d'apprentissage sont disponibles. Plusieurs stratégies ont été envisagées afin de transférer les connaissances apprises sur des bases de données publiques vers les registres paroissiaux. La stratégie la plus efficace consiste à apprendre le modèle sur une base de données générique, combinant cinq bases de données publiques, et à utiliser 200 lignes de registres paroissiaux pour la validation du modèle. Cependant, les résultats restent loin d'être satisfaisants. L'analyse des résultats sur des bases données publiques nous a également permis d'estimer que la transcription d'environ 2000 actes est nécessaire pour l'apprentissage de réseaux de neurones sur des registres paroissiaux.

Dans le prochain chapitre, nous abordons la question de l'extraction d'information à partir d'images de documents. Enfin, dans le dernier chapitre, nous présentons une méthodologie de génération d'actes synthétiques, afin de réduire la dépendance en annotations.
# EXTRACTION D'INFORMATIONS
PERTINENTES

Dans ce chapitre, nous présentons nos contributions pour la tâche d'extraction d'informations dans des documents historiques semi-structurés. Nous comparons objectivement les deux grandes approches proposées pour adresser cette tâche : l'*approche séquentielle*, pour laquelle la phase de reconnaissance d'écriture intervient avant la phase de classification des entités nommées, et l'*approche combinée*, pour laquelle ces deux tâches sont effectuées en même temps. Nous proposons également d'étudier l'intérêt des réseaux de neurones avec mécanisme d'attention pour l'*approche combinée*. Nous explorons également de nouvelles stratégies d'apprentissage conjointes basées sur des configurations multi-tâches et multi-échelles. Enfin, nous évaluons nos contributions sur la base de données Esposalles [Romero 2013] et discutons de l'applicabilité de ces méthodes pour la reconnaissance de registres paroissiaux. Les travaux présentés dans ce chapitre ont été présentés au Doctoral Consortium d'ICDAR 2021 [Tarride 2021a] et un article est en cours de soumission pour la conférence DAS 2022 [Tarride 2021b].

## 5.1 Introduction

L'extraction d'information consiste à reconnaître automatiquement les mots importants à partir de l'image d'un document numérisé. L'intérêt de cette tâche de reconnaissance s'est développé avec la numérisation massive des registres de population en Europe, comme évoqué dans le chapitre 2. L'enjeu est d'extraire massivement des informations structurées (nom, prénom, âge, métier...) à partir de l'analyse de ces registres. Cette extraction permettra, d'indexer ces documents afin de faciliter leur recherche en ligne, mais également d'envisager des analyses statistiques et macroscopiques des données extraites.

La recherche dans ce domaine a connu un essor important grâce à la publication de la base de données publique Esposalles [Romero 2013] et l'organisation de la compétition
IEHHR (Information Extraction in Historical Handwritten Records), proposée lors de la conférence ICDAR 2017 [Fornés 2017]. Le but de cette compétition est d'identifier les mots importants dans des actes de mariages catalans du XVIIe siècle. Ces mots importants correspondent à certaines catégories sémantiques (nom, prénom, lieu, métier...) ainsi que les personnes auxquelles ils se rapportent (époux, épouse, parents...). Cette compétition a permis de développer de premières stratégies de reconnaissance encourageantes.

L'approche classique pour aborder ce problème est séquentielle, et consiste à effectuer la transcription automatique du document, puis la classification des mots reconnus dans des entités nommées. Une seconde approche, proposée plus récemment, consiste à combiner les deux tâches de reconnaissance de texte et d'entités nommées, en partageant des caractéristiques contextuelles pour ces deux tâches. Cette seconde approche nous semble particulièrement intéressante pour fiabiliser l'extraction d'information. En effet, les actes possèdent un vocabulaire réduit, qui est encore plus limité au sein d'une même catégorie sémantique. Par exemple, on retrouve souvent les mêmes prénoms, les mêmes lieux et les mêmes métiers dans un registre. En outre, la structure des phrases, les informations présentes, ainsi que leur ordre d'apparition dans l'acte sont récurrents. La connaissance de la catégorie sémantique doit aider à transcrire le mot de façon plus précise, et la connaissance du mot doit permettre de déduire sa catégorie sémantique. Pour ces raisons, nous pensons que les tâches de reconnaissance de caractères et d'entités nommées sont interdépendantes, et doivent être traités simultanément. Nous souhaitons vérifier cette intuition en comparant équitablement ces deux stratégies. Par ailleurs, les réseaux de neurones avec mécanismes d'attention se prêtent particulièrement bien à cette approche, car ils permettent de se focaliser sur des caractéristiques pertinentes pour chaque tâche. Pourtant, l'intérêt de ces réseaux n'a pas été étudié en détail dans un contexte d'extraction d'information.

Dans ce chapitre, nous proposons donc d'étudier deux axes autour des approches combinées pour l'extraction d'information. En premier lieu, nous souhaitons mesurer l'apport d'une approche combinée par rapport à une approche séquentielle. Pour cela, nous comparons ces deux approches dans des conditions similaires : même architecture, mêmes données d'apprentissage, sans post-processing ni modèle de langue. En second lieu, nous souhaitons évaluer l'impact des architectures basées sur un mécanisme d'attention pour la reconnaissance conjointe de l'écriture et des entités nommées. Enfin, nous proposons plusieurs variations de l'architecture seq2seq afin de permettre des analyses multi échelles ou multi tâches, en modulant un ou plusieurs encodeurs à un ou plusieurs décodeurs.
Ces expérimentations sont évaluées sur la base de données Esposalles, et comparées aux résultats soumis à la compétition IEHHR. Nous discutons également de l'applicabilité de ces approches pour l'extraction d'informations dans les registres paroissiaux.

## 5.2 Quelle stratégie pour l'extraction d'information ?

L'objectif de cette première section est de comparer objectivement les deux approches couramment utilisées pour l'extraction d'information : l'approche séquentielle et l'approche combinée. En effet, si l'approche combinée nous semble intéressante et particulièrement adaptée à la reconnaissance de documents semi-structurés, son intérêt n'a pas été démontré. Nous souhaitons ainsi réaliser une comparaison objective de ces deux approches, en utilisant la même architecture et les mêmes conditions d'apprentissage. L'objectif est de mesurer le gain potentiel amené par la connaissance du contexte, aussi bien au niveau de la reconnaissance d'écriture que de la reconnaissance des catégories sémantiques. Nous souhaitons également identifier les forces et les faiblesses de chaque approche.

### 5.2.1 Présentation des deux approches

Nous présentons ici les caractéristiques des deux types d'approches envisagées pour l'extraction d'information :

- L'approche séquentielle, qui consiste à effectuer la reconnaissance d'écriture, puis la classification sémantique des mots ;

- L'approche combinée, qui consiste à effectuer la reconnaissance d'écriture en même temps que la classification sémantique des mots ;

#### 5.2.1.1 Approche séquentielle

L'approche séquentielle consiste à appliquer deux modèles disjoints pour les tâches de reconnaissance d'écriture et de reconnaissance de catégories sémantiques. Un premier modèle effectue la reconnaissance d'écriture, ce qui consiste à prédire la séquence textuelle de caractères visibles sur l'image. Puis, un second modèle est utilisé pour la tâche de reconnaissance d'entités nommées, qui consiste à classer chaque mot à partir de la transcription prédite par le premier modèle. Cette stratégie est la plus populaire pour l'extraction d'information : les quatre méthodes soumises à la compétition en 2017 étaient basées sur cette stratégie [Fornés 2017]. Celles-ci ont été détaillées dans le chapitre 2.
Nous proposons de reproduire cette approche avec le réseau seq2seq, présenté dans le chapitre précédent, pour la modélisation des caractères. Puis, nous utilisons le modèle FLAIR [Akbik 2019] avec différents embeddings pour reconnaître les catégories sémantiques. Un schéma de cette stratégie est présenté dans la figure 5.1a.

### 5.2.1.2 Stratégie combinée

La stratégie conjointe consiste à utiliser un seul modèle pour effectuer les deux tâches de reconnaissance d'écriture et de catégories sémantiques. Son fonctionnement a été détaillé dans le chapitre 2. Leur méthode consiste à enrichir la transcription avec des tags qui permettent d'identifier les catégories et les personnes associées aux mots. Les tags sont localisés juste avant les mots et sont traités par le modèle de reconnaissance de la même façon qu'un caractère. Cette approche, initiallement proposée par CARBONELL et al. [Carbonell 2018] en 2018, a été fait en utilisant un réseau CRNN-CTC. En 2021, elle a été reprise par ROUHOU et al. [Rouhou 2021] en utilisant un réseau Transformer.

Nous proposons de reproduire cette méthodologie avec une architecture seq2seq simple. En effet, l'utilisation d'un mécanisme d'attention permet au réseau de se concentrer sur les caractéristiques les plus pertinentes pour les caractères et pour les tags. Intuitivement, il semble pertinent d'avoir différents niveaux d'attention : une attention localisée sur la zone correspondante pour la prédiction des caractères et une attention plus contextuelle pour la prédiction des tags. Le mécanisme d'attention permet cette distinction entre les deux types de tokens. Un autre atout de cette architecture vient des couches récurrentes du décodeur, qui peuvent apprendre un modèle de langue implicite. Cette modélisation linguistique peut avoir un intérêt pour modéliser les deux niveaux de la langue : la modélisation de l'enchaînement des caractères et la modélisation de l'enchaînement des catégories sémantiques. La méthode que nous proposons est synthétisée dans la figure 5.1b.

## 5.2.2 Protocole expérimental pour une comparaison objective

Nous proposons un protocole d'apprentissage et d'évaluation unifié pour évaluer objectivement ces deux stratégies, à architecture et données égales. Nous présentons également les métriques d'évaluation utilisées dans la compétition IEHHR.

**Architecture et apprentissage** Nous utilisons une même architecture pour les deux stratégies. Dans les deux cas, la base de l'encodeur est pré-entraînée sur ImageNet. Nous
<figure><img src="image_72.png" /><figcaption>(a) Stratégie séquentielle : un réseau seq2seq prédit les caractères, puis un réseau FLAIR est utilisé pour classer chaque mot dans des catégories sémantiques.</figcaption></figure>

<figure><img src="image_73.png" /><figcaption>(b) Stratégie combinée : un réseau seq2seq prédit à la fois les caractères et les tags correspondant aux catégories sémantiques.</figcaption></figure>

**Figure 5.1** – Illustration des deux approches proposées pour l'extraction d'information. Légende : métier du père de la mariée, lieu du père de la mariée, nom de la mère de la mariée.
n'utilisons ni post-processing, ni modèle de langue. Nous choisissons d'évaluer la qualité de l'extraction d'information ainsi que la qualité de la reconnaissance d'écriture, indépendamment des tags.

**Base de données** La base de données Esposalles [Romero 2013] est une collection de registres de mariage catalans du XVIIe siècle, issue des Archives de la Cathédrale de Barcelone. Chaque acte contient des informations concernant les mariées : leurs noms, métiers, origines, ainsi que des informations sur leurs parents. Un exemple est illustré sur la figure 5.2. L'ensemble d'apprentissage est divisé en deux échantillons, de façon à garder 441 images de lignes pour la phase de validation et 2629 images de lignes pour l'apprentissage. Les modèles appris sont ensuite évalués sur l'ensemble de test qui contient 757 images de lignes.

**Métriques d'évaluation pour l'extraction d'information** L'évaluation est effectuée en suivant le protocole d'évaluation défini pendant la compétition IEHHR [Fornés 2017]. Deux catégories sémantiques sont associées à chaque mot : la catégorie et la personne.

Un premier score *basique* ($S_{basique}$) permet de mesurer la qualité de la reconnaissance des catégories parmi le prénom (*name*), le nom (*surname*), le métier (*occupation*), le lieu (*location*), le statut civil (*civil state*) ou autre (*other*) :

$$S_{basic} = \begin{cases} 100-CER, & \text{si la catégorie est correctement détectée} \\ 0, & \text{sinon} \end{cases}$$

Le score complet ($S_{complet}$) permet d'évaluer la qualité de reconnaissance des catégories sémantiques ainsi que des personnes auxquelles se rapportent chaque mot. La personne identifiée peut être la mariée (*wife*), le marié (*husband*), le père de la mariée (*wifes_father*), la mère de la mariée (*wifes_mother*), le père du marié (*husbands_father*), la mère du marié (*husbands_mother*), une autre personne (*otherPerson*), ou aucune personne (*none*).

$$S_{complet} = \begin{cases} 100-CER, & \text{si la catégorie et la personne sont correctement détectées} \\ 0, & \text{sinon} \end{cases}$$

Cette évaluation ne tient pas compte des mots neutres, c'est-à-dire classés dans la catégorie *other* ou se rapportant à aucune personne *none*.
<figure><img src="image_74.png" /><figcaption>**Figure 5.2** – Base de données Esposalles proposée dans le cadre de la compétition IEHHR. La transcription de chaque image de ligne est connue. En outre, chaque mot est associé à deux types de classes : la catégorie et la personne.</figcaption></figure>

<caption>**Table 5.1** – Nombre de mots par catégorie et personne sur la base Esposalles. Certaines classes sont moins représentées que d'autres, et certaines combinaisons (categorie + personne) sont très marginales.</caption>

(a) Mots importants de l'ensemble d'apprentissage (13012 autres mots sont classés *other* et *none*)

<table><thead><tr><th></th><th>name</th><th>surname</th><th>occupation</th><th>location</th><th>state</th><th>total</th></tr></thead><tbody><tr><td>wife</td><td>897</td><td>30</td><td>237</td><td>411</td><td>800</td><td>2375</td></tr><tr><td>husband</td><td>876</td><td>870</td><td>1039</td><td>1971</td><td>187</td><td>4943</td></tr><tr><td>wife_mother</td><td>628</td><td>12</td><td>0</td><td>0</td><td>0</td><td>640</td></tr><tr><td>wife_father</td><td>648</td><td>657</td><td>762</td><td>1023</td><td>0</td><td>3090</td></tr><tr><td>husband_mother</td><td>494</td><td>16</td><td>0</td><td>4</td><td>0</td><td>514</td></tr><tr><td>husband_father</td><td>525</td><td>503</td><td>546</td><td>446</td><td>0</td><td>2020</td></tr><tr><td>otherPerson</td><td>199</td><td>205</td><td>0</td><td>1</td><td>0</td><td>405</td></tr><tr><td>total</td><td>4267</td><td>2293</td><td>2584</td><td>3856</td><td>987</td><td>13987</td></tr></tbody></table>

(b) Mots importants de l'ensemble de test (3791 autres mots sont classés *other* et *none*)

<table><thead><tr><th></th><th>name</th><th>surname</th><th>occupation</th><th>location</th><th>state</th><th>total</th></tr></thead><tbody><tr><td>wife</td><td>276</td><td>4</td><td>84</td><td>144</td><td>252</td><td>760</td></tr><tr><td>husband</td><td>268</td><td>264</td><td>321</td><td>639</td><td>65</td><td>1557</td></tr><tr><td>wife_mother</td><td>186</td><td>0</td><td>0</td><td>0</td><td>0</td><td>186</td></tr><tr><td>wife_father</td><td>193</td><td>198</td><td>224</td><td>285</td><td>0</td><td>900</td></tr><tr><td>husband_mother</td><td>153</td><td>1</td><td>0</td><td>0</td><td>0</td><td>154</td></tr><tr><td>husband_father</td><td>169</td><td>158</td><td>168</td><td>19</td><td>0</td><td>514</td></tr><tr><td>otherPerson</td><td>67</td><td>69</td><td>0</td><td>0</td><td>2</td><td>138</td></tr><tr><td>total</td><td>1312</td><td>694</td><td>797</td><td>1087</td><td>319</td><td>4209</td></tr></tbody></table>
**Métriques d'évaluation pour la reconnaissance d'écriture** Pour compléter cette métrique, nous évaluons également la qualité de la reconnaissance d'écriture complète, indépendamment de la classification sémantique. Pour cela, nous mesurons les taux d'erreur caractère (CER) et taux d'erreur mot (WER).

5.2.3 Résultats

Les résultats obtenus par chacune des approches sont étudiés individuellement, puis comparés en détail.

5.2.3.1 Approche séquentielle

Pour l'approche séquentielle, la première phase de reconnaissance optique des carac-
tères est effectuée avec le réseau de neurones seq2seq. Les résultats obtenus sont tout à fait
acceptables, avec un taux d'erreur caractère égal à 2.82%, et un taux d'erreur mot égal
à 8.33%. Concrètement, cela signifie qu'environ huit mots sur dix contiennent au moins
une erreur. Ces erreurs peuvent être des insertions (caractère en trop), des suppressions
(caractère en moins) ou des substitutions (caractère remplacé par un autre). Ces résultats
sont obtenus sans post-processing ou modèle de langue explicite.

Pour la phase de reconnaissance d'entités nommées, nous avons comparé différents
modes de représentation du texte (*embeddings*). Ces méthodes permettent d'apprendre
une représentation de mots à partir d'un apprentissage sur un corpus. En particulier,
nous avons étudié différents embeddings pré-entraînés issus de la librairie FastText<fnref n="1" />. Ces
embeddings au niveau caractère (*CharEmb*), des embeddings au niveau mot (*CatalanWor-
dEmb*), ainsi que des embeddings FLAIR (*FlairEmb*) proposés par AKBIK et al. [Akbik
2018]. Différentes configurations sont évaluées à partir de la vérité terrain, et sont présen-
tées dans le tableau 5.2. La meilleure représentation consiste à utiliser une combinaison
d'embeddings FLAIR couplés à des embeddings appris sur des mots catalans. C'est donc
cette configuration que nous retenons pour la suite.

Nous comparons ensuite les résultats obtenus par le réseau FLAIR à partir de différents
types de texte en entrée. Quatre configurations sont comparées dans le tableau 5.3 :

— Vérité/lignes : Le modèle FLAIR apprend à reconnaître les catégories et personnes à partir du texte correspondant aux lignes de texte. Il est évalué sur les transcriptions réelles correspondant aux lignes.

<footnote n="1">1. https://fasttext.cc/</footnote>
<table><caption>**Table 5.2** – Comparaison de différentes méthodes d'encodage du texte pour la reconnaissance des catégories et personnes. Différentes combinaisons d'embeddings sont évaluées à partir de la transcription vérité des actes.</caption><thead><tr><th>Vectorisation (embeddings)</th><th>S<sub>basic</sub> ↑</th><th>S<sub>complet</sub> ↑</th></tr></thead><tbody><tr><td>CharEmb</td><td>95.5</td><td>95.5</td></tr><tr><td>CatalanWordEmb</td><td>97.5</td><td>97.7</td></tr><tr><td>FlairEmb</td><td>97.9</td><td>97.7</td></tr><tr><td>CharEmb + FLAIREmb</td><td>98.1</td><td>98.1</td></tr><tr><td>CharEmb + CatalanWordEmb</td><td>98.1</td><td>98.1</td></tr><tr><td>CatalanWordEmb + FlairEmb</td><td><b>98.4</b></td><td><b>98.4</b></td></tr><tr><td>CharEmb + CatalanWordEmb + FlairEmb</td><td>98.2</td><td>98.3</td></tr></tbody></table>

— Vérité/actes : Le modèle apprend à reconnaître les catégories et personnes à partir du texte correspondant aux actes. Il est évalué sur les transcriptions réelles correspondant aux actes.

— Seq2seq/lignes : Le modèle apprend à reconnaître les catégories et personnes à partir du texte correspondant aux lignes. Il est évalué sur les transcriptions des lignes prédites par le réseau seq2seq.

— Seq2seq/actes : Le modèle apprend à reconnaître les catégories et personnes à partir du texte correspondant aux actes. Les transcriptions prédites par le réseau seq2seq sont collées de façon à reconstituer le texte des actes complets, sur lequel le réseau FLAIR est évalué.

<table><caption>**Table 5.3** – Résultats obtenus par l'approche séquentielle.</caption><thead><tr><th>HTR</th><th>NER</th><th>S<sub>basic</sub> (%) ↑</th><th>S<sub>complet</sub> (%) ↑</th><th>CER (%) ↓</th><th>WER (%) ↓</th></tr></thead><tbody><tr><td>Vérité</td><td>FLAIR (lignes)</td><td>95.3</td><td>90.7</td><td>0.00</td><td>0.00</td></tr><tr><td>Vérite</td><td>FLAIR (actes)</td><td>98.4</td><td>98.4</td><td>0.00</td><td>0.00</td></tr><tr><td>Seq2seq</td><td>FLAIR (lignes)</td><td>91.2</td><td>86.7</td><td>2.82</td><td>8.33</td></tr><tr><td>Seq2seq</td><td>FLAIR (actes)</td><td>93.5</td><td>93.3</td><td>2.82</td><td>8.33</td></tr></tbody></table>

Plusieurs conclusions peuvent être tirées du tableau 5.3. D'une part, lorsque la transcription prédite est utilisée, le score basique obtenu par le modèle FLAIR diminue d'environ 5% pour les actes, et 4% pour les lignes. Cela signifie que les éventuelles erreurs de transcriptions faites par le réseau seq2seq perturbent le réseau FLAIR. Un mot énoncé pourra alors être classé dans la mauvaise catégorie. Ce tableau permet également
de montrer que FLAIR n'est pas parfait : au mieux, il permet d'obtenir un score complet de 98.4% à partir des actes, et 90.7% à partir des lignes. Cette comparaison illustre l'intérêt du contexte provenant de l'acte complet sur les performances : le score baisse d'environ 8% si la reconnaissance est effectuée uniquement à partir des lignes. En effet, la connaissance du texte associé à l'acte améliore les performances, car le système bénéficie alors d'un contexte plus important. En particulier, la reconnaissance des personnes bénéficie largement du contexte présent dans l'acte : le score complet chute considérablement lorsque FLAIR n'a accès qu'au texte des lignes. Au contraire, quand FLAIR a accès à l'acte entier, il y a peu de différence entre les deux scores.

### 5.2.3.2 Approche combinée

L'approche combinée effectue les deux tâches, reconnaissance de caractères et reconnaissance d'entités nommées, en même temps.

Le réseau apprend à générer une transcription enrichie, dans laquelle chaque mot d'intérêt est précédé d'un tag qui caractérise sa catégorie sémantique et la personne à laquelle il se réfère. Nous avons étudié deux modes de représentation pour encoder ces informations dans des tags. La première représentation *mixte séparée* consiste à associer deux tags à chaque mot d'intérêt : un tag pour la catégorie et un tag pour la personne. Les tags sont sous la forme : <occupation><wifes_father>pages>. Cette représentation est complexe, car le réseau doit produire deux tags avant chaque mot d'intérêt. En revanche, elle permet une meilleure représentation de chaque classe individuelle. La seconde représentation *mixte jointe* consiste à créer un tag unique contenant les deux informations. Le tag est sous la forme <occupation_wifes_father>pages. Cette représentation est plus simple, mais certaines configurations sont peu fréquentes dans l'ensemble d'apprentissage, ce qui entraîne un biais. Le tableau 5.4 montre que les tags combinés permettent d'obtenir les meilleurs résultats.

<table><caption>**Table 5.4** – Résultats obtenus par l'approche conjointe.</caption><thead><tr><th>Tags</th><th>S<sub>basic</sub> (%) ↑</th><th>S<sub>complet</sub> (%) ↑</th><th>CER (%) ↓</th><th>WER (%) ↓</th></tr></thead><tbody><tr><td>mixte séparée</td><td>27.52</td><td>24.56</td><td>4.81</td><td>12.29</td></tr><tr><td>mixte jointe</td><td><b>94.66</b></td><td><b>94.40</b></td><td><b>1.81</b></td><td><b>8.33</b></td></tr></tbody></table>

Nous avons ensuite analysé l'attention afin de vérifier la cohérence du modèle. La carte d'attention semble cohérente avec notre intuition : lorsque le réseau prédit des tags, il a
tendance à se concentrer sur des zones pertinentes pour retrouver le contexte du mot. Par exemple, dans la figure 5.3, l'attention se focalise aussi sur le mot « viuda » (veuve) lors de la génération du tag, ce qui permet de déduire que le mot se rapporte à la mariée.

<figure><img src="image_75.png" /><figcaption>**Figure 5.3** – Visualisation des cartes d'attention pour la stratégie combinée. Les images correspondent à trois étapes consécutives de la transcription automatique. La transcription prédite à chaque étape apparaît en dessous de chaque image. Les trois cartes d'attention correspondent aux zones de l'image choisies par le réseau pour prédire les tokens colorés en orange. Pour prédire un tag, l'attention se concentre sur la zone locale, mais aussi sur d'autres mots du texte, avec un intérêt pour les mots « viuda » et « real ». En revanche, pour prédire les caractères, l'attention est uniquement focalisée sur les caractères.</figcaption></figure>

### 5.2.3.3 Comparaison des approches

Nous proposons à présent de comparer ces deux approches. Le modèle FLAIR sur les lignes individuelles est retenu afin de comparer les deux approches dans les mêmes conditions. La comparaison entre ces deux stratégies est présentée dans le tableau 5.5. Les résultats soulignent l'intérêt de la stratégie combinée pour la tâche d'extraction d'information, car elle permet d'obtenir un gain d'environ 3% sur le score basique et de 8% sur le score complet de la compétition IEHHR [Fornés 2017]. Les résultats suggèrent donc que l'approche combinée est plus adaptée à la tâche d'extraction d'information. En particulier, le score de l'approche séquentielle chute d'environ 5% lorsque l'évaluation des personnes est prise en compte, ce qui suggère que cette tâche pose particulièrement problème au modèle FLAIR, surtout à l'échelle des lignes. Mais l'approche combinée devance également l'approche séquentielle quand FLAIR a accès au texte des actes complets.

Pour affiner cette analyse, les scores par catégorie et par personne sont présentés dans les figures 5.4. Ces scores sont à mettre en perspective avec le tableau 5.1 qui décompte
<figure><img src="image_76.png" /><figcaption>(a) Comparaison des stratégies pour la reconnaissance des catégories</figcaption></figure>

<figure><img src="image_77.png" /><figcaption>(b) Comparaison des stratégies pour la reconnaissance des personnes (W pour la classe wife, H pour husband, WF pour wifes_father, WM pour wifes_mother, HF pour husbands_father, HM pour husbands_mother, OP pour other Person)</figcaption></figure>

**Figure 5.4** – Comparaison détaillée des deux stratégies en fonction des différentes classes. Les scores de reconnaissance présentés correspondent au mode de calcul du score basique.
<table><caption>**Table 5.5** – Comparaison des approches séquentielle et combinée pour l'extraction d'informations à partir de lignes. L'approche combinée augmente les taux de reconnaissance pour l'extraction d'information. Elle permet également une baisse des taux d'erreurs pour la reconnaissance d'écriture.</caption><thead><tr><th>Stratégie</th><th>S<sub>basique</sub> (%) ↑</th><th>S<sub>complet</sub> (%) ↑</th><th>CER (%) ↓</th><th>WER (%) ↓</th></tr></thead><tbody><tr><td>Seq2seq sequentiel</td><td>91.2</td><td>86.7</td><td>2.82</td><td>8.33</td></tr><tr><td>Seq2seq combiné</td><td><b>94.7</b></td><td><b>94.0</b></td><td><b>1.81</b></td><td><b>6.10</b></td></tr></tbody></table>

la fréquence de chaque classe dans les ensembles d'apprentissage et de test.

La stratégie combinée est légèrement supérieure sur la reconnaissance des catégories. Nous observons que la catégorie la plus difficile à reconnaître est le nom de famille (*surname*). Cela peut s'expliquer par la grande variabilité des mots appartenant à cette catégorie : contrairement aux prénoms, aux métiers et aux lieux, les noms sont uniques. Il semble donc plus difficile de bénéficier d'un modèle de langue implicite pour cette catégorie.

L'écart entre les deux approches se creuse lorsque l'on s'intéresse à la reconnaissance des personnes. En particulier, l'approche séquentielle rencontre des difficultés sur les mots correspondant à la mariée. Cette observation peut être liée à la sous-représentation de la classe *wife* dans l'ensemble d'apprentissage. Cette baisse des résultats est surtout liée aux classes *wife_surname* et *wife_location*, pour lesquelles l'approche séquentielle obtient respectivement 16.67% (moyenne sur 4 mots) et 67.37% (moyenne sur 144 mots) de reconnaissance. Pourtant, l'approche combinée obtient des taux de reconnaissance similaires pour les deux époux. L'approche séquentielle peine à reconnaître les pères des époux, alors que ces personnes sont mieux représentées dans l'ensemble d'apprentissage que les mères des époux. Les résultats par catégorie mixte montrent que ce sont surtout les catégories *occupation* et *location* qui posent problème pour ces personnes. Or, ces catégories ne sont jamais associées aux mères des époux.

Outre les scores d'extraction d'informations, les taux d'erreur aux niveaux caractère et mot sont réduits avec l'approche combinée. Ainsi, la stratégie combinée bénéficie de la connaissance des catégories sémantiques et des personnes pour affiner la transcription des mots. A l'inverse, la stratégie séquentielle amplifie les erreurs : des erreurs de transcription provoquent des erreurs de labellisation des catégories et personnes. L'apprentissage disjoint des deux réseaux font que FLAIR n'apprend pas à s'adapter à des mots mal orthographiés.
### 5.2.4 Discussion

L'approche combinée permet la reconnaissance conjointe des catégories sémantiques, des personnes et des caractères. Les résultats montrent que cette combinaison impacte positivement les scores de reconnaissance, non seulement pour l'extraction d'information, mais aussi pour la reconnaissance de caractères. Ainsi, les deux tâches bénéficient du partage de caractéristiques contextuelles. Ce résultat peut s'expliquer par la forte homogénéité de certaines catégories sémantiques. Par exemple, certains prénoms sont très fréquents dans ces actes, comme « Catherina », « Elisabeth » ou « Joan ». C'est également le cas des métiers (« pages », « parayre », « texidor »), des lieux (« Bara », « Andreu », « Villafranca »), ou du statut civil (« donsella », « viuda », « viudo »). La connaissance contextuelle doit permettre au décodeur de modéliser des modèles de langue implicite par catégorie. En outre, le mécanisme d'attention permet de se focaliser à différents niveaux dans l'image. En particulier, nous observons que l'attention se concentre sur des zones locales pour prédire les caractères, et sur des zones plus globales et contextuelles pour prédire les tags.

L'approche séquentielle présente également des avantages. En particulier, la séparation des tâches permet à chaque réseau d'être optimisé séparément, en utilisant le maximum de données disponibles. Ainsi, chaque réseau peut être pré-entraîné sur une base publique, et optimisé avec un modèle de langue spécifique. Une autre caractéristique intéressante est la possibilité de travailler à différents niveaux : la phase de reconnaissance d'écriture peut s'effectuer au niveau des lignes, et la phase de reconnaissance d'entités au niveau des actes, ce qui permet d'introduire un contexte supplémentaire. Cependant, même dans ce scénario avantageux, l'approche séquentielle reste moins performante que l'approche combinée. Une piste intéressante serait d'appliquer l'approche combinée directement au niveau des actes. Mais cette stratégie complique la tâche de reconnaissance, tout en diminuant le nombre d'images disponibles pour l'apprentissage. Elle ne semble donc pas applicable en l'état actuel et nécessiterait la création d'une base de données plus grande que Esposalles.

## 5.3 Stratégies d'apprentissage pour les stratégies combinées

Les modèles à base d'attention semblent adaptés à cette stratégie combinée. Cependant, il nous semble intéressant d'explorer différentes manières d'intégrer l'information
contextuelle. L'idée de ce travail est motivée par les observations de LUONG et al. [Luong 2015a]. Dans leur article, les auteurs explorent de nouvelles stratégies d'apprentissage
pour de la traduction automatique avec une architecture seq2seq multi-tâche.

- *one-to-many* - l'encodeur est partagé entre plusieurs décodeurs, ce qui permet de faire de la traduction automatique d'un langage source à plusieurs langages cibles.

- *many-to-one* - le décodeur est partagé entre plusieurs encodeurs, ce qui permet de faire de la traduction automatique de plusieurs langages sources vers un langage cible.

- *many-to-many* - plusieurs encodeurs et décodeurs sont partagés, ce qui permet d'effectuer une traduction automatique de plusieurs langages sources vers plusieurs langages cibles.

Leurs résultats montrent que le partage d'encodeurs ou de décodeurs dédiés à différentes
tâches peut profiter au modèle. Nous souhaitons évaluer ce type d'approche pour la re-
connaissance d'écriture et d'entités nommées.

5.3.1 Nos propositions

Pour cela, nous proposons trois nouvelles approches qui tiennent compte des atouts de modularité du seq2seq. Ces trois approches sont illustrées dans la figure 5.5.

5.3.1.1 Stratégie combinée multi-tâches sans tags

La première configuration, détaillée dans la figure 5.5a, consiste à partager un encodeur avec trois décodeurs. Chaque décodeur est spécialisé dans une tâche :

- Le décodeur *catégorie* réalise la tâche de reconnaissance de catégories à partir de l'image originale. Les éléments à prédire correspondent aux 6 classes correspondant aux catégories (en incluant la classe *other*).

- Le décodeur *personne* réalise la tâche de reconnaissance de personnes à partir de l'image originale. Les éléments à prédire correspondent aux 8 classes correspondant aux catégories (en incluant la classe *none*).

- Le décodeur *caractère* réalise la tâche de reconnaissance de caractères à partir de l'image originale. Les éléments à prédire correspondent aux lettres de l'alphabet.

L'apprentissage conjoint de ces trois décodeurs permet d'apprendre à l'encodeur à ex-
traire des caractéristiques communes pertinentes pour ces trois tâches. Chaque décodeur
disperse d'un mécanisme d'attention propre qui se concentre sur la zone de l'image la
<figure><img src="image_78.png" /><figcaption>(a) Stratégie combinée multi-tâches sans tags : trois décodeurs permettent de générer la séquence des catégories sémantiques, des personnes, et des caractères.</figcaption></figure>

<figure><img src="image_79.png" /><figcaption>(b) Stratégie combinée multi-tâches avec tags : trois décodeurs permettent de générer des séquences avec des tags de catégorie, des tags de personnes, et des tags mixtes.</figcaption></figure>

<figure><img src="image_80.png" /><figcaption>(c) Stratégie combinée multi-échelles avec tags : l'image entre dans l'encodeur à trois échelles différentes afin d'avoir une représentation vectorielle plus riche. Le décodeur prédit une séquence avec tags à partir de cette représentation.</figcaption></figure>

**Figure 5.5** – Les différentes stratégies multi-tâches et multi-échelles proposées.

plus pertinente. L'architecture est entraînée avec une fonction de coût unique, qui correspond à la moyenne des fonctions de coût individuelles. Lorsque le réseau n'apprend plus, l'apprentissage s'arrête et le modèle est évalué. Pour chaque image d'entrée, le réseau produit trois séquences de sortie. Ces séquences sont recalées afin d'aligner les catégories sémantiques et les personnes sur les mots de la transcription.

Cette configuration présente deux problèmes majeurs. D'une part, cet alignement est problématique : les deux décodeurs **catégorie** et **personne** prédissent une séquence à l'échelle des mots tandis que le décodeur **caractère** prédit une séquence à l'échelle des caractères. Une erreur sur la catégorie ou la personne, plus particulièrement un ajout ou un oubli, mène à un décalage du reste de la séquence. D'autre part, nous observons que les décodeurs **catégorie** et **personne** convergent plus rapidement que le décodeur **caractère**, ce qui déséquilibre l'apprentissage. Concrètement, l'apprentissage global s'arrête alors que le décodeur **caractère** n'a pas fini d'apprendre.
### 5.3.1.2 Stratégie combinée multi-tâches avec tags

La seconde configuration, illustrée sur la figure 5.5b, est semblable à la précédente, mais utilise des tags afin d'éviter les problèmes de convergence et d'alignement. Chaque décodeur est entraîné avec un type de tag différent.

- Le décodeur *tag-catégorie* réalise la tâche d'extraction d'information avec des tags qui correspondent uniquement aux 5 classes correspondant aux catégories (en excluant la classe *other*).

- Le décodeur *tag-personne* réalise la tâche d'extraction d'information avec des tags qui correspondent uniquement aux 7 classes correspondant aux personnes (en excluant la classe *none*).

- Le décodeur *tag-mixte* réalise la tâche d'extraction d'information avec des tags mixtes.

L'intuition derrière cette approche est de forcer l'encodeur à extraire des caractéristiques contextuelles riches. L'ajout des branches *tag-catégorie* et *tag-personne* peut également favoriser la reconnaissance des classes mixtes peu représentées. Chaque décodeur dispose d'un mécanisme d'attention propre qui se concentre sur la zone de l'image la plus pertinente.

L'architecture est également entraînée avec une fonction de coût unique, qui correspond à la moyenne des fonctions de coût individuelles. En revanche, les trois décodeurs effectuent des tâches de difficultés similaires, ce qui garantit une meilleure convergence globale.

A la fin de l'apprentissage, seule la branche *tag-mixte* est évaluée, ce qui permet d'évaluer l'apport des autres branches sur cette tâche.

### 5.3.1.3 Stratégie combinée multi-échelle avec tags

La dernière stratégie, illustrée dans la figure 5.5c étudiée consiste à extraire des caractéristiques locales et globales à partir de l'image à différentes échelles. L'encodeur extrait trois vecteurs de caractéristiques, qui correspondent à la même image à différentes échelles. Les vecteurs de caractéristiques sont fusionnés, et servent d'entrée au décodeur.

Le décodeur prédit une transcription enrichie de tags mixtes.
## 5.3.2 Résultats

Nous évaluons dans cette section les performances de chaque configuration multi-tâche ou multi-échelle.

<table><caption>**Table 5.6** – Comparaison des quatre stratégies multi-tâches et multi-échelles.</caption><thead><tr><th>Modèle</th><th>CER (%) ↓</th><th>WER (%) ↓</th><th>S<sub>basique</sub> ↑</th><th>S<sub>complete</sub> ↑</th></tr></thead><tbody><tr><td>Séquentiel</td><td>2.82</td><td>8.33</td><td>91.2</td><td>86.7</td></tr><tr><td>Combiné</td><td>1.81</td><td>6.10</td><td>94.7</td><td>94.0</td></tr><tr><td>Combiné multi-tâches sans tags</td><td>7.75</td><td>17.38</td><td>61.8</td><td>48.1</td></tr><tr><td>Combiné multi-tâches avec tags</td><td><strong>1.74</strong></td><td><strong>5.38</strong></td><td><strong>95.2</strong></td><td><strong>94.4</strong></td></tr><tr><td>Combiné multi-échelles avec tags</td><td>5.61</td><td>15.13</td><td>83.0</td><td>80.3</td></tr></tbody></table>

<table><thead><tr><th>Modèle</th><th>Name</th><th>Surname</th><th>Location</th><th>Occupation</th><th>State</th></tr></thead><tbody><tr><td>Séquentiel</td><td>88.2</td><td>83.1</td><td>87.1</td><td>91.5</td><td>84.7</td></tr><tr><td>Combiné</td><td>96.1</td><td>91.0</td><td>93.7</td><td><strong>95.3</strong></td><td><strong>97.8</strong></td></tr><tr><td>Combiné multi-tâches sans tags</td><td>63.2</td><td>41.0</td><td>48.2</td><td>69.8</td><td>86.7</td></tr><tr><td>Combiné multi-tâches avec tags</td><td><strong>97.0</strong></td><td><strong>92.6</strong></td><td><strong>94.5</strong></td><td><strong>95.3</strong></td><td>96.7</td></tr><tr><td>Combiné multi-échelles</td><td>87.4</td><td>61.1</td><td>84.2</td><td>87.5</td><td>96.9</td></tr></tbody></table>

### 5.3.2.1 Comparaison des stratégies d'apprentissage

Les expériences montrent que l'approche multi-tâches avec tags permet de surpasser l'approche mono-tâche. En effet, l'ajout des branches spécialisées dans la reconnaissance des catégories et personnes individuelles améliore les résultats de la branche mixte. En revanche, le gain est faible au regard de la complexité de l'architecture multi-tâches.

En revanche, les autres stratégies d'apprentissage ne permettent pas d'amélioration. L'approche multi-tâches sans tags obtient un taux d'erreur caractère élevé, ce qui confirme notre intuition sur la convergence asymétrique des trois branches : les deux branches (NER) convergent rapidement, ce qui ne permet pas à la troisième branche (HTR) d'apprendre suffisamment. De plus, les difficultés liées à l'alignement des trois séquences pré-dites peuvent expliquer les faibles scores sur la compétition IEHHR. L'approche multi-échelles n'est pas non plus convaincante. Les résultats montrent que l'ajout de caractéristiques multi-échelles ne permet pas au réseau d'améliorer ses performances. Pourtant, la visualisation de l'attention montre que le réseau se concentre sur les caractéristiques
correspondant à l'image à petite échelle pour extraire les tags, et à grande échelle pour extraire les caractères.

### 5.3.2.2 Comparaison avec la compétition IEHHR

Nous comparons à présent, dans le tableau 5.7 nos contributions aux méthodes soumises à la compétition IEHHR. Nous notons que seules les méthodes qui effectuent la reconnaissance à partir des lignes de texte comme entrée sont prises en compte. Nos méthodes combinée and combinée multi-tâches avec tags sont compétitives. Notons qu'elles ne bénéficient d'aucun post-processing ni modèle de langue.

La comparaison entre le travail de CARBONELL et al. [Carbonell 2018] et notre approche combinée est intéressante. En effet, la même méthodologie est utilisée pour ces deux contributions, seule l'architecture diffère. Nous utilisons un réseau à base d'attention, alors qu'ils utilisent un CRNN-CTC. Grâce à notre architecture, le score complet gagne près de 5%, passant de 89.40% à 94.0%. Ce résultat illustre l'intérêt de notre architecture avec mécanisme d'attention pour l'extraction d'information.

Le modèle d'InstaDeep [Rouhou 2021], publié très récemment, reprend également l'approche combinée en utilisant un modèle Transformer. Les performances de notre modèle seq2seq multi-tâches avec tags obtient des performances comparables à leur approche, avec un score de reconnaissance complet légèrement supérieur. Les résultats obtenus par les modèles seq2seq et Transformer démontrent l'intérêt du mécanisme d'attention pour la tâche d'extraction d'informations.

Enfin, le modèle de NaverLabs [Prasad 2018] est plus performant, bien que les auteurs reportent un CER plus élevé (environ 5%). La force de leur proposition réside probablement dans des caractéristiques basées sur des n-grams de caractères pour la phase de reconnaissance d'entités nommées. En revanche, l'article ne précise pas si la phase de reconnaissance des entités nommées se fait sur le texte des lignes ou des actes. Il est à noter que cet article a été distribué en accès libre et n'a pas bénéficié d'une évaluation par les pairs.

### 5.3.3 Discussion

Dans cette étude, nous avons mesuré l'apport des approches combinées par rapport aux approches séquentielles. Ces stratégies bénéficient d'un contexte global qui permet de fiabiliser la transcription des mots.
<table><caption>**Table 5.7** – Comparaison des méthodes soumises à la compétition IEHHR. Les méthodes situées au dessus de la ligne horizontale correspondes à celles soumises pendant la compétition, les autres correspondent à des méthodes proposées après la fin de la compétition. Les deux méthodes en italiques correspondent à nos propositions.</caption><thead><tr><th>Nom</th><th>Modèle</th><th>Stratégie</th><th>S<sub>basique</sub> ↑</th><th>S<sub>complet</sub> ↑</th></tr></thead><tbody><tr><td>Baseline HMM</td><td>HMM</td><td>Séquentielle</td><td>80.2</td><td>63.1</td></tr><tr><td>CITlab-ARGUS-1</td><td>CRNN-CTC</td><td>Séquentielle</td><td>89.5</td><td>89.2</td></tr><tr><td>CITlab-ARGUS-2</td><td>CRNN-CTC</td><td>Séquentielle</td><td>91.9</td><td>91.6</td></tr><tr><td>CITlab-ARGUS-3</td><td>CRNN-CTC</td><td>Séquentielle</td><td>91.6</td><td>91.2</td></tr><tr><td>CVC-tags [Carbonell 2018]</td><td>CRNN-CTC</td><td>Combinée</td><td>90.6</td><td>89.4</td></tr><tr><td>Naver Lab [Prasad 2018]</td><td>CRNN-CTC</td><td>Séquentielle</td><td><strong>95.5</strong></td><td><strong>95.0</strong></td></tr><tr><td>InstaDeep [Rouhou 2021]</td><td>Transformer</td><td>Combinée</td><td>95.2</td><td>93.3</td></tr><tr><td><em>Séquentiel</em></td><td>seq2seq</td><td>Séquentielle</td><td>91.2</td><td>86.7</td></tr><tr><td><em>Combiné</em></td><td>seq2seq</td><td>Combinée</td><td>94.7</td><td>94.0</td></tr><tr><td><em>Combiné multi-tâches avec tags</em></td><td>seq2seq</td><td>Combinée</td><td>95.2</td><td>94.4</td></tr></tbody></table>

Nous avons également proposé différentes stratégies d'apprentissage en multi-tâches avec les réseaux basés sur un mécanisme d'attention. La configuration multi-tâches avec tags est plus performante que la configuration classique, ce qui souligne le fait que le réseau bénéficie de l'apprentissage de différentes représentations sémantiques. Ces résultats sont en accord avec l'observation de LUONG et al. [Luong 2015a] : l'apprentissage multi-tâches améliore, sous certaines conditions, les performances des réseaux de neurones avec mécanisme d'attention.

Enfin, nous avons montré l'intérêt des réseaux à mécanisme d'attention pour cette tâche.

## 5.4 Applicabilité aux registres paroissiaux

Nous discutons ici de l'applicabilité des stratégies présentées dans ce chapitre à l'extraction d'information dans des registres paroissiaux.

Les registres catalans de la base de données Esposalles et les registres paroissiaux ont de nombreux points communs. Ce sont des registres semi-structurés en actes. Ce sont les mêmes types de documents. Ainsi, les stratégies mises au point sur la base Esposalles doivent pouvoir s'appliquer aux registres paroissiaux. Cependant, certains points de différence posent problème.

Le premier point de différence entre les registres paroissiaux et les documents de la
base de données Esposalles est la difficulté des corpus. En effet, les documents de la base
de données Esposalles sont homogènes : ils ne contiennent qu'un seul style d'écriture. De
plus, les documents sont tous des actes de mariages et ont été numérisés en haute qualité.
Au contraire, les registres paroissiaux sont hétérogènes, avec de nombreux styles d'écri-
ture issus de différentes périodes temporelles. De nombreuses dégradations sont présentes
sur le papier et l'encre. De plus, les documents présentent de nombreuses abréviations,
annotations interligne et ratures. Ils ont également été numérisés avec une densité plus
faible.

Le second point à souligner est la différence de taille de l'ensemble d'apprentissage.
Seulement 700 lignes sont disponibles pour les registres paroissiaux. Ces 700 lignes doivent
composer les ensembles d'apprentissage, de validation et de test. De son côté, la base
Esposalles dispose de 2600 images de lignes exclusives pour l'apprentissage sur Esposalles.
Ce manque de données forme un point de blocage crucial. Dans ces conditions, l'extraction
d'informations n'est pas envisageable, car les réseaux de neurones ne sont pas capables de
modéliser des documents aussi complexes à partir de si peu d'exemples. Cette affirmation
est étayée par les résultats du chapitre précédent : le manque de documents ne permet
pas d'apprendre un système de reconnaissance d'écriture. Il semble donc difficilement
envisageable d'effectuer une tâche encore plus difficile dans ces conditions.

Dans le chapitre précédent, nous avons estimé qu'environ 10000 lignes d'apprentissage
seraient nécessaires pour envisager la reconnaissance de ces documents. Or, l'annotation
d'une telle quantité de données n'est pas envisageable à court terme. La génération de
documents synthétiques fait l'objet du dernier chapitre. Elle pourrait permettre de réduire
considérablement le besoin en annotations.

5.5 Conclusion du chapitre

Dans ce chapitre, nous avons étudié la tâche d'extraction d'information dans des do-
cuments historiques semi-structurés. Cette tâche relativement nouvelle a connu un essor
avec la publication de la base Esposalles [Romero 2013] et de la compétition IEEHR
associée [Fornés 2017].

Nous avons comparé les types de stratégies principales qui ont été proposées par la com-
munauté scientifique : la stratégie séquentielle, pour laquelle la phase de reconnaissance
d'écriture intervient avant la phase de classification en entités nommées, et la *stratégie
combinée*, pour laquelle ces deux tâches sont effectuées en même temps. Les résultats de
notre étude montrent que, dans des conditions expérimentales similaires, la combinaison
de ces deux tâches permet une hausse de 8% du score de reconnaissance complet. Les
taux d'erreurs caractère et mot diminuent avec cette approche.

Cette étude met également en évidence l'intérêt des réseaux de neurones avec méca-
nisme d'attention pour l'approche combinée. La comparaison de notre travail avec l'ap-
proche proposée par [Carbonell 2018] montre que l'utilisation d'un modèle d'attention
permet une hausse d'environ 5%, par rapport à une architecture CRNN-CTC. La visua-
lisation des cartes d'attention montre que le mécanisme d'attention permet au réseau de
se concentrer sur des caractéristiques locales pour la génération de caractères, et sur des
caractéristiques contextuelles plus globales pour la génération de tags. De plus, les couches
de récurrence du décodeur sont en mesure d'apprendre un modèle de langue implicite par
catégorie sémantique, ce qui augmente le taux de reconnaissance.

Les conclusions des travaux de LUONG et al. [Luong 2015a] nous ont poussé à explorer de nouvelles stratégies d'apprentissage multi-tâches et multi-échelles avec notre réseau basé sur un mécanisme d'attention. Si certaines stratégies d'apprentissage présentent des performances limitées, l'une d'entre-elles sort du lot. Nous observons qu'un apprentissage multi-tâche avec différentes représentations sémantiques aide le réseau à extraire des caractéristiques communes plus pertinentes. Cette configuration permet au réseau d'obtenir des performances proches de l'état de l'art à l'échelle des lignes sur la compétition IEHHR, atteignant un score complet de 94.4%, sans post-processing, ni modèle de langue explicite.

Ce travail met en lumière certaines perspectives intéressantes. D'une part, un point
critique est d'effectuer l'analyse à l'échelle des actes. Les informations citées dans les
lignes précédentes doivent pouvoir aider le réseau, en particulier pour la reconnaissance
de personnes. En effet, si la ligne précédente présentait les informations sur la mariée,
il est probable que la ligne suivante présente des informations sur ses parents. Certaines
approches ont été proposées pour la reconnaissance de caractères à partir de paragraphes
[Coquenet 2021]. Il est par exemple possible de concaténer les vecteurs caractéristiques
des lignes successives dans un même acte. L'inconvénient de cette approche est qu'elle né-
cessite de nombreuses images d'apprentissage. Or, la base Esposalles n'est pas très grande,
et il n'existe pas d'autre base avec des annotations aussi complètes. Une autre possibilité
consiste à initialiser l'état caché du décodeur avec l'état caché final de la ligne précédente.
Cette approche permet d'effectuer l'analyse à l'échelle des lignes, en transférer l'infor-
mation de chaque ligne avant de traiter la suivante. Cette idée pose certaines difficultés
d'implémentation pour le traitement par batch, car il faut s'assurer que les lignes sont
traitées dans l'ordre. De plus, il n'est pas garanti que l'état caché du décodeur fournisse
un contexte suffisamment global sur le contenu de la ligne.

Enfin, nous avons discuté des conditions d'applicabilité de ces méthodes pour la recon-
naissance de registres paroissiaux. Le manque de données reste un problème majeur pour
l'apprentissage de tels modèles. Le prochain chapitre adresse la génération de documents
synthétiques, qui permet de réduire le besoin en données annotées.
<figure><img src="image_81.png" /></figure>
# GÉNÉRATION DE DONNÉES
SYNTHÉTIQUES ET AUGMENTATION

Dans ce chapitre, nous proposons d'appliquer les méthodes de reconnaissance de documents présentées dans les chapitres 4 et 5 sur des registres paroissiaux. Pour pallier le manque de transcriptions d'actes, nous introduisons une méthodologie de génération d'actes synthétiques réalistes et étudions les stratégies d'apprentissage statistique des modèles de reconnaissance à l'aide de ces données synthétiques. Enfin, nous présentons les résultats obtenus sur des actes réels et montrons l'intérêt des documents synthétiques pour la reconnaissance de texte manuscrit et l'extraction d'information, en l'absence de documents réels dans l'ensemble d'apprentissage.

## 6.1 Introduction

Dans les chapitres 4 et 5, nous avons proposé une méthodologie de reconnaissance d'écriture et d'extraction d'information qui permet d'obtenir une performance à l'état de l'art sur la base de données Esposalles [Romero 2013], dans le cadre de la compétition internationale IEHHR [Fornés 2017]. Nous souhaitons à présent appliquer cette méthodologie pour la reconnaissance des registres paroissiaux.

Cependant, nous ne disposons pas de suffisamment d'actes transcrits pour effectuer l'apprentissage d'un tel modèle de reconnaissance. En effet, environ 700 lignes de texte issues de registres paroissiaux ont été annotées, et celles-ci doivent être utilisées pour la validation et l'évaluation du modèle. Il n'a pas été possible d'annoter plus de documents en raison du temps considérable que représente le processus d'annotation. Ce faible nombre d'échantillons ne permet pas d'apprendre correctement un modèle de reconnaissance stable. Il n'est pas non plus envisageable d'effectuer de la validation croisée, qui nécessiterait un temps d'apprentissage colossal. Or, nous avons montré qu'il est nécessaire de spécialiser le modèle de reconnaissance sur des registres paroissiaux. En effet, les
résultats du chapitre 4 confirment qu’un modèle appris sur des bases de données variées et génériques ne permet pas d’obtenir des résultats satisfaisants sur des images de registres paroissiaux.

Une solution rapide et peu coûteuse pour dépasser cette contrainte consiste à générer des images d'actes synthétiques. En effet, la génération d'un grand nombre d'images synthétiques permet de spécialiser un modèle générique sur des documents ayant des caractéristiques similaires à la collection à traiter. Ceci nous permet d'envisager la mise en place de l'approche de reconnaissance séquentielle, décrite dans le chapitre précédent, qui associe à chaque mot reconnu une ou plusieurs catégories sémantiques.

Dans ce chapitre, nous proposons donc une méthodologie pour générer des images d'actes synthétiques. Nous étudions également l'impact de ces données synthétiques lors de l'apprentissage du modèle de reconnaissance d'écriture. Enfin, nous présentons quelques résultats obtenus avec cette approche et démontrons que l'utilisation de documents synthétiques rend possible la reconnaissance de registres paroissiaux.

## 6.2 Production d'actes synthétique réalistes

La génération d'images d'actes synthétiques passe par trois étapes majeures que nous illustrons sur la figure 6.1. La première étape consiste à générer un contenu textuel semblable aux textes issus d'actes réels. La seconde étape permet de générer l'image correspondant au texte simulé à l'aide de polices manuscrites. Enfin, la dernière étape vise à accroître le réalisme et la variabilité des actes générés en appliquant des transformations aux images.

### 6.2.1 Génération du texte

Les registres paroissiaux sont composés d'actes dont le texte est structuré, récurrent et basé sur un vocabulaire spécifique. Par exemple, deux actes de baptême partagent de nombreuses similarités, car ils contiennent les mêmes informations, souvent écrites dans le même ordre. Nous souhaitons identifier ces structures d'actes afin de générer des textes qui ressemblent à ceux des actes des registres paroissiaux. La similarité entre les textes générés et réels doit permettre au modèle de reconnaissance d'écriture d'apprendre des caractéristiques linguistiques propres au vocabulaire et au style de l'époque.

Pour générer ces textes, nous modélisons les structures de phrase récurrentes dans
<figure><img src="image_82.png" /><figcaption>**Figure 6.1** – Illustration de la méthodologie mise au point pour générer des actes synthétiques.</figcaption></figure>

les actes. Les informations variables (noms, prénoms, âge, métier, date...) sont ensuite modifiées pour créer des actes variés à partir d'une même structure. Cette approche est particulièrement intéressante, car elle permet de produire des transcriptions réalistes dont la structure sémantique est connue. Ainsi, la catégorie sémantique et le rôle de la personne relatifs à chaque mot sont connus.

### 6.2.1.1 Modélisation des structures de phrases

Nous souhaitons identifier les structures de phrase récurrentes pour chaque type d'acte afin de générer des textes dans ce style. Pour cela, les transcriptions de la base HTR-BMS sont analysées afin de repérer les informations qui apparaissent fréquemment dans les actes, ainsi que leur ordre d'apparition. Les actes partageant la même structure sont ensuite mis en commun afin de définir une structure globale permettant de simuler ce type de texte.

Dans la figure 6.2, nous présentons la méthodologie employée pour modéliser un style d'acte de sépulture. L'analyse des quatre actes sur la figure 6.2a permet d'isoler une structure commune présentée sur la figure 6.2b. L'acte commence par le prénom de la personne, parfois suivi du nom de la personne. Si la personne est mineure, le prénom et
nom de ses parents sont souvent écrits. Il est ensuite précisé l'âge de la personne au moment du décès, ainsi que la date et le lieu du décès ou de l'inhumation. D'autres informations facultatives peuvent apparaître, comme les noms et prénoms de ses parents ou la liste des personnes présentes à la cérémonie. Cette méthodologie a été utilisée pour modéliser des actes de baptême, mariage, bans, fiançailles et sépulture. La table 6.1 dénombre les structures extraites pour chaque type d'acte.

Ces structures servent de squelette à la génération des actes synthétiques. Pour chaque acte généré, une structure est sélectionnée aléatoirement. Certains morceaux de phrase facultatifs sont ensuite supprimés afin d'augmenter la variabilité des transcriptions générées tout en garantissant un texte cohérent. Par exemple, pour un acte de sépulture, la date et le lieu du décès n'apparaissent pas systématiquement. La casse des noms propres est également transformée aléatoirement afin de correspondre à l'usage des majuscules dans les actes. Enfin, certains mots sont remplacés par des synonymes. Par exemple, l'expression « décéda » peut être remplacée par « est décédé.e », « a été retrouvé mort.e », ou encore « est mort.e ».

<table><caption>**Table 6.1** – Dénombrement des structures extraites par type d'acte.</caption><thead><tr><td>Type d'acte</td><td>Transcriptions</td><td>Structures extraites</td></tr></thead><tbody><tr><td>Baptême</td><td>42</td><td>5</td></tr><tr><td>Bans</td><td>13</td><td>6</td></tr><tr><td>Fiançailles/promesses</td><td>6</td><td>5</td></tr><tr><td>Mariage</td><td>23</td><td>3</td></tr><tr><td>Sépulture</td><td>56</td><td>7</td></tr><tr><td>Autre</td><td>6</td><td>0</td></tr><tr><td>Total</td><td>146</td><td>26</td></tr></tbody></table>

### 6.2.1.2 Complétion des structures avec des informations variables

Les structures extraites doivent ensuite être complétées avec des informations variables, afin de créer des actes différents basés sur une même structure. Il est donc nécessaire de générer des prénoms, noms, métiers ou encore des dates.

**Prénom et nom** Les noms et prénoms sont tirés aléatoirement à partir de 5 447 noms et 712 prénoms relevés. Les prénoms ont préalablement été genrés à l'aide d'un modèle de classification : 377 prénoms masculins et 335 prénoms féminins ont été extraits.
<figure><img src="image_83.png" /><figcaption>(a) Quatre actes de sépulture issus de différentes paroisses et périodes.</figcaption></figure>

<figure><img src="image_84.png" /><figcaption>(b) Une structure générique basée sur ces quatre actes.</figcaption></figure>

**Figure 6.2** – Modélisation du texte issu des actes. Les transcriptions des actes partageant le même squelette sont regroupées. Une structure d'acte est synthétisée et peut ensuite être utilisée afin de générer des actes similaires. Légende : {champ à peupler}, <facultatif>, synonymes possibles.
**Date** La date est générée aléatoirement entre le XVIe et le XVIIIe siècle. Le jour, le mois et l'année sont ensuite formatés aléatoirement en lettres ou en format numérique. Les mois peuvent être écrits de différentes manières. En particulier, les mots de septembre, octobre, novembre, décembre s'écrivent fréquemment « 7bre », « 8bre », « 9bre », « 10bre » ou « Xbre ». Enfin, dans certains cas, la date exacte n'est pas précisée, et est remplacée par des expressions relatives : « le même jour », « le jour suivant », ou « aujourd'hui ». Ainsi, la date du 11/12/1642 peut être écrite de différentes façons, toutes équivalables :

— « le onze décembre mil six cent quarante-deux »

— « le onzième jour de décembre 1642 »

— « le onze 10bre 1642 »

— « le 11 Xbre 1642 »

— « ledit jour et an ci-dessus »

— ...

**Âge** L'âge des personnes est tiré aléatoirement entre 0 et 85 ans, et est formaté aléatoirement en lettres ou en nombres. S'il est inférieur à deux ans, le nombre de mois est également précisé.

**Lieu** Plusieurs types de lieux ont été identifiés : 418 lieux-dits ont été extraits des relevés auxquels nous avons ajouté les 333 communes d'Ille-Et-Vilaine. Des lieux spécifiques ont été créés pour les lieux de décès : « chez lui », « chez son oncle », « à son domicile ». Certains lieux religieux ont également été définis pour certaines cérémonies : « dans l'église de {ville} » ou « dans le cimetière de {lieu_dit} »

**Titre et métiers** Certaines personnes sont caractérisées aléatoirement par des adjectifs, comme « feu », « défunt », ou « honorable ». Nous avons également identifié 22 métiers à partir des relevés.

**Témoins** Pour un baptême, la liste des témoins inclut un ou les deux parents et éventuellement d'autres membres aléatoires de la famille (tante, oncle, grands-parents). Pour un mariage, la liste des témoins inclut les parents des deux mariés, ainsi que d'autres personnes. Enfin, pour une sépulture, elle est composée du conjoint, des parents ou des enfants, ainsi que potentiellement d'autres personnes.
## 6.2.2 Génération d'images d'actes synthétiques

L'image associée au texte doit ensuite être générée. Pour cela, nous utilisons des polices manuscrites de style historique. Des transformations sont ensuite appliquées aux images afin de rendre les images plus réalistes et d'ajouter de la variabilité.

### 6.2.2.1 Génération de l'image initiale

Nous avons sélectionné 22 polices manuscrites historiques issues des fonderies typographiques P22¹ et OlfFonts<fnref n="2" />. Ces polices ont été sélectionnées pour leur apparence proche de celles des prêtres. L'image associée au texte est générée avec l'une police sélectionnée aléatoirement, grâce à la bibliothèque Python Imaging Library (PIL).

Certaines caractéristiques sont également sélectionnées aléatoirement, en particulier la distance interligne, l'inclinaison du texte, ou encore l'épaisseur du trait. Certaines polices permettent un niveau supplémentaire de personnalisation, comme la possibilité de sélectionner différentes variantes pour certains caractères, de modifier des ligatures, ou d'utiliser des styles historiques pour certaines lettres. Quelques-unes de ces caractéristiques sont illustrées sur la figure 6.3. La police présentée permet, par exemple, des variations stylistiques ou contextuelles, principalement visibles sur le double « t » et le « d ». Elle permet également d'utiliser des variations historiques de certaines lettres, comme le « s » long, que l'on retrouve sur de nombreux actes. En plus de ces variations, certaines polices proposent plusieurs styles pour chaque lettre de l'alphabet, ce qui accroit la variabilité des styles d'écriture.

Des retours à la ligne sont ensuite ajoutés afin que les nombre de caractères par ligne soit réaliste et homogène. L'analyse statistique des transcriptions réelles montre que les lignes contiennent généralement entre 20 et 120 caractères par lignes. Le nombre de caractères par ligne est donc tiré aléatoirement entre ces bornes et les retours à la ligne sont effectués de sorte que les mots ne soient pas coupés.

### 6.2.2.2 Simulation d'exemples réalistes

Certaines transformations ont été implémentées afin de rendre les images plus réalistes, dont certaines sont directement tirées du logiciel DocCreator [Journet 2017].

<footnote n="1">1. https://p22.com/</footnote>

<footnote n="2">2. https://www.oldfonts.com/</footnote>
<figure><img src="image_85.png" /><figcaption>(a) Police originale</figcaption></figure>

<figure><img src="image_86.png" /><figcaption>(b) Inclinaison aléatoire du texte</figcaption></figure>

<figure><img src="image_87.png" /><figcaption>(c) Variations stylistiques (option salt). Le style des lettres d et t varie.</figcaption></figure>

<figure><img src="image_88.png" /><figcaption>(d) Variations contextuelles (option calt)</figcaption></figure>

<figure><img src="image_89.png" /><figcaption>(e) Variations historiques (option hist)</figcaption></figure>

**Figure 6.3** – Illustration des différentes variations de la police OpenType P22Cezanne.

**Courbures des lignes de texte** Nous souhaitons reproduire les courbures du texte présent sur les actes des registres paroissiaux. Pour cela, nous avons extrait les lignes polygonales représentant les courbures des 21 000 lignes de texte de la base de données DLA-BMS-1. Ces courbures sont ensuite appliquées de manière aléatoire à chaque acte synthétique, en déplaçant les pixels colonne par colonne.

**Ajout de tâches** Les actes peuvent présenter des taches d'encre ou des ratures. Nous simulons ces artefacts en utilisant les motifs de tâches du logiciel DocCreator. Ces motifs sont redimensionnés et collés aléatoirement dans l'image. Le nombre d'artefacts par image synthétique varie aléatoirement entre 1 et 5.

**Coloration de l'encre** L'encre des registres paroissiaux est rarement complétement noire. Nous colorons le texte des actes synthétiques avec une couleur sombre aléatoire pour laquelle chaque valeur RGB est tirée aléatoirement entre 0 et 80.

**Effacement de l'encre** De la même façon, l'encre des actes n'est jamais uniforme. Nous simulons un effet d'effacement de l'encre à l'aide d'un bruit de Perlin [Perlin 2002] à l'image synthétique. Le coefficient du bruit de Perlin est tiré aléatoirement pour chaque image entre 0.2 et 0.8.
**Ajout d'un fond** La dernière transformation consiste à ajouter un fond de papier à l'acte synthétique. Pour cela, nous avons sélectionné certaines pages de registres paroissiaux qui ne contiennent pas de texte : 30 images de registres paroissiaux et 20 images de documents variés issus du logiciel DocCreator. Pour chaque image synthétique, un fond est tiré aléatoirement et l'image synthétique est collée par transparence à un endroit aléatoire de la page.

6.2.2.3 Simulation d'exemples variés

Nous avons également implémenté d'autres transformations afin d'accroître la variabilité des images synthétiques. Chacune de ces transformations est appliquée avec une probabilité p = 0.3. La figure 6.4 présente quelques exemples d'actes synthétiques obtenus après l'application des différentes transformations.

**Apparence du texte** Les opérations morphologiques de dilatation et d'érosion sont appliquées à ces images synthétiques. Elles permettent d'impacter la taille du trait : l'érosion diminue le trait de la plume, alors que la dilatation grossit le trait. Le cisaillement est également utilisé pour modifier l'angle des caractères, ce qui impacte l'inclinaison du texte vers la gauche ou la droite.

**Prise de vue** Des déformations élastiques sont également appliquées au texte à l'aide d'une grille, afin de déformer localement les lettres et accroître leur variabilité. Une rotation ou un changement de perspective aléatoire peuvent être appliqués au texte.

**Couleurs de l'image** Des transformations sont appliquées pour modifier l'intensité de l'image. Le contraste, la netteté, les couleurs et la luminosité de l'image sont ainsi ajustés de façon aléatoire, et certaines images sont également transformées en négatif.

**Qualité de l'image** Les images sont également bruitées en utilisant un bruit gaussien et un bruit de Poisson. Un flou de mouvement est appliqué afin de simuler un effet de mouvement de l'appareil photo lors de la prise de vue. L'algorithme de compression JPG est également appliqué. Enfin, la netteté et la résolution de l'image sont modifiées aléatoirement.
<figure><img src="image_90.png" /><figcaption>Figure 6.4 – Exemples d'actes synthétiques générés avec notre méthodologie.</figcaption></figure>
### 6.2.3 Génération d'images de lignes de texte synthétiques

Notre méthodologie permet de générer des images d'actes synthétiques. Cependant, notre modèle de reconnaissance d'écriture prend en entrée des images de lignes de texte. Nous proposons donc trois stratégies pour générer des lignes de texte synthétiques. Celles-ci sont illustrées et comparées dans la figure 6.5.

**Génération de lignes de texte isolées** La première méthode consiste à segmenter le texte de l'acte en lignes, afin de générer une image par ligne de texte. Cette méthode est simple, efficace et rapide, mais le rendu n'est pas très réaliste, car les lignes de texte sont isolées : les ascendants et descendants des lignes voisines n'apparaissent pas sur l'image.

**Génération d'actes puis segmentation basée sur les caractéristiques de la police** Cette méthodologie consiste à effectuer la segmentation en lignes à partir de l'image de l'acte. La boite englobante des lignes de texte est calculée à partir des caractéristiques typographiques de la police. Ainsi, selon la présence de hampes ou jambages, les imagettes de lignes ne sont pas toutes de la même hauteur. Les coordonnées sont mises à jour lors de l'application des transformations de dégradation et d'augmentation, ce qui permet de connaître les boites englobantes de l'image transformée. Avec cette méthode, les boites englobantes sont suffisamment grandes pour englober tous les glyphs de la ligne. En conséquence, les descendants de la ligne précédente et les ascendants de la ligne suivante peuvent apparaître dans l'image segmentée.

**Génération d'actes puis segmentation basée sur le calcul de l'interligne** Cette méthodologie consiste également à effectuer la segmentation en lignes à partir de l'image de l'acte. La boite englobante des lignes de texte est calculée à partir de la connaissance des lignes de base et du calcul de l'interligne. Cette méthode est celle que nous avons utilisée pour créer les images de lignes à partir de registres paroissiaux réels. Là encore, les ascendants et descendants des lignes voisines peuvent apparaître dans l'image segmentée, comme pour les lignes réelles.

**Résultats** Nous comparons ces différentes méthodes de génération de lignes en évaluant leur impact sur les performances du modèle de reconnaissance d'écriture. L'apprentissage se fait en utilisant 16377 lignes de texte réelles de la base HTR-générique et 16377 lignes synthétiques. La validation et l'évaluation se fait sur la base de données HTR-BMS.
<figure><img src="image_91.png" /><figcaption>(a) Exemple de ligne de texte issue d'un acte réel après redressement de la courbure.</figcaption></figure>

<figure><img src="image_92.png" /><figcaption>(b) Génération d'une ligne isolée. Le texte initial de l'acte est découpé en lignes, puis une image est générée pour chaque ligne de texte.</figcaption></figure>

<figure><img src="image_93.png" /><figcaption>(c) Méthode basée sur les caractéristiques de la police. L'image de l'acte est générée, puis la segmentation est effectuée grâce aux caractéristiques de la police. La hauteur de la boite englobante est calculée de façon à ce que les ascendants et descendants soient complètement inclus dans l'image. En conséquence, elle peut inclure du texte des lignes adjacentes.</figcaption></figure>

<figure><img src="image_94.png" /><figcaption>(d) Méthode basée sur l'interligne. L'image de l'acte est générée, puis la segmentation est effectuée grâce à la connaissance des lignes de base et de l'interligne. Avec cette méthode, les ascendants et descendants peuvent être coupés.</figcaption></figure>

**Figure 6.5** – Un exemple de ligne réelle comparée à trois méthodes de génération de lignes de texte synthétiques.
Les résultats présentés dans la table 6.2 montrent que la génération de lignes synthétiques isolées est la méthode la moins convaincante. Elle mène à une augmentation des taux d'erreur caractères et mots d'environ 7% par rapport aux deux autres méthodes basées sur une segmentation de l'acte synthétique. Ces deux autres méthodes obtiennent des résultats comparables, avec une légère amélioration des performances pour la méthode basée sur les caractéristiques de la police. Nous rappelons que les images de lignes de la base HTR-BMS ont été créées à partir d'une méthode basée sur l'interligne. Ainsi, la méthode de segmentation basée sur la police ne bénéfice pas de ce biais. Nous retenons cette méthode de segmentation pour la suite.

<table><caption>**Table 6.2** – Évaluation des différentes méthodes de génération de lignes synthétiques sur la base BMS-HTR. Le modèle est appris sur 16 377 lignes synthétiques et 16 377 lignes réelles issues de la base HTR-générique.</caption><thead><tr><th>Méthode de génération des lignes</th><th>CER (%) ↓</th><th>WER (%) ↓</th></tr></thead><tbody><tr><td>Lignes isolées</td><td>30.44</td><td>75.34</td></tr><tr><td>Segmentation basée sur la police</td><td><b>28.44</b></td><td><b>72.68</b></td></tr><tr><td>Segmentation basée sur l'interligne</td><td>28.49</td><td>74.53</td></tr></tbody></table>

## 6.3 Apprentissage combinant données réelles et synthétiques

Nous souhaitons à présent optimiser l'utilisation des données synthétiques pour l'apprentissage d'un système de reconnaissance d'écriture. Pour cela, nous comparons différents scénarios d'apprentissage en combinant des données réelles et synthétiques. Nous étudions également l'impact de la sélection des bases de données réelles sur les performances du système.

### 6.3.1 Remplacer les lignes de texte réelles par des lignes de texte synthétiques

Dans un premier temps, nous souhaitons évaluer différents scénarios de mélange de données réelles et synthétiques avec un ensemble d'apprentissage de taille constant. Pour cela, nous sélectionnons aléatoirement des données réelles de la base de données HTR-générique, que nous remplaçons par des données synthétiques. La taille de l'ensemble
d'apprentissage reste donc constante, égale à la taille de la base de données HTR-générique (32 755 lignes). Nous rappelons que la base d'apprentissage ne contient aucun registre paroissial réel. Nous comparons différents ratios de données réelles remplacées par des données synthétiques.

<table><caption>**Table 6.3** – Scores sur BMS-HTR (test) pour la reconnaissance d'écriture. Pour ces expérimentations, la taille de l'ensemble d'apprentissage est constante à 32 755 : un pourcentage aléatoire de données réelles est remplacé par des données synthétiques. La base d'apprentissage ne contient aucun registre paroissial réel.</caption><thead><tr><th>Lignes synthétiques en remplacement (%)</th><th>CER (%) ↓</th><th>WER (%) ↓</th></tr></thead><tbody><tr><td>0</td><td>33.87</td><td>82.84</td></tr><tr><td>25</td><td><strong>25.79</strong></td><td><strong>70.70</strong></td></tr><tr><td>50</td><td>28.44</td><td>72.68</td></tr><tr><td>75</td><td>28.74</td><td>73.24</td></tr><tr><td>100</td><td>37.03</td><td>80.29</td></tr></tbody></table>

Les résultats de la table 6.3 démontrent l'intérêt des données synthétiques. En effet, remplacer 25% de données réelles par des données synthétiques se traduit par une baisse d'environ 25% du taux d'erreur caractère, à taille de l'ensemble d'apprentissage constant. L'amélioration est également visible sur le taux d'erreur mot, qui diminue de 82.8% à 70.70%. À l'inverse, les résultats montrent également l'intérêt d'utiliser des données réelles pendant l'apprentissage, car les performances du système appris uniquement sur des données synthétiques sont très faibles. Ces résultats montrent donc l'intérêt de combiner des données réelles issues d'une base de données générique à des données synthétiques spécialisées pour l'apprentissage d'un modèle de reconnaissance de registres paroissiaux. Le meilleur compromis semble de combiner 25% de données synthétiques et 75% de données réelles.

Cependant, dans cette configuration, les lignes réelles sont retirées de l'ensemble d'apprentissage de façon aléatoire. Or, certaines d'entre elles semblent plus adaptées pour l'apprentissage d'un système de reconnaissance de registres paroissiaux. Par exemple, les documents issus des bases de données READ ou HTR-Paléo ressemblent aux registres paroissiaux : leur retrait de l'ensemble d'apprentissage pourrait impacter négativement les performances du système. Par conséquence, remplacer des données réelles peut être dangereux.
## 6.3.2 Compléter les lignes de texte réelles avec des lignes de texte synthétiques

Pour dépasser cette limite, nous effectuons la même expérimentation en gardant tous les documents réels dans l'ensemble d'apprentissage. Ainsi, nous conservons le même nombre de lignes synthétiques dans l'ensemble d'apprentissage, mais combinées à toutes les lignes issues de la base de données HTR-générique, soit 32 755 lignes réelles et 8 188 lignes synthétiques.

Le tableau 6.4 compare les résultats lorsque ces lignes synthétiques remplacent ou complètent les documents réels de la base de données HTR-générique. Les résultats montrent une légère amélioration des performances lorsque la base HTR-générique est utilisée dans son intégralité, avec 25% de données synthétiques supplémentaires. En revanche, nous observons que l'ajout d'un pourcentage plus élevé de données synthétiques dégrade les performances du système. Une surreprésentation des images synthétiques dans l'ensemble d'apprentissage n'est donc pas recommandée.

<table><caption>**Table 6.4** – Scores sur BMS-HTR (test) pour la reconnaissance d'écriture. Pour ces expérimentations, la taille de l'ensemble d'apprentissage augmente : les données synthétiques sont ajoutées aux 30 000 lignes de la base HTR-générique. La base d'apprentissage ne contient aucun registre paroissial réel.</caption><thead><tr><th>Lignes synthétiques (%)</th><th>N&#x0305;_train</th><th>CER (%) ↓</th><th>WER (%) ↓</th></tr></thead><tbody><tr><td>25 (remplacement)</td><td>32755</td><td>25.79</td><td>70.70</td></tr><tr><td>25 (complément)</td><td>40943</td><td><strong>25.21</strong></td><td><strong>67.97</strong></td></tr><tr><td>50 (complément)</td><td>49132</td><td>28.03</td><td>73.94</td></tr></tbody></table>

## 6.3.3 Sélection des documents réels

Nous avons démontré que l'ajout de données synthétiques spécialisées à des données réelles génériques permet d'améliorer la reconnaissance des registres paroissiaux. Nous souhaitons à présent évaluer l'influence des données réelles utilisées pour l'apprentissage. Par exemple, la base de données IAM est très différente des registres paroissiaux : les documents sont modernes et rédigés en anglais. Ainsi, il est légitime de se demander si l'apprentissage sur cette base de données a un intérêt pour la reconnaissance de registres paroissiaux. Au contraire, les documents de la base de données HTR-Paleo, détaillée dans le chapitre 1, sont très proches des registres paroissiaux, car elle est composée de
documents français datant de la même époque. De la même façon, les documents de READ et Esposalles sont historiques et présentent certaines caractéristiques visuelles communes aux registres BMS, bien que la langue soit différente. Enfin, la base de données RIMES présente du texte moderne, mais rédigé en français.

Pour répondre à cette question, nous entraînons notre architecture sur différentes combinaisons de bases de données réelles, avec 25% de données synthétiques supplémentaires :

- Générique aussi appelée HTR-générique, qui contient toutes ces bases de données, (32 755 lignes pour l'apprentissage);

- Hist-1 qui combine les bases READ (historique) et HTR-Paleo (historique et français)- soit les deux bases de données qui ressemblent le plus au style d'écrire-ture des registres paroissiaux (10 717 lignes pour l'apprentissage);

- Hist-2 qui contient READ et HTR-Paleo, mais également la base de données Esposalles qui contient des registres historiques catalans ressemblant aux registres paroissiaux, mais très homogène (13 346 lignes pour l'apprentissage);

- Hist-Fr qui contient READ et HTR-Paleo, mais également la base de données RIMES qui contient des documents français moderne, qui peut permettre d'apprendre un modèle de langue implicite (20 664 lignes pour l'apprentissage).

Les résultats du tableau 6.5 montrent que la sélection de bases de données cohérentes n'a pas d'intérêt, et qu'il est préférable d'utiliser toutes les données disponibles.

<table><caption>**Table 6.5** – Influence des données réelles sur la performance du système de reconnaissance d'écriture sur BMS-HTR. Différentes combinaisons de bases de données réelles sont comparées, avec un pourcentage fixe (25%) de données synthétiques ajoutées lors de l'apprentissage.</caption><thead><tr><th rowspan="2"></th><th colspan="5">Base de données réelles</th><th rowspan="2">CER (%) ↓</th><th rowspan="2">WER (%) ↓</th></tr><tr><th>IAM</th><th>RIMES</th><th>Esposalles</th><th>READ</th><th>HTR-Paleo</th></tr></thead><tbody><tr><td>Générique</td><td>✔</td><td>✔</td><td>✔</td><td>✔</td><td>✔</td><td>25.21</td><td>67.97</td></tr><tr><td>Hist-1</td><td></td><td>✔</td><td></td><td>✔</td><td>✔</td><td>28.44</td><td>72.68</td></tr><tr><td>Hist-2</td><td></td><td></td><td>✔</td><td>✔</td><td>✔</td><td>37.03</td><td>80.29</td></tr><tr><td>Hist-Fr</td><td></td><td>✔</td><td></td><td>✔</td><td>✔</td><td>28.74</td><td>73.24</td></tr></tbody></table>

## 6.4 Résultats finaux et discussion

Nous avons montré que la combinaison de données synthétiques spécialisées et de données réelles génériques permet de diminuer le taux d'erreur caractères de 25.6%. Dans
cette dernière section, nous présentons des exemples de transcriptions effectuées par notre modèle et commentons les résultats obtenus. Nous proposons également un exemple de reconnaissance complète du texte et des entités nommées.

La stratégie globale d'apprentissage *séquentielle* mise en place pour la reconnaissance d'écriture et l'extraction d'informations dans les registres paroissiaux est illustrée dans la figure 6.6. Il n'a pas été possible d'appliquer l'approche *combinée*, pourtant plus performante, car les bases de données réelles génériques ne contiennent pas d'annotations sur les entités nommées.

<figure><img src="image_95.png" /><figcaption>**Figure 6.6** – Illustration du mécanisme d'apprentissage avec des données réelles et synthétiques. Le modèle de reconnaissance d'écriture (Seq2seq) est appris sur des données réelles génériques et des données synthétiques spécialisées. Puis, la transcription prédite est analysée par le modèle de reconnaissance des entités nommées (FLAIR), appris uniquement sur des données synthétiques, afin d'associer chaque mot prédit à une catégorie sémantique et un rôle de personne.

Légende : prénom de la personne principale, nom de la personne principale, prénom du père.</figcaption></figure>
6.4.1 Reconnaissance d’écriture

Nous avons montré que l’utilisation de données synthétiques permet d’envisager une reconnaissance automatique de l’écriture des registres paroissiaux lorsque aucun exemple réel n’est disponible pour l’apprentissage.

Nous présentons ici quatre exemples de transcriptions effectuées par notre modèle sur les figures 6.7, 6.8, 6.9, et 6.10. Sur ces images, le taux d’erreur caractères varie de 40% à 15%. Nous proposons une analyse qualitative des erreurs effectuées par le réseau afin d’expliquer ces variations et d’envisager des pistes d’améliorations.

<figure><img src="image_96.png" /><figcaption>(a) Image</figcaption></figure>

julienne poulain fille de pierre et d'anne marchand son
epouse nee de ce jour aux cours hamons a ete ce douze avril mil
sept cent quatre vingt dix Baptisee par le Recteur soussigné parain
julien louapre marainne julienne Bonami qui n'ont signes

<caption>(b) Vérité</caption>

entrenne quantaire fille de parres et janses marchen
le pour mon de monsieur lourstamons aire ce doupeures en
je vous quatre rouge des bayelle parle recedur soussigne partur
quille louape marainne pertenire sonant querront pages

<caption>(c) Prédiction</caption>

**Figure 6.7** – Un exemple de transcription sur une image de faible résolution (180 dpi) pour laquelle le taux d’erreur caractères s’élève à 41.4%.

**Alphabet limité** Nous avons choisi de ne pas prendre en compte les caractères spéciaux lors de l’apprentissage du modèle : les majuscules sont transformées en minuscules, les caractères accentués sont remplacés par des caractères non accentués et caractères spéciaux sont supprimés. Ce choix est motivé par deux raisons. D’une part, ces caractères n’apparaissent que ponctuellement dans l’ensemble d’apprentissage, ce qui produit un déséquilibre des classes lors de l’apprentissage. D’autre part, les majuscules et les accents
<figure><img src="image_97.png" /><figcaption>(a) Image</figcaption></figure>

Le petit corps de Jeanne Marie Noelle Salon fille de Me Joseph et de
Dlle Julienne decedée en ce bourg agée de quatre jours a été in-
Humée dans le cimetière par moi Cr soussigné le vingt neuf decembre
Mil sept cent soixante dix neuf en presence de son Pere et de plusieurs au-
tres qui n'ont signé

(b) Vérité

lepetit corps de jenne marie noulle salon fille derne joreps ecde
du suivente ollivier duder eubourg ager de quatrejours actoin
trumie dans le fimitier par moi tr soussignes levringe nus demembre
minseptent soixante dieneus en presencedesson serverseplusieurs de
tre qui nont figne

(c) Prédiction

**Figure 6.8** – Un exemple de transcription sur une image de bonne résolution (300dpi) pour laquelle le taux d'erreur caractères s'élève à 26.05%
<figure><img src="image_98.png" /></figure>

(a) Image

pierre jean fils legitime d'htes pes joseph jugon et
louise foulains son epouse né dans cette ville le
vingt sept janvier mil sept cent quatre vingt onze a
ete baptisé par moy soussigne le même jour et tenu
sur les sts fonts par hbles pes pierre joly et
jeanne mauxion en presence des soussignants

(b) Vérité

pienve jeans fils rey time dh les res joreple jugonst
lonire foutains son eponse ne dians cette ville de
eing de janvier mit sent ans quintre singt onsega
ete baptise par moy soussigne rememe jour st line
sur les sts louts jur 10 blis nes pierre jotz et
reanne mauxion en presence des sonsignants

(c) Prédiction

**Figure 6.9** – Un exemple de transcription sur une image de faible résolution (180 dpi) pour laquelle le taux d’erreur caractères s’élève à 19.87%.
<figure><img src="image_99.png" /></figure>

(a) Image

Perrine Baudy fille de feus Pierre Baudy & Anne
Malva epouse de Joseph Delalande originaire de
cette paroisse agée de soixante neuf ans deceda à la
Baudiniere le premier decembre mil sept cent
quatre vingt huit & fut inhumee le trois par nous
soussigné en presence de francois de la lande son fils
qui a signé avec nous & de vincent de la lande aussi
son fils qui a declaré ne scavoir signer

(b) Vérité

perrine bandy fille de feus piere bandy de alve
malva pouse de hosept betalande originairre de
cette paroisse agee de hoiprente neuf ans decede a la
baudimere te premier decembre mit ept lent
quatre vingt huis x feus in numed le trois pran nous
houssigne en presence de francois de la lande fan fils
qui a signe avec nous de de rivant de la lande ausse
hon fils qui a declari ne sauvoir signer

(c) Prédiction

**Figure 6.10** – Un exemple de transcription sur une image de bonne résolution (300 dpi) pour laquelle le taux d'erreur caractères s'élève à 15.01%
sont utilisés de manière hétérogène par les prêtres sur les registres paroissiaux. Cette homogénéisation des caractères lors de l’apprentissage permet de simplifier le modèle, mais conduit à des erreurs de transcription.

Par exemple, dans la figure 6.8, le nom « Marie » est reconnu « marie » : la différence de casse compte pour une erreur de transcription, même si la bonne lettre est reconnue. La même problématique se pose pour les accents, par exemple sur le mot « né » de la figure 6.9. Enfin, le caractère spécial « & » n’est pas reconnu dans la figure 6.10, car il ne fait pas partie de l’ensemble d’apprentissage. À la place, le modèle reconnaît la lettre « x » ou les caractères « de », ce qui conduit à des erreurs.

À terme, il sera nécessaire d’identifier les caractères spéciaux ayant une importance ou une fréquence d’apparition élevée dans les transcriptions des actes. La reconnaissance de ces caractères pourra contribuer à la diminution des taux d’erreur.

## Faible résolution des images

La résolution des images de registres paroissiaux peut également être une source d’erreur pour la transcription automatique. En effet, les registres paroissiaux sur lesquelles le modèle est évalué sont de faible résolution (180 dpi), alors que le modèle a été appris sur des documents génériques en bonne résolution (300 dpi). La figure 6.11 met en évidence cette différence de résolution.

Il n’est pas possible de mener une étude statistique sur l’impact de la résolution, car trop peu de registres paroissiaux en bonne qualité (300 dpi) ont été transcrits. En revanche, il est possible de comparer les transcriptions obtenues pour une même image à différentes résolutions. Ainsi, la figure 6.12 présente les transcriptions obtenues sur une image de bonne résolution (300 dpi), qui a été ré-échantillonné à des résolutions plus faibles. Nous observons que le taux d’erreur caractère augmente de 13.1% à 16.9% lorsque l’image est ré-échantillonnée à 180 dpi, et à 23.7% lorsque l’image est ré-échantillonnée à 72 dpi. Cette observation démontre que la faible qualité de numérisation peut avoir mené à des erreurs de transcription.

Dans l'idéal, nous souhaitons que le système de reconnaissance s'adapte à des documents de résolution variable (capture d'écran, image compressée). Pour cela, une première piste consisterait à apprendre le modèle avec des images de résolution variable, en ré-échantillonnant certaines images à 180 dpi. Une autre piste consisterait à s'intéresser aux algorithmes de super-résolution, déjà utilisés pour améliorer la reconnaissance du texte imprimé [Dong 2015] ou des caractères manuscrits isolés [Qian 2020].
<figure><img src="image_100.png" /><figcaption>(a) Synthétique</figcaption></figure>

<figure><img src="image_101.png" /><figcaption>(b) Esposalles (300 dpi)</figcaption></figure>

<figure><img src="image_102.png" /><figcaption>(c) IAM (300 dpi)</figcaption></figure>

<figure><img src="image_103.png" /></figure>

<figure><img src="image_104.png" /><figcaption>(e) READ (300 dpi)</figcaption></figure>

<figure><img src="image_105.png" /><figcaption>(f) HTR-BMS (180 dpi)</figcaption></figure>

<caption>(d) RIMES (300 dpi)</caption>

**Figure 6.11** – Zoom sur un mot dans des documents issus de différentes bases de données afin d'illustrer les différences de qualité des images. Tous les registres paroissiaux de la base HTR-BMS sont numérisés à 180 dpi.

**Confusion entre les lettres** D'autres erreurs courantes sont dues à la confusion entre plusieurs lettres. Cette confusion peut être induite par différents facteurs.

Certaines erreurs sont liées aux styles d'écriture de certains prêtres. Par exemple, sur la figure 6.9, les lettres « n », « r », et « v » se ressemblent, ce qui provoque des erreurs de reconnaissance (« pierre » reconnu « pienne »). De la même façon, sur l'acte de la figure 6.10, le prêtre trace la lettre « e » avec une largeur très faible : le modèle rencontre donc des difficultés à différencier les lettres « i » et « e » (« déclaré » reconnu « declari » et « aussi » reconnu « ausse »).

D'autres erreurs sont liées aux ligatures et décorations tracées par certains prêtres. Sur ce même acte, la dernière lettre du mot « inhumé » a été stylisée avec une ligature : le « e » a été reconnu comme un « d ». De la même façon, sur la figure 6.8, le c de « ci-metière » est stylisé, il est donc mal reconnu (« fimetier »). Enfin, les erreurs les plus fréquentes viennent de la confusion entre le s long et le f. Cette confusion est visible sur les figures 6.8 (« signe » reconnu « figne ») et 6.10 (« son » reconnu « fon »).

La spécialisation du modèle sur des registres paroissiaux réels pourrait permettre de corriger certaines de ces erreurs. En effet, celui-ci pourrait s'adapter aux caractéristiques des écritures de l'époque et apprendre des caractéristiques linguistiques spécifiques aux actes.

**Espacement irrégulier entre les mots** Un espacement faible ou inexistant entre les mots peut également mener à des erreurs de transcription automatique.

La figure 6.8 présente, par exemple, un style d'écriture pour lequel les espaces inter-mots sont très faibles (« présence de son » reconnu « presencedesson ») La même problématique
<figure><img src="image_106.png" /></figure>

<table><caption>**Figure 6.12** – Influence de la résolution sur les performances du système de reconnaissance.</caption><thead><tr><th>Transcription vérité</th><th>dpi</th><th>CER</th></tr></thead><tbody><tr><td>françois gerard fils de francois & de anne rouxel sa fe est<br>né & a été baptizé le six mars mil sept cent quatre vingt sept<br>parain francois baron maraine michelle hauvespre presents<br>perinne ceot francoise joulaux & autres qui n'ont signé</td><td></td><td></td></tr><tr><th>Transcription prédite</th><th>dpi</th><th>CER</th></tr><tr><td>clanteis queard fils de llancois et de anne souxe la feroit<br>ne sta ete baptere le six mais mil sept cent quatre vingt este<br>parrain glamois bason maraine in echelle hauvespele presents<br>resinne lect plancoir joulaux exautres qui nent vigne</td><td>72</td><td>23.7.1</td></tr><tr><td>franceis egeair fils de francois tred anne souxel sa ferest<br>ne es a ete baptise le six mars mil sept cent quatre vingt ent<br>parain francois bavon maraine michelle hauvespre presents<br>perinne lect prancoixe joulaux deaulles qui nent signe</td><td>180</td><td>16.9</td></tr><tr><td>franceis genard fils de francois tede anne souxel sa ferest<br>ne es a ete baptise le six mars mil sept cent quatre vingt enst<br>parain francois bavon maraine michelle hauvespre presents<br>perinne leot prancoixe joulaux davulles qui nent signe</td><td>300</td><td>13.1</td></tr></tbody></table>
apparaît sur l'image de la figure 6.7. Au contraire, dans certains cas, l'espacement entre des lettres d'un même mot conduit à des erreurs de reconnaissance. Par exemple, sur la figure 6.10, le mot « inhumé » est coupé en deux à cause de l'absence de ligature entre le « n » et le « h ».

L'utilisation d'un modèle de langue implicite ou explicite pourrait permettre au modèle d'inférer la position des espaces dans les transcriptions prédites.

### Ratures et rajouts
Certaines erreurs sont également liées à des taches d'encre, des ratures ou des annotations présentes sur le papier.

Par exemple, sur la figure 6.9, un trait à la fin du mot « jean » fait que le modèle prédit « jeans ». De la même manière, le mot « sept », ajouté par le prêtre entre la deuxième et la troisième ligne, n'est pas correctement reconnu.

Enfin, sur la figure 6.12, le mot sept est raturé et est mal reconnu par le modèle. Ces erreurs pourraient être partiellement corrigées en apprenant le modèle sur des documents contenant ce type de ratures, taches ou annotations. Ces artefacts pourraient également être simulés lors de la génération de documents synthétiques.

### Incertitudes sur la transcription vérité
La transcription manuelle des actes est susceptible de contenir des erreurs ou des interprétations de lecture.

Par exemple, sur la figure 6.12, le nom de la marraine peut être lu de différentes façons : « hauvespre », « hauvesgure » ou « hauvesque ». Sur la figure 6.7, les derniers mots sont écrits sans espace ni apostrophe. Ils ont pourtant été transcrits « qui n'ont signes » par l'annotateur qui a interprété le texte lors de sa lecture.

Une perspective pour améliorer la fiabilité des transcriptions manuelle serait de s'appuyer sur des méthodes de transcription collaborative.

## 6.4.2 Extraction d'information

Nous souhaitons à présent effectuer une analyse qualitative de l'extraction d'information afin d'en tirer des pistes de réflexion pour améliorer le modèle de reconnaissance complet. Nous présentons un exemple de reconnaissance complète réalisée par le modèle, sur la figure 6.13.

Nous avons entraîné un modèle FLAIR [Akbik 2019] sur des actes synthétiques, comme illustré sur la figure 6.6. Une fois appris, le modèle est ensuite utilisé pour prédire les catégories sémantiques et les rôles des personnes à partir de la transcription prédite par le
modèle de reconnaissance d'écriture. Le modèle FLAIR obtient un taux de classification de 83% lorsqu'il est évalué sur la transcription vérité. À titre de comparaison, le même réseau appris sur la base Esposalles atteignait un taux de classification de 97%. Cette observation montre que la tâche de classification est plus difficile sur les registres paroissiaux. En effet, la tâche est plus complète, car nous souhaitons reconnaître des textes plus variés, avec trois types d'actes contre un seul pour la base Esposalles. De plus, le modèle FLAIR apprend à partir d'actes synthétiques qui sont trop propres (pas ou peu de fautes et d'abréviations, peu de variabilité).

La tâche d'extraction est difficile à effectuer sur les registres paroissiaux, car elle consiste à classer chaque mot reconnu par le modèle de reconnaissance d'écriture dans une catégorie sémantique. Or, les taux d'erreur à l'échelle des caractères et des mots sont élevés, ce qui signifie que les mots prédits sont incorrects, et donc difficiles à classer. En conséquence, les données extraites à ce jour sont pour la plupart inexploitables, soit parce que les mots sont incorrectement reconnus, soit parce qu'ils sont mal classés.

Cependant, sur certaines images lisibles et de bonne qualité, l'extraction automatique d'informations est encourageante. Par exemple, la table 6.13 présente les informations extraites par le système pour un document transcrit avec un taux d'erreur caractères de 15%. Ici, les catégories sémantiques sont bien reconnues, avec un score de reconnaissance basique<fnref n="3" /> à 69%. En revanche, la reconnaissance du rôle des personnes est plus problématique : les mots se rapportant à la mère ont été reconnues comme appartenant au père, ce qui fait chuter le taux de reconnaissance.

Au-delà du score, il est légitime de se poser la question de la pertinence de cette métrique pour des applications généalogiques. En effet, dans ce cadre, la connaissance précise du patronyme reste primordial. De même, si la date est importante, il semble plus important de reconnaître correctement l'année que le jour précis. Ainsi, la métrique pourrait être améliorée en pondérant les champs les plus importants pour les généalogistes.

### 6.4.3 Intégration dans le système de reconnaissance complet

Nous avons montré que la génération de données synthétiques a permis de mettre au point ce système de reconnaissance, en l'absence de documents réels dans l'ensemble d'apprentissage. Notre méthode de génération d'actes est utilisée dans un dataloader Pytorch, ce qui permet de générer des documents synthétiques à la volée pour l'apprentissage

<footnote n="3">3. Voir la section 5.2.2 pour la définition de la métrique IEHHR</footnote>
<figure><img src="image_107.png" /></figure>

<table><caption>**Figure 6.13** – Une image de bonne qualité sur laquelle de l'information peut être extraite. Le score basique de cette image est de 69% et le score complet est de 41%</caption><thead><tr><th>Catégorie</th><th>Personne</th><th>Vérité</th><th>Prédiction</th></tr></thead><tbody><tr><td>Date</td><td>Aucune</td><td>six mars mil sept<br>cent quatre vingt</td><td>six mars mil sept<br>cent quatre vingt</td></tr><tr><td>Prénom</td><td>Principal (M)</td><td>françois gerard</td><td>franceis egeraid</td></tr><tr><td>Prénom</td><td>Père</td><td>françois</td><td>francois tres anne</td></tr><tr><td>Nom</td><td>Père</td><td></td><td>souxel</td></tr><tr><td>Prénom</td><td>Mère</td><td>anne</td><td></td></tr><tr><td>Nom</td><td>Mère</td><td>rouxel</td><td></td></tr><tr><td>Prénom</td><td>Parrain</td><td>françois</td><td>francois</td></tr><tr><td>Nom</td><td>Parrain</td><td>baron</td><td>bavon</td></tr><tr><td>Prénom</td><td>Marraine</td><td>michelle</td><td>michelle</td></tr><tr><td>Nom</td><td>Marraine</td><td>hauvesque</td><td>hauvespre</td></tr></tbody></table>

de modèles de reconnaissance d'écriture ou de reconnaissance d'entités nommées.

La chaîne de traitement complète permet de reconnaitre la mise en page des registres paroissiaux, avec notamment la localisation des actes et des lignes de texte, ainsi que la reconnaissance du texte manuscrit et les différentes entités nommées. La chaîne a été compartimentée grâce à des conteneurs Docker afin de faciliter l'appel aux différentes étapes du traitement.

La figure 6.14 présente un exemple d'image de registre entièrement traitée grâce à notre système de reconnaissance. Les systèmes de reconnaissance d'écriture et d'entités nommées pourront être spécialisées sur des actes réels lorsque suffisamment de documents auront été transcrits.

## 6.5 Conclusion du chapitre

Dans ce chapitre, nous avons montré que l'utilisation combinée de données réelles génériques et de données synthétiques spécialisées permet d'envisager une reconnaissance
<figure><img src="image_108.png" /></figure>

(b) Extraction et redressement des lignes de texte

Marie fille de jacque goupil et de marie
chauvel ses pere et mere née à la prunelais
le sept mars mil sept cent soixante et
quatorze, a éteé baptiseé le même jour
par le curé soussigné et tenue sur les saints
fonds de bapteme par charles charbon
assisté de marie boucherie qui ne signent

marie fille de jacque goupil et de marie
chavel ses pere et mer nee a la prundais
le sept marz mil sept cent soixantes et
quatorce a ette baptisee et meme sjour
par et cure soussigne et tenie seer en saints
fonds de bapteme par chavle charbon
assisté de marie boucherie qui ne signents

(c) Reconnaissance de texte (vérité à gauche, prédiction à droite). Légende : Date, Personne principale (F) (prénom, nom), Père (prénom, nom), Mère (prénom, nom), Parrain (prénom, nom), Marraine (prénom, nom)

<caption>**Figure 6.14** – Un registre de bonne qualité (numérisé à 300 dpi) entièrement traité</caption>
du texte des registres paroissiaux, même en l'absence de ces registres dans l'ensemble
d'apprentissage.

Dans un premier temps, nous avons présenté une méthodologie pour la génération d'actes synthétiques, qui consiste à modéliser le texte présent sur les actes puis à générer les images correspondantes. Le texte est généré en suivant des modèles d'actes de baptême, mariage ou sépulture, identifiés par l'analyse structurelle d'actes réels. L'image associée est ensuite générée en utilisant des polices d'écriture manuscrite, et de multiples transformations sont ensuite appliquées à l'image pour la rendre réaliste. Cette méthodologie permet d'obtenir des actes synthétiques intégralement transcrits, et dont les entités nommées sont connues. Nous avons également étudié différentes stratégies pour générer des images de lignes réalistes, afin de construire une base d'apprentissage synthétique.

Nous avons ensuite évalué l'impact des documents synthétiques sur la reconnaissance d'écriture et l'extraction d'information dans les registres paroissiaux. Pour cela, nous avons étudié différents scénarios d'apprentissage en combinant documents réels génériques et documents synthétiques spécialisés. Nous avons démontré qu'un apprentissage basé sur une combinaison de données réelles et synthétiques améliore considérablement les scores de reconnaissance par rapport à un apprentissage uniquement sur des données réelles ou synthétiques. Nous avons également étudié l'impact du dosage de données synthétiques, et montrons que la combinaison optimale consiste à utiliser un quart de données synthétiques et trois quarts de données réelles. Enfin, nous avons mis en évidence l'intérêt d'utiliser une base de données génériques la plus grande possible, incluant des documents d'autres langues et d'autres périodes.

Finalement, la méthodologie de génération d'actes synthétiques permet d'apprendre
un système de reconnaissance d'écriture et d'entités nommées complet, même en l'absence
de registres paroissiaux dans l'ensemble d'apprentissage. Nous avons présenté plusieurs
exemples d'actes traités par notre système de reconnaissance, et montré qu'il est possible
d'effectuer une reconnaissance complète sous certaines conditions. Nous avons également
identifié les difficultés principales des registres, notamment la faible résolution et le style
d'écriture spécifique des prêtres. Les résultats présentés dans ce chapitre sont encoura-
geants, avec une marge de progression qui nous parait très importante. L'annotation
de registres paroissiaux permettra sans doute de fiabiliser le système de reconnaissance.
En combinant ces données réelles et synthétiques, il sera également possible d'utiliser la
stratégie de reconnaissance combinée de caractères et d'entités nommées. Or, cette mé-
thodologie de reconnaissance a été validée sur la base de données publique Esposalles
[Romero 2013], avec des performances à l'état de l'art. Il nous semble raisonnable d'espérer atteindre des performances proches de celles obtenues pour la base de données READ [Strauß 2018], soit environ 15% de taux d'erreur caractères. Or, nous avons montré dans ce chapitre que l'extraction d'information est envisageable avec ce taux d'erreur caractères. Une piste pour dépasser certaines limites présentées dans la section 6.4.1 serait d'adapter encore plus les documents synthétiques aux difficultés réellement rencontrées dans les registres paroissiaux : ajout de ratures, adaptation de l'espace inter-caractère et inter-mot, caractères spéciaux.

La génération de documents synthétiques ouvre également de nombreuses perspectives. D'une part, les documents générés sont associés à des annotations complètes : localisation des lignes de bases, des boites englobantes des lignes et des mots, localisation des pixels correspondant au texte. Ils peuvent donc être utilisés pour fiabiliser les modèles de reconnaissance de mise en page de documents. Il est également envisageable d'étendre le système pour générer des documents plus complets à l'échelle des pages.

Le système pourrait également être amélioré en ajoutant de polices d'écriture variées, ou en diversifiant les augmentations et dégradations réalisées. Les images de texte pourraient aussi être générées grâce à des réseaux génératifs Generative Adversarial Networks (GAN). En effet, de premiers travaux sur ces architectures parviennent à générer des mots complètement synthétiques [Kang 2020b; Mattick 2021], même si les résultats sont encore peu réalistes pour de l'écriture ancienne. Enfin, la génération d'actes pourrait être améliorée en complétant la liste des structures de phrases possibles, ainsi que les dictionnaires de noms, prénoms, lieux et métiers qui gagneraient à être enrichis.
# CONCLUSION GÉNÉRALE

Nous concluons ce manuscrit en proposant une synthèse des contributions de cette thèse. Nous identifions également les limites à dépasser, ainsi que certaines perspectives d'amélioration.

## Synthèse des travaux

Dans cette thèse, nous avons présenté une chaine complète pour la reconnaissance automatique de registres paroissiaux, contenant à la fois la segmentation des images en actes, la reconnaissance d'écriture et l'extraction d'information. Nos contributions se sont articulés autour de la problématique de l'apprentissage avec peu de données annotées.

Nos premières contributions se sont concentrées sur la reconnaissance de structure des registres. Dans le chapitre 3, nous avons proposé une approche hybride qui s'appuie sur l'apprentissage par réseaux de neurones de motifs structurels et sur la mise en place de règles logiques pour reconnaître la mise en page des registres. Les résultats mettent en évidence la robustesse de notre approche hybride par rapport à des approches complètement neuronales, même avec un faible nombre d'images d'apprentissage. En effet, cette approche permet une localisation de 90% des actes, soit une hausse de 7% comparé aux approches basées uniquement sur des réseaux de neurones de détection d'objets. Nous avons également montré que l'approche hybride surpasse les approches complètement neuronales, même lorsqu'elle est apprise avec trois fois moins de données d'apprentissage. Notre méthode hybride a été validée sur trois bases de données, ce qui démontre sa capacité de généralisation pour traiter d'autres types de documents. Cette capacité est très importante dans notre contexte industriel, car le système doit être en mesure de traiter des images de registres hétérogènes, qui n'ont pas forcément été représentés dans l'ensemble d'apprentissage. Enfin, l'approche hybridee permet également une reconnaissance complète et descriptive de la mise en page grâce à la localisation des lignes de texte, des signatures ainsi que des annotations marginales, avec leur appartenance à chaque acte.

Nous avons également adressé la question de la reconnaissance d'écriture manuscrite dans le chapitre 4. Nous avons démontré qu'une architecture basée sur un mécanisme
d'attention, déjà largement utilisée pour des tâches de tâches de traduction automatique ou de sous-titrage d'image, a un intérêt pour la reconnaissance d'écriture. Une étude ap-profondie sur les paramètres du modèle a été réalisée afin d'aboutir à l'architecture la plus adaptée pour cette tâche. Nous avons mis en évidence l'intérêt d'utiliser un encodeur convolutif et récurrent dont le squelette bénéficie d'un pré-entraînement sur ImageNet. Nous avons également démontré l'intérêt de la fonction de coût hybride, combinant la clas-sification temporelle connectioniste (CTC) et l'entropie croisée (CE). Enfin, nous avons comparé différents mécanismes d'attention et mis en évidence la supériorité de l'atten-tion hybride pour la reconnaissance d'écriture manuscrite. Notre architecture obtient des performances compétitives sur la plupart des bases de données publiques. Nous avons ensuite étudié différentes stratégies de transfert de connaissance pour la reconnaissance de texte des registres paroissiaux, dans un contexte où peu de données d'apprentissage sont disponibles. La stratégie la plus efficace consiste à apprendre un modèle générique en fusionnant plusieurs bases de données publiques. Cependant, les résultats mettent en lu-mière le manque de données d'apprentissage et donc, la nécessité de transcrire des registres paroissiaux.

Dans le chapitre 5, nous avons étudié les stratégies pour l'extraction d'information dans des documents structurés. Nous avons comparé deux approches : l'approche séquen-tielle, pour laquelle la reconnaissance d'écriture est effectuée en amont de la classification des mots, et l'approche conjointe, pour laquelle les deux tâches sont effectuées simultané-ment. Les résultats de notre étude montrent que, pour une même architecture, l'utilisation d'une approche combinée permet une hausse de 8% du taux de reconnaissance complet, démontrant ainsi l'intérêt de combiner les tâches de reconnaissance d'écriture et des en-tités nommées. Nous démontrons également l'intérêt de notre architecture basée sur un mécanisme d'attention pour la reconnaissance conjointe d'écriture et d'entités nommées, car elle mène à une hausse de 5% du score de reconnaissance par rapport à un réseau CRNN-CTC classique. Nous explorons également différentes stratégies d'apprentissage, et montrons l'intérêt d'une approche conjointe multi-tâches. Cette configuration multi-tâches établit un nouvel état de l'art à l'échelle des lignes sur la compétition IEHHR, atteignant un score complet de 94.4%, sans post traitement, ni modèle de langue expli-cite. Cependant, l'application de cette approche sur les registres paroissiaux est inenvisa-geable sans annotations supplémentaires sans annotations supplémentaires, car trop peu d'images contiennent des annotations sur les entités nommées.

Enfin, dans le chapitre 6, nous avons introduit une méthode permettant de générer