# Combinaison de connaissances physiques et textuelles pour la reconnaissance d'images de registres anciens

Solène Tarride

<figure><img src="image_1.png" /></figure>

## ► To cite this version:

Solène Tarride. Combinaison de connaissances physiques et textuelles pour la reconnaissance d'images de registres anciens. Informatique [cs]. Institut national des sciences appliquées de Rennes, 2022. Français. NNT: . tel-04293607

HAL Id: tel-04293607

https://hal.science/tel-04293607

Submitted on 20 Nov 2023

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_2.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# THÈSE DE DOCTORAT DE

L'INSTITUT NATIONAL DES
SCIENCES APPLIQUÉES RENNES

ÉCOLE DOCTORALE N° 601

Mathématiques et Sciences et Technologies
de l'Information et de la Communication

Spécialité : Informatique

Par

Solène TARRIDE

## « Combinaison de connaissances physiques et textuelles pour la reconnaissance d'images de registres anciens »

Thèse présentée et soutenue à Rennes, le 11 avril 2022

Unité de recherche : IRISA (UMR 6074)

Thèse N° : 22ISAR 07 / D22 - 07

## Rapporteurs avant soutenance :

Nicholas JOURNET Maître de Conférences (HDR) à l'Université de Bordeaux

Thierry PAQUET Professeur à l'Université de Rouen Normandie

## Composition du Jury :

Président : Harold MOUCHERE Professeur à l'Université de Nantes

Examinateurs : Véronique EGLIN Professeur à l'INSA Lyon

Josep LLADÓS Professeur associé à l'Université Autonome de Barcelone

Jean-Yves RAMEL Professeur à l'Université de Tours

Dir. de thèse : Bertrand COUASNON Maître de conférence (HDR) à l'INSA de Rennes

Co-encadrante : Aurélie LEMAITRE Maître de conférence (HDR) à l'Université de Rennes 2

## Invité(s) :

Sophie TARDIVEL Présidente de Doptim
<figure><img src="image_3.png" /></figure>
REMERCIEMENTS

Tout d'abord, je tiens à remercier les membres du jury pour l'intérêt qu'ils ont porté
à mon travail. Je remercie tout particulièrement Thierry Paquet et Nicholas Journet
d'avoir accepté le rôle de rapporteur, et pour leur relecture attentive de mon manuscrit. Je
remercie également Véronique Eglin, Jean-Yves Ramel, Josep Lladós et Harold Mouchère
d'avoir accepté d'examiner mon travail de thèse.

Je souhaite remercier chaleureusement mes encadrants : Aurélie Lemaitre, Bertrand
Coüasnon et Sophie Tardivel. J'ai beaucoup appris à vos côtés, et j'ai surtout pris beau-
coup de plaisir à travailler avec vous. Merci de m'avoir laissé une grande autonomie pour
explorer, expérimenter et aller au bout de mes idées, tout en restant toujours disponibles
pour échanger, m'orienter vers de nouvelles pistes de recherche, et me rassurer dans les
moments de doute. Cet équilibre m'a permis de prendre confiance en moi et a confirmé
mon goût pour le travail de recherche.

J'adresse également toute ma reconnaissance aux nombreuses personnes qui ont contri-
bué à l'avancement de ces travaux. Je pense en particulier à Aurélie Lemaitre, Ivan Leplu-
mey, Ricarda Leroux, Philippe Hervagault, et plus largement tout le Cercle Généalogique
de l'Est de l'Ille-Et-Vilaine, qui ont participé à l'effort de transcription des actes. L'intérêt
que vous avez porté à mon sujet de thèse a renforcé ma motivation et mon intérêt pour
la généalogie. Je souhaite aussi remercier Aurélie Lemaitre (encore !) et Jean Camillerapp
pour l'aide précieuse apportée avec DMOS, et Killian Barrere pour notre collaboration
sur la génération de documents synthétiques.

Je remercie également tous mes collègues d'Intuidoc pour la chaleureuse ambiance de
travail et les nombreuses pauses-café, les pique-niques, les apéros, les escape games et les
soirées jeux. Merci aussi à toute la Dopteam pour les nombreux moments de convivialité
au bureau et à la mer.

Merci à mes parents, Isabelle et Bruno, de m'avoir toujours encouragée à être curieuse
et ambitieuse. C'est grâce à vous si j'en suis là aujourd'hui.

Enfin, un grand merci à Alexandre d'avoir rendu cette période si agréable et facile à
vivre, et de m'avoir soutenue (et supportée) pendant la rédaction de cette thèse.
<figure><img src="image_4.png" /></figure>
# TABLE DES MATIÈRES

Résumé 15

Introduction 17

Contexte applicatif et objectifs 18

Verrous scientifiques 20

Contributions 21

Plan du manuscrit 22

1 Présentation des documents 25

1.1 Les registres de population en France 25

1.1.1 Contexte historique 25

1.1.2 Recherche généalogique 27

1.2 Les registres paroissiaux 28

1.2.1 Mise en page 29

1.2.2 Informations contenues dans les actes 30

1.2.3 Lecture des actes et paléographie 33

1.2.4 Numérisation des documents 34

1.2.5 Dégradations 37

1.2.6 Erreurs dans ces documents 37

1.3 Les documents traités dans cette thèse 38

1.3.1 Objectifs de reconnaissance des registres paroissiaux 39

1.3.2 Bases de données annotées 43

1.4 Conclusion du chapitre 45

2 État de l'art pour la reconnaissance de documents 47

2.1 Introduction 47

2.2 Reconnaissance de la mise en page 50

2.2.1 Tâches de localisation et de détection 50

2.2.2 Méthodologies pour la reconnaissance de mise en page 52

2.2.3 Logiciels existants 58
<table>
  <tbody>
    <tr>
      <td>2.2.4</td>
      <td>Discussion</td>
      <td>58</td>
    </tr>
    <tr>
      <td>2.3</td>
      <td>Reconnaissance de texte manuscrit</td>
      <td>59</td>
    </tr>
    <tr>
      <td>2.3.1</td>
      <td>Méthodologies pour la reconnaissance de texte</td>
      <td>60</td>
    </tr>
    <tr>
      <td>2.3.2</td>
      <td>Logiciels existants</td>
      <td>67</td>
    </tr>
    <tr>
      <td>2.3.3</td>
      <td>Discussion</td>
      <td>68</td>
    </tr>
    <tr>
      <td>2.4</td>
      <td>Extraction d'informations pertinentes</td>
      <td>70</td>
    </tr>
    <tr>
      <td>2.4.1</td>
      <td>Tâches d'extraction d'information</td>
      <td>70</td>
    </tr>
    <tr>
      <td>2.4.2</td>
      <td>Méthodologies pour l'extraction d'information</td>
      <td>71</td>
    </tr>
    <tr>
      <td>2.4.3</td>
      <td>Logiciels existants</td>
      <td>73</td>
    </tr>
    <tr>
      <td>2.4.4</td>
      <td>Discussion</td>
      <td>73</td>
    </tr>
    <tr>
      <td>2.5</td>
      <td>Stratégies d'apprentissage avec peu de données spécialisées</td>
      <td>74</td>
    </tr>
    <tr>
      <td>2.5.1</td>
      <td>Apprentissage par transfert</td>
      <td>74</td>
    </tr>
    <tr>
      <td>2.5.2</td>
      <td>Bases de données publiques</td>
      <td>75</td>
    </tr>
    <tr>
      <td>2.5.3</td>
      <td>Augmentation et génération de documents</td>
      <td>76</td>
    </tr>
    <tr>
      <td>2.6</td>
      <td>Conclusion du chapitre</td>
      <td>78</td>
    </tr>
    <tr>
      <td><b>3</b></td>
      <td><b>Analyse de structure de documents</b></td>
      <td><b>81</b></td>
    </tr>
    <tr>
      <td>3.1</td>
      <td>Introduction</td>
      <td>81</td>
    </tr>
    <tr>
      <td>3.2</td>
      <td>Réseaux de détection d'objets pour la localisation d'actes</td>
      <td>85</td>
    </tr>
    <tr>
      <td>3.2.1</td>
      <td>Principe</td>
      <td>85</td>
    </tr>
    <tr>
      <td>3.2.2</td>
      <td>Architectures sélectionnées</td>
      <td>86</td>
    </tr>
    <tr>
      <td>3.2.3</td>
      <td>Protocole d'apprentissage et d'évaluation</td>
      <td>87</td>
    </tr>
    <tr>
      <td>3.2.4</td>
      <td>Évaluation des architectures de détection d'objets</td>
      <td>89</td>
    </tr>
    <tr>
      <td>3.2.5</td>
      <td>Discussion</td>
      <td>93</td>
    </tr>
    <tr>
      <td>3.3</td>
      <td>Approche hybride pour la reconnaissance de structure</td>
      <td>93</td>
    </tr>
    <tr>
      <td>3.3.1</td>
      <td>Principe</td>
      <td>93</td>
    </tr>
    <tr>
      <td>3.3.2</td>
      <td>Extraction des indices visuels</td>
      <td>95</td>
    </tr>
    <tr>
      <td>3.3.3</td>
      <td>Règles logiques des actes</td>
      <td>106</td>
    </tr>
    <tr>
      <td>3.3.4</td>
      <td>Évaluation de l'approche hybride</td>
      <td>109</td>
    </tr>
    <tr>
      <td>3.4</td>
      <td>Comparaison entre l'approche hybride et les approches neuronales</td>
      <td>111</td>
    </tr>
    <tr>
      <td>3.4.1</td>
      <td>DLA-BMS-1</td>
      <td>111</td>
    </tr>
    <tr>
      <td>3.4.2</td>
      <td>DLA-BMS-2</td>
      <td>112</td>
    </tr>
    <tr>
      <td>3.4.3</td>
      <td>Esposalles</td>
      <td>114</td>
    </tr>
    <tr>
      <td>3.5</td>
      <td>Conclusion du chapitre</td>
      <td>116</td>
    </tr>
  </tbody>
</table>
<table><tbody><tr><td>4</td><td>Reconnaissance d'écriture manuscrite</td><td>119</td></tr><tr><td>4.1</td><td>Introduction</td><td>119</td></tr><tr><td>4.2</td><td>Description de l'architecture</td><td>121</td></tr><tr><td>4.2.1</td><td>Architecture</td><td>121</td></tr><tr><td>4.2.2</td><td>Paramètres d'apprentissage</td><td>125</td></tr><tr><td>4.3</td><td>Expérimentations</td><td>126</td></tr><tr><td>4.3.1</td><td>Architecture</td><td>126</td></tr><tr><td>4.3.2</td><td>Mécanisme d'attention</td><td>128</td></tr><tr><td>4.3.3</td><td>Fonction de coût hybride</td><td>129</td></tr><tr><td>4.3.4</td><td>Intégration d'un modèle de langue</td><td>131</td></tr><tr><td>4.3.5</td><td>Comparaison à l'état de l'art</td><td>133</td></tr><tr><td>4.4</td><td>Applications aux registres paroissiaux</td><td>133</td></tr><tr><td>4.4.1</td><td>Stratégie d'apprentissage</td><td>134</td></tr><tr><td>4.4.2</td><td>Estimation du nombre d'images nécessaires</td><td>136</td></tr><tr><td>4.4.3</td><td>Discussion</td><td>136</td></tr><tr><td>4.5</td><td>Conclusion du chapitre</td><td>137</td></tr><tr><td>5</td><td>Extraction d'informations pertinentes</td><td>139</td></tr><tr><td>5.1</td><td>Introduction</td><td>139</td></tr><tr><td>5.2</td><td>Quelle stratégie pour l'extraction d'information?</td><td>141</td></tr><tr><td>5.2.1</td><td>Présentation des deux approches</td><td>141</td></tr><tr><td>5.2.2</td><td>Protocole expérimental pour une comparaison objective</td><td>142</td></tr><tr><td>5.2.3</td><td>Résultats</td><td>146</td></tr><tr><td>5.2.4</td><td>Discussion</td><td>152</td></tr><tr><td>5.3</td><td>Stratégies d'apprentissage pour les stratégies combinées</td><td>152</td></tr><tr><td>5.3.1</td><td>Nos propositions</td><td>153</td></tr><tr><td>5.3.2</td><td>Résultats</td><td>156</td></tr><tr><td>5.3.3</td><td>Discussion</td><td>157</td></tr><tr><td>5.4</td><td>Applicabilité aux registres paroissiaux</td><td>158</td></tr><tr><td>5.5</td><td>Conclusion du chapitre</td><td>159</td></tr><tr><td>6</td><td>Génération de données synthétiques et augmentation</td><td>163</td></tr><tr><td>6.1</td><td>Introduction</td><td>163</td></tr><tr><td>6.2</td><td>Production d'actes synthétique réalistes</td><td>164</td></tr><tr><td>6.2.1</td><td>Génération du texte</td><td>164</td></tr></tbody></table>
<table><tr><td>6.2.2</td><td>Génération d'images d'actes synthétiques</td><td>169</td></tr><tr><td>6.2.3</td><td>Génération d'images de lignes de texte synthétiques</td><td>173</td></tr><tr><td>6.3</td><td>Apprentissage combinant données réelles et synthétiques</td><td>175</td></tr><tr><td>6.3.1</td><td>Remplacer les lignes de texte réelles par des lignes de texte synthétiques</td><td>175</td></tr><tr><td>6.3.2</td><td>Compléter les lignes de texte réelles avec des lignes de texte synthétiques</td><td>177</td></tr><tr><td>6.3.3</td><td>Sélection des documents réels</td><td>177</td></tr><tr><td>6.4</td><td>Résultats finaux et discussion</td><td>178</td></tr><tr><td>6.4.1</td><td>Reconnaissance d'écriture</td><td>180</td></tr><tr><td>6.4.2</td><td>Extraction d'information</td><td>187</td></tr><tr><td>6.4.3</td><td>Intégration dans le système de reconnaissance complet</td><td>188</td></tr><tr><td>6.5</td><td>Conclusion du chapitre</td><td>189</td></tr><tr><td colspan="2"><strong>Conclusion générale</strong></td><td><strong>193</strong></td></tr><tr><td colspan="2">Synthèse des travaux</td><td>193</td></tr><tr><td colspan="2">Perspectives d'amélioration</td><td>195</td></tr><tr><td colspan="2"><strong>Publications personnelles</strong></td><td><strong>199</strong></td></tr><tr><td colspan="2"><strong>Bibliographie</strong></td><td><strong>201</strong></td></tr></table>
ACRONYMES

AD Archives Départementales. 18, 20, 26, 27, 34–37, 44

AP Average Precision. 88

BMS Baptême Mariage Sépulture. 25, 28

CE Cross Entropy. 125, 126

CGE35 Cercle Généalogique de l’Est de l’Ille-et-Vilaine. 23, 44

CTC Connectionnist Temporal Classification. 125, 126

FN False Negative. 89, 99, 100, 105

FP False Positive. 89, 99, 100, 105

GAN Generative Adversarial Networks. 192

HMM Hidden Markov Models. 72

HTR Handwritten Text Recognition. 70

IE Information Extraction. 70

NER Named Entity Recognition. 70

NMD Naissance Mariage Décès. 26, 28

seq2seq Séquence à séquence. 66, 121

TN True Negative. 99, 100, 105

TP True Positive. 89, 99, 100, 105
TABLE DES FIGURES

<table><tr><td>1</td><td>Chaîne de traitement d'un système de reconnaissance de document</td><td>19</td></tr><tr><td>1.1</td><td>Exemples de registres paroissiaux et d'état civil</td><td>26</td></tr><tr><td>1.2</td><td>Historique des registres paroissiaux et d'état civil en France</td><td>27</td></tr><tr><td>1.3</td><td>Variabilité des mises en page des registres paroissiaux</td><td>29</td></tr><tr><td>1.4</td><td>Un acte de baptême et sa transcription</td><td>31</td></tr><tr><td>1.5</td><td>Un acte de sépulture et sa transcription</td><td>31</td></tr><tr><td>1.6</td><td>Un acte de mariage et sa transcription</td><td>32</td></tr><tr><td>1.7</td><td>Complexité et hétérogénéité des écritures manuscrites</td><td>34</td></tr><tr><td>1.8</td><td>Particularités typographiques des actes</td><td>34</td></tr><tr><td>1.9</td><td>Éléments perturbant la lecture automatique des actes</td><td>35</td></tr><tr><td>1.10</td><td>Variabilité de la luminosité lors la prise de vue des registres paroissiaux</td><td>36</td></tr><tr><td>1.11</td><td>Variabilité des conditions de numérisation des registres paroissiaux</td><td>36</td></tr><tr><td>1.12</td><td>Principales dégradations observées sur les registres paroissiaux</td><td>37</td></tr><tr><td>1.13</td><td>Exemple d'annotation pour la mise en page</td><td>40</td></tr><tr><td>1.14</td><td>Exemple d'annotation du texte et des entités nommées</td><td>42</td></tr><tr><td>2.1</td><td>Schéma du domaine de la reconnaissance automatique de documents</td><td>49</td></tr><tr><td>2.2</td><td>Tâches de reconnaissance de structure de documents</td><td>51</td></tr><tr><td>2.3</td><td>Ambiguïtés liées à la segmentation des caractères</td><td>64</td></tr><tr><td>2.4</td><td>Illustration des réseaux de neurones pour la reconnaissance d'écriture</td><td>67</td></tr><tr><td>2.5</td><td>Évaluation qualitative des OCR du marché sur un acte du XVIIIe siècle</td><td>69</td></tr><tr><td>2.6</td><td>Tâches de reconnaissance du contenu de documents manuscrits</td><td>71</td></tr><tr><td>2.7</td><td>Processus d'apprentissage par transfert</td><td>75</td></tr><tr><td>2.8</td><td>Illustration des bases de données pour la reconnaissance de texte manuscrit</td><td>77</td></tr><tr><td>3.1</td><td>Exemple d'une page de registre et la localisation des actes</td><td>82</td></tr><tr><td>3.2</td><td>Différences de mise en page sur les registres paroissiaux</td><td>84</td></tr><tr><td>3.3</td><td>Performance des méthodes hybrides pour la localisation d'actes</td><td>91</td></tr><tr><td>3.4</td><td>Images d'entrée pour le réseau de localisation d'actes</td><td>92</td></tr></table>
<table>
  <tbody>
    <tr>
      <td>3.5</td>
      <td>Aperçu de méthode hybride mixte pour la localisation des actes.</td>
      <td>94</td>
    </tr>
    <tr>
      <td>3.6</td>
      <td>Registres difficiles pour la localisation des pages</td>
      <td>96</td>
    </tr>
    <tr>
      <td>3.7</td>
      <td>Actes difficiles pour la localisation de premières lignes de texte</td>
      <td>98</td>
    </tr>
    <tr>
      <td>3.8</td>
      <td>Actes difficiles pour la reconnaissance de signatures.</td>
      <td>99</td>
    </tr>
    <tr>
      <td>3.9</td>
      <td>Illustration des erreurs de classification</td>
      <td>100</td>
    </tr>
    <tr>
      <td>3.10</td>
      <td>Illustration de la détection des bords de pages</td>
      <td>101</td>
    </tr>
    <tr>
      <td>3.11</td>
      <td>Illustration des différentes classes apprises</td>
      <td>103</td>
    </tr>
    <tr>
      <td>3.12</td>
      <td>Analyse des erreurs pour la localisation des signatures au niveau pixel</td>
      <td>105</td>
    </tr>
    <tr>
      <td>3.13</td>
      <td>Configurations fréquentes d'actes.</td>
      <td>110</td>
    </tr>
    <tr>
      <td>3.14</td>
      <td>Comparaison qualitative des systèmes</td>
      <td>113</td>
    </tr>
    <tr>
      <td>3.15</td>
      <td>Comparaison des approches neuronales et hybrides sur la base Esposalles</td>
      <td>115</td>
    </tr>
    <tr>
      <td>3.16</td>
      <td>Comparaison des deux approches sur les trois bases de données</td>
      <td>117</td>
    </tr>
    <tr>
      <td>4.1</td>
      <td>Illustration du mécanisme d'attention</td>
      <td>120</td>
    </tr>
    <tr>
      <td>4.2</td>
      <td>Architecture seq2seq avec mécanisme d'attention.</td>
      <td>122</td>
    </tr>
    <tr>
      <td>4.3</td>
      <td>Visualisation des scores d'attention</td>
      <td>124</td>
    </tr>
    <tr>
      <td>4.4</td>
      <td>Fonction de coût hybride pour l'apprentissage du modèle seq2seq.</td>
      <td>126</td>
    </tr>
    <tr>
      <td>4.5</td>
      <td>Visualisation des différents types d'attention</td>
      <td>130</td>
    </tr>
    <tr>
      <td>4.6</td>
      <td>Problèmes de convergence sur la base de données HTR-BMS</td>
      <td>135</td>
    </tr>
    <tr>
      <td>4.7</td>
      <td>Exemple de carte d'attention sur la base de données HTR-BMS</td>
      <td>136</td>
    </tr>
    <tr>
      <td>4.8</td>
      <td>Impact du nombre d'images d'apprentissage sur les performances du système.</td>
      <td>137</td>
    </tr>
    <tr>
      <td>5.1</td>
      <td>Illustration des deux approches proposées pour l'extraction d'information</td>
      <td>143</td>
    </tr>
    <tr>
      <td>5.2</td>
      <td>Base de données Esposalles proposée dans le cadre de la compétition IEHHR</td>
      <td>145</td>
    </tr>
    <tr>
      <td>5.3</td>
      <td>Visualisation des cartes d'attention pour la stratégie combinée</td>
      <td>149</td>
    </tr>
    <tr>
      <td>5.4</td>
      <td>Comparaison détaillée des deux stratégies en fonction des différentes classes</td>
      <td>150</td>
    </tr>
    <tr>
      <td>5.5</td>
      <td>Les différentes stratégies multi-tâches et multi-échelles proposées.</td>
      <td>154</td>
    </tr>
    <tr>
      <td>6.1</td>
      <td>Méthodologie mise au point pour générer des actes synthétiques</td>
      <td>165</td>
    </tr>
    <tr>
      <td>6.2</td>
      <td>Modélisation du texte issus des actes</td>
      <td>167</td>
    </tr>
    <tr>
      <td>6.3</td>
      <td>Illustration des différentes variations d'une police manuscrite</td>
      <td>170</td>
    </tr>
    <tr>
      <td>6.4</td>
      <td>Exemples d'actes synthétiques générés avec notre méthodologie.</td>
      <td>172</td>
    </tr>
    <tr>
      <td>6.5</td>
      <td>Trois méthodes de génération de lignes de texte synthétiques</td>
      <td>174</td>
    </tr>
    <tr>
      <td>6.6</td>
      <td>Apprentissage avec des données réelles et synthétiques.</td>
      <td>179</td>
    </tr>
    <tr>
      <td>6.7</td>
      <td>Un acte de faible résolution mal reconnu</td>
      <td>180</td>
    </tr>
  </tbody>
</table>
TABLE DES FIGURES

<table><tr><td>6.8</td><td>Un acte de bonne résolution mal reconnu</td><td>181</td></tr><tr><td>6.9</td><td>Un acte de faible résolution bien reconnu</td><td>182</td></tr><tr><td>6.10</td><td>Un acte de bonne résolution bien reconnu</td><td>183</td></tr><tr><td>6.11</td><td>Différences de résolution entre les bases publiques et les registres paroissiaux</td><td>185</td></tr><tr><td>6.12</td><td>Influence de la résolution sur les performances du système de reconnaissance</td><td>186</td></tr><tr><td>6.13</td><td>Exemple de reconnaissance complète sur une image de bonne qualité</td><td>189</td></tr><tr><td>6.14</td><td>Un registre de bonne qualité (numérisé à 300 dpi) entièrement traité</td><td>190</td></tr></table>
LISTE DES TABLEAUX

<table><tr><td>1.1</td><td>Synthèse des modes de représentation des objets de mise en page</td><td>41</td></tr><tr><td>1.2</td><td>Liste des catégories sémantiques et des personnes annotées</td><td>42</td></tr><tr><td>1.3</td><td>Synthèse des bases de données annotées disponibles pour ce travail</td><td>45</td></tr><tr><td>3.1</td><td>Évaluation quantitative de chaque réseau pour la localisation des actes sur la base DLS-BMS-1</td><td>90</td></tr><tr><td>3.2</td><td>Évaluation quantitative des performances de Mask R-CNN pour la détection d'actes dans des registres</td><td>92</td></tr><tr><td>3.3</td><td>Évaluation quantitative de la détection des bords de page</td><td>101</td></tr><tr><td>3.4</td><td>Évaluation des premières lignes de texte</td><td>103</td></tr><tr><td>3.5</td><td>Évaluation quantitative de différentes configurations pour la segmentation de signatures</td><td>104</td></tr><tr><td>3.6</td><td>Évaluation quantitative des différentes variantes de la méthode hybride pour la localisation d'acte lorsque 120 images sont utilisées pour l'apprentissage.</td><td>110</td></tr><tr><td>3.7</td><td>Évaluation quantitative des résultats pour la localisation d'actes sur la base de données DLA-BMS-1 avec 120 images d'apprentissage</td><td>112</td></tr><tr><td>3.8</td><td>Évaluation des systèmes sur les 2143 actes de la base DLA-BMS-2</td><td>113</td></tr><tr><td>3.9</td><td>Évaluation sur les 253 actes de test de la base de données Esposalles.</td><td>116</td></tr><tr><td>4.1</td><td>Expérimentations menées sur l'architecture de l'encodeur</td><td>127</td></tr><tr><td>4.2</td><td>Expérimentations sur l'architecture du décodeur</td><td>128</td></tr><tr><td>4.3</td><td>Comparaison des différents types de mécanismes d'attention sur la base de données IAM</td><td>131</td></tr><tr><td>4.4</td><td>Évaluation quantitative de la reconnaissance d'écriture manuscrite sur quatre bases de données, sans post-processing. Le tableau permet de comparer les performances d'un CRNN-CTC et d'un seq2seq basés sur le même encodeur. Le seq2seq appris avec la loss hybride peut être évalué au niveau de l'encodeur (CTC) ou du décodeur (CE).</td><td>132</td></tr></table>
<table>
  <tbody>
    <tr>
      <td>4.5</td>
      <td>Résultats quantitatifs de l'intégration d'un modèle de langue à l'architecture seq2seq</td>
      <td>132</td>
    </tr>
    <tr>
      <td>4.6</td>
      <td>Comparaison avec les méthodes de l'état de l'art pour la reconnaissance d'écriture</td>
      <td>133</td>
    </tr>
    <tr>
      <td>4.7</td>
      <td>Résultats du transfert de connaissance sur la base de données HTR-BMS</td>
      <td>135</td>
    </tr>
    <tr>
      <td>5.1</td>
      <td>Nombre de mots par catégorie et personne sur la base Esposalles</td>
      <td>145</td>
    </tr>
    <tr>
      <td>5.2</td>
      <td>Comparaison de différentes méthodes d'encodage du texte pour la reconnaissance d'entités nommées</td>
      <td>147</td>
    </tr>
    <tr>
      <td>5.3</td>
      <td>Résultats obtenus par l'approche séquentielle.</td>
      <td>147</td>
    </tr>
    <tr>
      <td>5.4</td>
      <td>Résultats obtenus par l'approche conjointe.</td>
      <td>148</td>
    </tr>
    <tr>
      <td>5.5</td>
      <td>Comparaison des approches séquentielle et combinée pour l'extraction d'informations</td>
      <td>151</td>
    </tr>
    <tr>
      <td>5.6</td>
      <td>Comparaison des quatre stratégies multi-tâches et multi-échelles.</td>
      <td>156</td>
    </tr>
    <tr>
      <td>5.7</td>
      <td>Comparaison des méthodes soumises à la compétition IEHHR</td>
      <td>158</td>
    </tr>
    <tr>
      <td>6.1</td>
      <td>Dénombrement des structures extraites par type d'acte</td>
      <td>166</td>
    </tr>
    <tr>
      <td>6.2</td>
      <td>Évaluation des différentes méthodes de génération de lignes synthétiques sur la base BMS-HTR</td>
      <td>175</td>
    </tr>
    <tr>
      <td>6.3</td>
      <td>Influence du ratio de données synthétiques remplaçant les données réelles</td>
      <td>176</td>
    </tr>
    <tr>
      <td>6.4</td>
      <td>Influence du ratio de données synthétiques ajoutées aux données réelles</td>
      <td>177</td>
    </tr>
    <tr>
      <td>6.5</td>
      <td>Influence des données réelles sur la performance du système.</td>
      <td>178</td>
    </tr>
  </tbody>
</table>
RÉSUMÉ

Cette thèse CIFRE est une collaboration entre Doptim et l'IRISA, dans le cadre du contrat ANRT n°2018/0896. Nos travaux portent sur la reconnaissance de registres de population français datant du XVIè au XVIIIè siècle : les registres paroissiaux. Ces documents sont structurés en actes de baptême, mariage et sépulture et contiennent donc des informations importantes pour les généalogistes souhaitant retracer leur histoire familiale.

Les outils développés dans cette thèse sont destinés à enrichir Geneafinder, le site de généalogie développé par Doptim. Nos contributions pour la reconnaissance de registres paroissiaux s'articulent en trois axes.

Le premier axe porte sur la reconnaissance de la structure de ces registres. Nous proposons une méthode hybride capable de découper ces documents en actes, en s'appuyant sur l'apprentissage de motifs structurels (signatures, lignes de texte, bords de pages) et sur le groupement logique de ces motifs à l'aide de règles. Nous démontrons l'intérêt de cette approche dans un contexte où peu de documents sont disponibles pour l'apprentissage.

Le deuxième axe adresse la reconnaissance du contenu textuel de ces documents, dans le but d'identifier les mots importants présents dans les actes : la date, les noms, les pré-noms, ou encore les métiers. Nous adaptons une architecture neuronale avec mécanisme d'attention pour la reconnaissance d'écriture manuscrite, et démontrons l'intérêt de ce mécanisme pour la reconnaissance conjointe d'écriture manuscrite et d'entités nommées. Nous proposons également différentes stratégies d'apprentissage basées sur cette architecture.

Le troisième axe s'articule autour de la génération de documents synthétiques. Nous proposons une méthode pour générer des actes synthétiques, en modélisant les structures de phrases récurrentes des actes et en implémentant des transformations permettant de déformer et dégrader les images générées grâce à des polices manuscrites. Nous montrons l'intérêt de cette approche pour réduire le besoin en transcriptions manuelles, qui est un enjeu majeur de ce travail.
<figure><img src="image_5.png" /></figure>
## INTRODUCTION

En 1972, l'Organisation des Nations unies pour l'éducation, la science et la culture a initié une politique globale de préservation de notre héritage culturel [UNESCO 1972]. La numérisation des documents à forte valeur historique, culturelle ou patrimoniale est l'une des étapes clés de cet effort de préservation. En effet, celle-ci réduit considérablement les risques de dégradations des œuvres originales, qui peuvent être consultées sans être manipulées. En outre, elle facilite l'archivage et la diffusion de ces documents à grande échelle. Depuis les années 1990, les opérations de numérisation se sont multipliées dans les services d'archives, les musées, ou encore les bibliothèques. De nombreuses collections de documents historiques ont été numérisées, puis progressivement mises en ligne dans les années 2000. Aujourd'hui, des bibliothèques numériques telles que Gallica<fnref n="1" /> ou Europeana<fnref n="2" /> nous permettent d'explorer notre héritage culturel à travers des collections d'art, d'articles de presse, et d'ouvrages de géographie, de médecine ou de sport.

La numérisation a également impacté les registres de population. En France, de nombreuses collections de documents retraçant la vie de nos ancêtres ont été numérisées : état civil, registres matricules, tableaux de recensement, et archives notariales. La diffusion et l'analyse de ces documents intéressent particulièrement les généalogistes amateurs et professionnels [Gildas 1988], car ils permettent de retrouver des ancêtres et d'établir des liens de filiation entre eux. Mais l'exploitation macroscopique des informations contenues dans ces registres pourraient également intéresser les géographes, historiens, sociologues, et démographes [Gras 1939; Goubert 1954]. En effet, la mise en relation entre ces collections permettrait d'analyser et de comprendre les évolutions temporelles et géographiques de divers phénomènes : les déplacements, les relations sociales, la longévité et les causes de décès, la fécondité et les relations familiales, ou encore la propagation des épidémies.

Certains généalogistes amateurs et membres d'associations de généalogie ont entrepris d'extraire des informations à partir de ces documents, notamment grâce à des plate-formes d'annotation collaborative. Cependant, face à la masse de documents numérisés, l'effort de lecture et de transcription des actes est considérable. Il semble aujourd'hui

<footnote n="1">1. Bibliothèque numérique de la Bibliothèque nationale de France : https://gallica.bnf.fr</footnote>

<footnote n="2">2. Bibliothèque numérique de la Commission Européenne : https://www.europeana.eu</footnote>
indispensable de développer des outils capables d'extraire le contenu textuel des documents de manière automatique. Ces dernières années, de nombreux chercheurs en vision par ordinateur et en traitement du langage naturel se sont penchés sur la reconnaissance automatique de documents numérisés. Les avancés scientifiques et technologiques dans ces domaines permettent désormais d'envisager, sous certaines conditions, une extraction automatique d'information à partir de documents numérisés. La mise au point d'un système de reconnaissance de documents d'archives faciliterait considérablement la recherche généalogique.

## Contexte applicatif et objectifs

C'est dans cet objectif que Doptim<fnref n="3" />, entreprise Rennaise spécialisée en sciences des données et intelligence artificielle, a proposé ce sujet de thèse. Doptim développe Geneafinder<fnref n="4" /> : un site de généalogie, dédié aux généalogistes amateurs qui souhaitent effectuer des recherches dans les archives pour compléter leur arbre généalogique. L'objectif pour Doptim est de proposer de nouveaux services innovants aux utilisateurs de Geneafinder, en particulier pour faciliter la lecture des documents anciens.

Dans ce contexte, nous nous intéressons à un type de registre de population français : les registres paroissiaux. Ces documents étaient rédigés par les prêtres depuis le milieu du XVIᵉ siècle, et compilent les actes de baptême, de mariage religieux, et de sépulture des membres de la paroisse. Ces registres ont donc une forte valeur historique, car ils contiennent des informations localisées et datées concernant la population française sur plusieurs siècles. Tous ces documents ont été numérisés par les Archives Départementales (AD), et sont à présents consultables gratuitement en ligne dans la plupart des départements.

L'objectif des travaux réalisés pendant cette thèse est de développer un prototype de reconnaissance de registres paroissiaux, afin d'enrichir le site Geneafinder. Plusieurs outils sont envisagés pour faciliter le travail des utilisateurs. Dans un premier temps, Doptim souhaite proposer une interface permettant la localisation des actes et les lignes de texte à partir des images de registres. Les utilisateurs pourront ainsi assigner un label et saisir une transcription pour chaque zone de texte détectée. Dans un second temps, Doptim espère développer un outil capable de reconnaître automatiquement le texte manuscrit sur ces

<footnote n="3">3. https://doptim.eu/</footnote>

<footnote n="4">4. https://geneafinder.com/</footnote>
documents, ainsi que la localisation et l'extraction des informations les plus pertinentes : noms, prénoms, dates ou métiers. Le développement de tels outils permettrait d'envisager une indexation des images de registres. Les utilisateurs pourraient ainsi effectuer des recherches par mots clés dans ces images, et en particulier par nom. De plus, une extraction d'information fiable et massive de ces données ouvrirait également la voie à la construction automatique d'arbres généalogiques.

La réalisation de ces outils est un challenge scientifique qui s'inscrit dans le domaine de la reconnaissance automatique de documents, situé à la frontière entre la vision par ordinateur et le traitement du langage naturel. Plusieurs étapes sont nécessaires à la reconnaissance de ces documents. Celles-ci sont illustrées sur la figure 1.

<figure><img src="image_6.png" /><figcaption>**Figure 1** – Chaîne de traitement d'un système de reconnaissance automatique de document. Une fois le document numérisé, une analyse de sa mise en page est effectuée. Les zones de texte homogènes (lignes, paragraphes, pages) sont extraites puis analysées par un modèle de reconnaissance d'écriture manuscrite. La transcription obtenue est à son tour analysée afin d'extraire les informations pertinentes.</figcaption></figure>

La première phase d'analyse consiste **reconnaître la structure** de ces documents, en séparant les éléments de différentes natures : lignes de texte, illustrations, sceaux, tableaux, ou encore signatures. Les registres paroissiaux étant des documents complètement textuels, l'enjeu principal est de localiser les lignes de texte et les actes. Cette première étape permet, d'une part, de faciliter la lecture des registres lors de leur consultation en ligne, et d'autre part, de simplifier la phase de reconnaissance de texte et d'extraction d'information.
La deuxième étape consiste à **reconnaître le texte manuscrit** sur ces documents.
Cette deuxième étape permettrait d'aider les généalogistes à déchiffrer l'écriture des
prêtres. Si la tâche de reconnaissance de texte manuscrit historique est très complexe,
certaines similarités entre les actes d'un même type peuvent tout de même être exploi-
tées. En particulier, les prêtres employaient un vocabulaire relativement restreint, ainsi
que des structures de phrase récurrentes.

Enfin, la dernière étape consiste à enrichir la transcription obtenue automatique, en
**localisant les informations pertinentes** pour la reconstruction des histoires familiales :
les noms, les prénoms, les dates, les lieux, ou encore les métiers. En effet, l'analyse du texte
contenu dans les actes doit permette de remplir des bases de connaissances structurées,
afin d'indexer ces documents.

Verrous scientifiques

La difficulté principale de ce travail vient de la complexité et de l'hétérogénéité du cor-
pus à traiter. Nous identifions quatre difficultés majeures dans le traitement automatique
de ces registres.

Un premier verrou vient donc de la dégradation de ces documents, malgré des condi-
tions de préservation optimales aux Archives Départementales. La qualité du papier et de
l'encre sont deux sources de dégradations majeures, car l'encre peut être baveuse, brunie,
ou partiellement effacée et le papier tâché, déchiré ou trouvé. Par conséquent, certains actes
sont difficilement lisibles.

Le deuxième verrou, vient de l'hétérogénéité des conditions de numérisation des docu-
ments. En effet, dans certains départements, la numérisation des archives s'est effectuée
avec différents modèles d'appareil photo. Ainsi, la résolution des images, ainsi que les
conditions d'éclairage ou de prise de vue sont variables, ce qui complique l'application de
systèmes de reconnaissance automatique.

Le troisième verrou vient de la variabilité des mises en page. Les registres sont des
documents faiblement structurés : ils sont organisés en actes, mais souvent sans la pré-
sence de séparateurs physiques nets. Ainsi, il est parfois difficile d'identifier et de séparer
visuellement les différents actes présents dans une même page.

Le dernier verrou vient de la complexité de lecture de ces documents. L'écriture cursive
de ces documents historiques est difficilement déchiffrable, car la forme des tracés, le style
d'écriture, ainsi que la structure des phrases ont considérablement évolué au fil des siècles.
En outre, les dégradations de l'encre du papier empêchent la lecture.

Toutes ces difficultés rendent la lecture de ces documents très laborieuse. En consé-
quence, il est particulièrement coûteux et chronophage d'obtenir des annotations sur la
mise en page ou le contenu. Pourtant, la mise en place et l'évaluation d'un prototype
de reconnaissance automatique de documents nécessite une base de données labellisée,
c'est-à-dire associée à des annotations. En particulier, les méthodes de reconnaissance les
plus performantes se basent sur l'apprentissage supervisé, et nécessite un grand nombre
d'exemples pour apprendre à reconnaître la structure des documents ou bien leur contenu
textuel.

Or, il n'existe pas à ce jour de base de données annotée de registres paroissiaux. Si cer-
tains généalogistes amateurs ont réalisé des transcriptions, celles-ci sont souvent partielles,
ou différentes du texte original (corrections orthographiques ou grammaticales, abrévia-
tions). Pour être exploitables, ces transcriptions doivent donc être corrigées et normalisées.
Des associations de généalogie ont, quant à elles, réalisé des relevés d'information à partir
des registres. En particulier, les bénévoles ont extrait les noms, prénoms, date, et autres
informations pertinentes dans des actes. Mais ces relevés ne sont pas directement exploi-
tables pour apprendre un modèle d'extraction d'information, car la transcription complète
n'est pas disponible. Les informations sur la mise en page des documents ne sont quant à
elles jamais annotées par les généalogistes.

Contributions

Dans cette thèse, nous proposons quatre contributions pour la reconnaissance auto-
matique de registres paroissiaux :

— une méthode de reconnaissance de mise en page de ces registres. Notre approche, combinant des réseaux de neurones et des règles logiques, est capable de reconnaître la structure de ces registres : localisation des pages, des actes, des lignes de texte, des signatures ;

— l'adaptation d'une architecture pour la reconnaissance d'écriture. L'architecture sélectionnée est basée sur un réseau de neurones séquence à séquence avec mécanisme d'attention. Elle permet de reconnaître le texte à partir d'images de lignes de texte;

— une méthode pour localiser et extraire les informations pertinentes dans ces registres. En particulier, nous comparons les approches séquentielles et conjointes
pour l'extraction d'information dans les actes;

— une chaîne de traitement pour générer des actes synthétiques annotés, ce qui permet de limiter le besoin en transcriptions manuelles.

Ce travail a également nécessité l'annotation de registres paroissiaux. En effet, ces annotations sont nécessaires pour l'évaluation de nos contributions, ainsi que pour l'apprentissage de certains modèles de reconnaissance.

## Plan du manuscrit

La suite de ce document comporte six chapitres.

**Le premier chapitre** présente l'historique des archives démographiques françaises, ainsi que leur intérêt pour la recherche généalogique. Plus précisément, nous décrivons l'importance des registres paroissiaux, ainsi que les caractéristiques de ces documents. Enfin, nous introduisons un protocole d'annotation applicable à ces registres, et présentons les ensembles de données annotés pendant ce projet. Nous mettons ainsi en lumière la contrainte principale de cette thèse : le manque d'annotations associées aux registres paroissiaux.

**Le deuxième chapitre** expose l'état de l'art dans le domaine de la reconnaissance automatique de documents manuscrits ou historiques. Nous présentons les différentes tâches adressées par la communauté scientifique, ainsi que les approches permettant la reconnaissance de structure, la reconnaissance d'écriture, et l'extraction d'information. Nous décrivons également les bases de données publiques permettant d'évaluer les systèmes de reconnaissance automatique de documents. Enfin, nous discutons des stratégies les plus pertinentes pour la reconnaissance de registres paroissiaux, à la lumière des objectifs et des verrous scientifiques présentés dans le premier chapitre.

**Le troisième chapitre** adresse la question de la reconnaissance de mise en page des registres paroissiaux. En premier lieu, nous décrivons la structure de ces documents, ainsi que les indices visuels permettant la localisation d'éléments graphiques et textuels. À la lumière de cette analyse, nous présentons quatre contributions pour la localisation des actes dans les images de registres. Enfin, nous comparons ces approches sur des registres paroissiaux et sur une base de données publique.

**Le quatrième chapitre** présente l'approche envisagée pour la reconnaissance d'écriture manuscrite. Nous adaptons une architecture neuronale séquence à séquence avec mécanisme d'attention pour la reconnaissance optique de caractères manuscrits. Nous dé-
crivons les expérimentations réalisées sur cette architecture ainsi que sur les paramètres d'apprentissage, puis nous évaluons l'apport de cette approche sur quatre bases de données publiques. Enfin, nous étudions l'impact de l'apprentissage par transfert, afin de spécialiser cette architecture sur l'écriture particulière des registres paroissiaux, et ce à partir de peu de données d'apprentissage spécialisées.

**Le cinquième chapitre** expose nos contributions pour l'extraction d'informations pertinentes dans ces registres. Nous comparons deux stratégies d'analyse : une approche séquentielle, pour laquelle la phase de reconnaissance d'écriture intervient avant la phase de classification en entités nommées, et une approche combinée, pour laquelle ces deux tâches sont effectuées en même temps. Nous évaluons l'apport des réseaux séquence à séquence pour cette stratégie combinée, puis nous proposons deux nouvelles approches basées sur cette stratégie. Enfin, nous évaluons nos contributions sur une base de données publique.

**Le sixième chapitre** s'intéresse à la génération de documents synthétiques. Nous présentons une chaîne de traitement pour générer automatiquement des actes réalistes, à partir de polices manuscrites. Pour cela, nous modélisons les structures de phrase récurrentes dans les registres paroissiaux, et utilisons des relevés d'informations réalisés par le Cercle Généalogique de l'Est de l'Ille-et-Vilaine (CGE35). Dans un second temps, nous détaillons les transformations réalisées sur les images générées, afin d'augmenter artificiallement la variabilité des écritures et les dégradations. Puis, nous étudions les stratégies d'apprentissage par transfert et évaluons l'apport de cette contribution pour la reconnaissance d'écriture et l'extraction d'informations dans les registres paroissiaux.

Enfin, nous résumons le travail réalisé pendant cette thèse, et discutons des perspectives intéressantes pour la suite du projet.
<figure><img src="image_7.png" /></figure>
# PRÉSENTATION DES DOCUMENTS

Dans ce chapitre, nous introduisons des éléments contextuels et historiques concernant les registres de population français, ainsi que leur intérêt en généalogie. Plus précisément, nous présentons les registres paroissiaux et mettons en lumière leurs caractéristiques ainsi que la difficulté de traitement de ces documents. Nous définissons ensuite les objectifs de reconnaissance pour ces documents, et introduisons la notion de *base de données annotée*, essentielle pour le développement et l'évaluation de systèmes de reconnaissance automatisque. Enfin, nous présentons les bases de données mises au point pour ce travail, en décrivant les méthodes d'échantillonnage des registres ainsi que les annotations réalisées.

## 1.1 Les registres de population en France

Dans cette section, nous présentons les registres paroissiaux et d'état civil français. Ces documents ont un intérêt majeur pour les généalogistes souhaitant retracer leur histoire familiale.

### 1.1.1 Contexte historique

En France, les registres paroissiaux, dits BMS (Baptême Mariage Sépulture), ont été instaurés par l'ordonnance de Villers-Cotterêts, en 1539. Celle-ci fait du français la langue officielle en France, et rend obligatoire l'enregistrement des actes de baptême des membres de la paroisse par les curés. Puis, en 1579, l'ordonnance de Blois impose aux prêtres d'inscrire également les actes de mariage et de sépulture dans les registres paroissiaux. À partir de cette période, les registres paroissiaux compilent donc les actes nominatifs et datés pour trois types de cérémonie : les baptêmes, les mariages religieux, et les sépultures. En 1667, l'ordonnance de Saint-Germain-en-Laye, prescrit une tenue obligatoire des registres en deux exemplaires : l'original est conservé dans la paroisse tandis que la copie est déposée chaque année au greffe du bailliage. Cette ordonnance impose également aux témoins de
signer les actes. Enfin, en 1736, l'ordonnance du Chancelier d'Aguesseau prescrit la tenue
de deux registres originaux, c'est-à-dire signés, et non plus une simple copie. La Révo-
lution Française initie une laïcisation des registres de population. En 1792, la tenue des
registres est confiée aux maires, avec l'instauration de l'état civil que nous connaissons
aujourd'hui. Les registres d'état civil, dits NMD (Naissance Mariage Décès), compilent
tous les actes de naissance, mariage civil, et décès. Les mairies sont également tenues de
rédiger des tables décennales, qui reprennent par ordre alphabétique tous les actes d'état
civil enregistrés dans une même commune pendant dix ans. Des exemples de registres
paroissiaux et d'état civil sont présentés dans la figure 1.1.

<figure><img src="image_8.png" /><figcaption>**Figure 1.1** – Exemples de registres paroissiaux et d'état civil. Ces documents proviennent de la paroisse/commune de Brécé et sont conservés aux Archives Départementales d'Ille-et-Vilaine.</figcaption></figure>

En 1996, le ministère de la Culture lance le plan national de numérisation, qui encou-
rage le développement de projets de numérisation dans les bibliothèques, musées et services
d'archives [France 2008]. Le but de ce projet est de faciliter l'accès des documents au plus
grand nombre, tout en garantissant une conservation optimale des documents originaux.
Aujourd'hui, la numérisation des registres de population français touche à sa fin. Selon le
site FranceArchives <fnref n="1" />, seuls deux départements n'avaient pas intégralement numérisé leurs
collections en 2018 <fnref n="2" />. Les documents numérisés par les Archives Départementales incluent
les registres d'état civil et paroissiaux, mais également des registres matricules, plans ca-
dastraux, photographies, cartes postales, affiches ou encore journaux anciens. Toutes ces

<footnote n="1">1. https://francearchives.fr/map/b2b076144a3c4392a34b14bb5e364c95</footnote>

<footnote n="2">2. Le Gard et le Jura. Il n'existe pas de données plus récentes.</footnote>
ressources sont désormais consultables physiquement en salle de lecture, ou en ligne sur les sites des Archives Départementales (AD) <fnref n="3" />.

La figure 1.2 synthétise l'historique des archives paroissiales et d'état civil en France, de leur instauration au début de la numérisation.

<figure><img src="image_9.png" /><figcaption>**Figure 1.2** – Historique des registres paroissiaux et d'état civil en France. Les registres de population étaient tenus par des prêtres du jusqu'à la Révolution Française, puis par les mairies. Ces documents, désormais conservés aux Archives Départementales, ont été numérisés puis mis en ligne à partir des années 2000.</figcaption></figure>

## 1.1.2 Recherche généalogique

Les registres de population ont un intérêt particulier en généalogie. En effet, les généalogistes amateurs et professionnels se basent sur les informations contenues dans ces documents pour retrouver leurs ancêtres et établir des liens de filiation entre eux. La diffusion des archives en ligne a considérablement facilité l'accès à ces informations, car les généalogistes n'ont plus besoin de se déplacer physiquement en salle de lecture pour consulter les documents.

Mais si des millions d'images de registres sont désormais consultables en ligne, il n'existe pas d'accès direct à ces images par le contenu. Par exemple, il n'est pas possible d'effectuer une recherche par nom pour retrouver un document. Pour autant, ces registres numérisés ont été indexés par deux informations : le lieu de rattachement (paroisse ou commune) et la date. Il est donc nécessaire de connaître précisément ces deux informations.

<footnote n="3">3. Par exemple pour l'Ille-et-Vilaine : https://archives.ille-et-vilaine.fr/fr</footnote>
tions pour retrouver un registre. La recherche d'un acte s'effectue ensuite en parcourant le registre page par page. Il est important de noter qu'un registre couvre souvent plusieurs années et contient des milliers d'actes inscrits par ordre chronologique. Par conséquent, la recherche généalogique reste extrêmement chronophage.

Dans les registres NMD, les actes apparaissent dans l'ordre chronologique, mais la recherche d'un acte est simplifiée par la présence de tables décennales par paroisse. Les généalogistes peuvent effectuer une recherche par ordre alphabétique dans ces tables afin de retrouver la date exacte de l'acte recherché. L'acte peut ensuite être retrouvé plus facilement dans le registre original. Une grande partie des actes d'état civil est à ce jour indexée sur des sites généalogiques ou sur les sites d'associations généalogiques.

En revanche, la recherche d'actes dans les registres BMS est beaucoup plus laborieuse, car il n'existe généralement pas de tables pour ces registres. Ainsi, la recherche d'un acte nécessite la connaissance précise de la paroisse et de la date de l'acte. Il faut ensuite parcourir le registre page par page jusqu'à repérer les noms et prénoms de la personne recherchée. En France, des associations généalogiques ont effectué des relevés nominatifs partiels afin de générer des tables. Cependant, ces relevés ne sont pas complets, et ne sont pas toujours liés aux images originales. C'est à ces registres BMS que nous nous intéressons dans cette thèse. Plus spécifiquement, nous nous concentrons sur la période antérieure à la Révolution Française. Si des registres paroissiaux existent après cette période, ils n'intéressent pas particulièrement les généalogistes, qui préfèrent effectuer leur recherche dans les actes d'état civil.

Tous les relevés d'information sont actuellement effectués manuellement, souvent par des généalogistes bénévoles. Il n'existe pas à ce jour de système de reconnaissance automatique de documents en production sur les sites de généalogie.

## 1.2 Les registres paroissiaux

Dans cette section, nous présentons quelques caractéristiques des registres paroissiaux afin d'illustrer la difficulté de lecture, de compréhension, et d'interprétation de ces documents.
1.2.1 Mise en page

Les registres paroissiaux sont des documents faiblement structurés : les pages sont organisées en actes successifs, mais souvent sans la présence de séparateurs physiques nets. S'il existe certains éléments visuels permettant d'identifier le début ou la fin d'un acte, ils n'apparaissent pas systématiquement. C'est, par exemple, le cas des signatures à la fin des actes, des annotations marginales à gauche du texte, ou bien des majuscules en début d'acte.

De plus, la longueur des actes n'est pas uniforme. Par exemple, les actes de mariage sont généralement plus longs que les actes de baptême ou sépulture, car ils contiennent plus d'informations (nom et prénoms des mariés et de leurs parents, présence de nom-
breux témoins et signatures). Mais deux actes d'un même type peuvent contenir différents niveaux de détails, en fonction du niveau de détails fourni par le prêtre et du nombre de personnes présentes à la cérémonie. Par conséquence, certains actes prennent plus d'une page, quand d'autres ne prennent qu'une ou deux lignes (annonces de fiançailles, publi-
cation des bans).

Pour toutes ces raisons, il est parfois difficile d'identifier et de séparer visuellement les différents actes présents dans une même page. Dans ces cas-là, c'est la lecture du texte qui permet de repérer la structure logique du document. La figure 1.3 illustre la variabilité des mises en page des registres paroissiaux.

<figure><img src="image_10.png" /></figure>

**Figure 1.3** – Variabilité des mises en page des registres paroissiaux. Le nombre et la longueur des actes, ainsi que la largeur de la marge et la place occupée par les signatures varient sensiblement selon les pages.
1.2.2 Informations contenues dans les actes

Les registres paroissiaux contiennent des actes de baptême, mariage, et sépulture,
mais également des bans et annonces de fiançailles. Les actes contiennent plus ou moins
de détails selon les époques, les types de cérémonies et les prêtres. Nous présentons ici les
informations présentes dans la plupart des actes.

**Actes de baptême** Un exemple d'acte de baptême est présenté dans la figure 1.4. Pour ce type d'acte, le nom et prénom de la personne baptisée, les noms et prénoms des parents, ainsi que la date et le lieu du baptême sont généralement inscrits. L'enfant est fréquemment baptisé le jour de sa naissance, ou bien le lendemain. La plupart des actes contiennent les nom et prénom du parrain et de la marraine, avec éventuellement leur lien de parenté avec l'enfant. Certains actes sont plus détaillés, et contiennent la profession des parents, leur domicile, ou des informations sur leur statut social (par exemple : « honnête homme » ou « honnête femme »). Il est également parfois précisé si l'enfant est issu d'une union légitime ou non, ou si l'un des parents est décédé. Enfin, on retrouve souvent la signature du prêtre et celles des témoins du baptême.

**Actes de sépulture** Un exemple d'acte de sépulture est présenté dans la figure 1.5. Un acte de sépulture contient les nom et prénom du défunt, ainsi que son âge estimé. La date et le lieu du décès et de l'inhumation sont souvent précisés. Si le défunt est un enfant, on retrouve souvent le nom et prénom de ses parents. Si c'est un adulte, le nom du conjoint ou sa situation familiale sont généralement inscrits. Enfin, on retrouve fréquemment la liste des témoins et leur signature, ainsi que celle du prêtre.

**Actes de mariage** Un exemple d'acte de mariage est présenté dans la figure 1.6. L'acte de mariage contient des informations sur les deux époux et leur famille respective, il est donc privilégié par les généalogistes. De plus, il est souvent précédé des annonces de fiançailles et des bans, ce qui permet de fiabiliser certaines informations lues sur l'acte de mariage. Sur les actes de mariage, les noms, prénoms, âges et lieux de naissance des époux sont généralement indiqués. Il est également fréquent de voir mentionné leur situation (par exemple : « majeur », « mineur » ou « veuf »). Les noms, prénoms et lieux d'origine des parents sont souvent mentionnés. Le curé précise également lorsque l'un des parents est décédé. Enfin, le prêtre inscrit généralement la liste des personnes présentes à la cérémonie. L'acte est ensuite signé par les époux, leurs témoins et le prêtre.
<figure><img src="image_11.png" /></figure>

perrine julienne tanvet, fille posthume, issue du mariage de
feu michel tanvet et de julienne goron son epouse, née
aujourd'hui en cette ville, a été baptisée le meme jour dix neuf
avril mil sept cent quatre vingt dix; parain pierre goron
oncle de l'enfant, maraine perrine derval

**Figure 1.4** – Un acte de baptême et sa transcription. Légende : nom et prénom de l'enfant, noms et prénoms des parents (père décédé), type d'acte, date, nom et prénom du parrain (lien familial), nom et prénom de la marraine, signatures.

<figure><img src="image_12.png" /></figure>

Le 5 jour de janvier 1622 mourut une petite fille à feu raoul
helie et gillette rouxel sa feme appelee gillette et fut
en sepulture dans le cimetiere de leglise d'andouillé

**Figure 1.5** – Un acte de sépulture et sa transcription. Légende : date, type d'acte, noms et prénoms des parents (père décédé), prénom de l'enfant, lieu de la sépulture.
<figure><img src="image_13.png" /></figure>

Le Dixneuvième 9bre 1744 après les trois Bannyes cy dessus canoniquement faites, comme dit est, au prônes de nos grandes messes sans oppoon venüe à ma connoissance, j'ay administre le sacrement de mariage à h. g. Jean Rouzé fils michel et de julienne reffet, & à h. fille Rose Loncle fille René & de gillette dy, & ensuitte donné la benediction nuptiale dans les formes prescrites par l'eglise en presence du dit michel Rouzé pere du marié, jean loncle neveu de la mariée, julien Dy, Loüis guesdon, julien Thomas, & autres. La ditte Loncle a declaré ne scavoir signer, & a fait signer à la regle jacques hamon

<caption>**Figure 1.6** – Un acte de mariage et sa transcription. Légende : date, type d'acte, nom et prénom du marié, nom et prénom des parents du marié, nom et prénom de la mariée, nom et prénom des parents de la mariée, nom et prénom des témoins présents, signatures. Abréviations : « oppoon » : « opposition », « h.g. » : « honnête garçon », « h. » : honnête ».</caption>
1.2.3 Lecture des actes et paléographie

L'écriture cursive de ces documents historiques est très difficile à déchiffrer pour une personne peu habituée à la lecture des documents anciens. Nous détaillons ici quelques difficultés liées la lecture des écritures anciennes [Tarn 2013]. Un exemple de cette évolution est illustré sur la figure 1.7.

**La forme des lettres et les ligatures** Les registres paroissiaux présentent de nombreux styles d'écriture manuscrite variés, avec des tendances qui évoluent selon les années et les lieux. Ainsi, certains actes sont très difficiles à lire sans expertise paléographique, car les façons de tracer les lettres ont considérablement évolué au fil des siècles. De plus, le tracé de certaines lettres dépend parfois de leur localisation dans le mot. C'est le cas du s qui peut être écrit de différentes façons par un même scripteur, comme illustré sur la figure 1.8. Enfin, les ligatures entre les lettres compliquent la lisibilité des actes.

**L'orthographe** On trouve dans ces actes de nombreux mots dont l'écriture a évolué. Parmi les exemples les plus fréquents, on peut citer les mots « baptize » (« baptisé »), « mesme » (« même »), ou « moy » (« moi »). Cette évolution peut compliquer la lecture, car il est plus difficile d'interpréter des mots qui ne font plus partie du français actuel. Enfin, la ponctuation est souvent absente, et l'utilisation des majuscules est irrégulière. Ces éléments sont illustrés sur la figure 1.8.

**Les abréviations** De nombreuses abréviations sont utilisées dans les actes, ce qui com-
plique leur lecture. Certains mots sont abrégés par suspension, ce qui signifie que le mot
n'est pas fini. Un exemple fréquent est « h.h. » qui signifie « honnête homme » ou « lab. »
pour « laboureur ». D'autres mots sont abrégés par contraction, ce qui signifie que le
mot est tronqué des lettres du milieu. Certains prêtres écrivent « oppon » pour « oppo-
sition », ou « ptre » pour « prêtre ». Les dates, et en particulier les mois, sont également
souvent abrégés : « 7bre » pour « septembre », « 8bre » pour « octobre », « 9bre » pour
« novembre », « 10bre » pour « décembre ». Par exemple, dans l'acte de la figure 1.8,
deux abréviations sont utilisées. Certains généalogistes, archivistes et paléographes ont
entrepris de lister ces abréviations au fil de leur recherche. Une liste non exhaustive des
abréviations fréquentes dans les actes est disponible sur le site Geneafinder 4.

<footnote n="4">4. https://geneafinder.com/blog?id=13%3A113</footnote>
<figure><img src="image_14.png" /></figure>

**Figure 1.7** – Complexité et hétérogénéité des écritures manuscrites sur les registres paroissiaux.
Les styles d'écriture évoluent selon les époques.

<figure><img src="image_15.png" /></figure>

**Figure 1.8** – Un acte de 1734 présentant certaines difficultés de lecture : l'utilisation irrégulière des majuscules (en bleu), les différentes façons d'écrire la lettre s (en rouge dans le mot « parroisse »), les différences orthographiques (en violet, « may » pour « mai », « moy » pour « moi », « à esté » pour « a été », « parein » pour « parrain » et « mareine » pour « marraine ») et les abréviations (en vert : « hhomme » pour « honnête homme », « Rec » pour « Recteur »).

**Artefacts** Enfin, d'autres éléments sont facilement interprétables par un lecteur human, mais peuvent perturber un système de reconnaissance automatique. C'est le cas des ratures et des corrections, des blancs, des annotations interligne, ou encore des lignes contenant peu d'espace entre chaque mot. Certains de ces éléments sont illustrés sur la figure 1.9

### 1.2.4 Numérisation des documents

La numérisation de ces registres a été réalisée par les Archives Départementales, soutient en partenariat avec des associations généalogiques locales. Un guide de numérisation
<figure><img src="image_16.png" /><figcaption>**Figure 1.9** – Éléments perturbant la lecture automatique des actes : les ratures, blancs, annotations</figcaption></figure>

a été défini en 2008 par la direction des Archives de France [France 2008] afin de normaliser les conditions de numérisation des documents historiques. Ce guide préconise la numérisation des documents avec les résolutions suivantes :

— 300 dpi pour les fichiers de conservation. Le fichier de conservation est une reproduction du document la plus fidèle possible à l'original, créée à des fins de conservation;

— 150 dpi pour les fichiers de diffusion. Le fichier de diffusion est celui qui est destiné à être diffusé au public;

— 72 dpi pour les fichiers de visualisation. Le fichier de visualisation est destiné à une consultation d'ensemble à l'écran.

En pratique, la numérisation des archives a débuté avant la publication de ce guide. Les conditions de numérisation sont variables, car différents appareils photos ont été utilisés. À titre d'exemple, aux Archives Départementales d'Ille-et-Vilaine, la plupart des documents ont été photographiés avec une résolution de 180 dpi. Aussi, si une telle résolution est adaptée pour la lecture humaine, la reconnaissance optique des caractères nécessite des résolutions plus élevées. Les leaders du marché (ABBY 5, Google Vision 6) ou la Bibliothèque Nationale de France 7 préconisent une résolution à 300 ou 400 dpi pour la reconnaissance de caractères sur des documents numérisés.

Outre la faible résolution des images, les conditions d'éclairage et d'exposition, ainsi

<footnote n="5">5. https://support.abbyy.com/hc/en-us/articles/360017733239</footnote>

<footnote n="6">6. https://cloud.google.com/vision/docs/supported-files</footnote>

<footnote n="7">7. https://www.bnf.fr/fr/formats-et-techniques-de-numerisation-en-mode-image</footnote>
que la balance des blancs sont également variables. En effet, les documents peuvent avoir une teinte bleutée, jaunie ou orangée, selon les photographies. De plus, les supports des documents sont également hétérogènes (table en bois, tissu coloré, fond quadrillé, autre document), et peuvent ainsi perturber les méthodes automatiques de localisation des pages. D'autre part, le cadrage n'est pas uniforme. Bien que les prises de vue soient majoritairement en format paysage, certains documents ont été photographiés sous un autre angle. Par exemple, certaines pages ont été prises en mode portrait, quand d'autres ont été photographiées avec un effet de zoom. Les figures 1.10 et 1.11 illustre les variabilités de prise de vue et d'éclairage.

<figure><img src="image_17.png" /><figcaption>(a) Lumière jaune
Cote 10 NUM 35178 122</figcaption></figure>

<figure><img src="image_18.png" /><figcaption>(b) Lumière rose
Cote 10 NUM 35347 207</figcaption></figure>

<figure><img src="image_19.png" /><figcaption>(c) Lumière bleue
Cote 10 NUM 3521 236</figcaption></figure>

**Figure 1.10** – Variabilité de la luminosité et des balances de blancs lors la prise de vue des registres paroissiaux sur des images provenant des Archives Départementales d'Ille-Et-Vilaine.

<figure><img src="image_20.png" /><figcaption>(a) Portrait
Cote 10 NUM 35072 93</figcaption></figure>

<figure><img src="image_21.png" /><figcaption>(b) Paysage
Cote 10 NUM 35192 154</figcaption></figure>

<figure><img src="image_22.png" /><figcaption>(c) Zoom
Cote 10 NUM 35260 137</figcaption></figure>

**Figure 1.11** – Variabilité des conditions de numérisation des registres paroissiaux au niveau des conditions d'éclairage et des prises de vue, sur des images provenant des Archives Départementales d'Ille-Et-Vilaine.
1.2.5 Dégradations

Malgré des conditions de préservation optimales aux Archives Départementales, ces documents ont fait face à l'épreuve du temps. La qualité du papier et de l'encre sont deux sources de dégradations majeures. Sur de nombreux documents, l'encre s'est éclaircie, ce qui la rend difficilement lisible. Sur d'autres documents, une trop grande quantité d'encre a été utilisée. Dans ces cas, le texte est difficilement lisible, car l'encre a bavé. De plus, les documents étant rédigés sur les deux faces, l'encre du verso est généralement visible en transparence. En outre, le papier est parfois tâché, déchiré ou troué. Par conséquent, certains actes sont incomplets, ou ne peuvent pas être lus correctement. Certaines de ces dégradations peuvent être observées sur la figure 1.12.

<figure><img src="image_23.png" /><figcaption>**Figure 1.12** – Principales dégradations observées sur les registres paroissiaux provenant des Archives Départementales d'Ille-Et-Vilaine.</figcaption></figure>

1.2.6 Erreurs dans ces documents

GOUBERT [Goubert 1954] alerte sur les différentes erreurs qu'il est fréquent de ren-
contrer dans les registres paroissiaux. Dans son ouvrage, l'auteur insiste sur la nécessité
de croiser les sources lors de l'analyse des informations contenues dans ces documents. À
travers l'étude de registres paroissiaux issus de différents départements, l'auteur conclut
que les différentes ordonnances royales ont été suivies de façon très inégale selon les pa-
roisses. En effet, certaines paroisses ont appliqué les ordonnances avec plusieurs années
de retard, quand d'autres paroisses les ont simplement ignoré. L'auteur précise que peu
de contrôles visaient à faire respecter ces directives. En second lieu, il rappelle que les
prêtres sont maîtres de leurs registres, ainsi ceux-ci sont tenus avec plus ou moins de soin.
La copie pour le bailliage est également une source d'erreur, car les prêtres n'effectuent
pas nécessairement les copies eux-même. Par erreur, ils versent parfois le registre original,
ou bien les deux exemplaires, au bailliage. L'auteur prévient également que pendant une
grande partie du XVIIe siècle, les curés inscrivaient principalement les sépultures des décès
des notables de la paroisse. Les morts d'enfants, pourtant fréquentes, ne sont pas toutes
enregistrées. Enfin, il rappelle que les étrangers et les personnes non catholiques sont ex-
clues de ces registres. Ainsi, les statistiques qui reposent sur l'analyse de ces documents
sont à interpréter avec précaution. Par ailleurs, de nombreux généalogistes constatent que
l'orthographe des prénoms, des noms, ou des lieux sont approximatifs, car souvent basés
sur la phonétique.

En plus de toutes ces imprécisions, il faut ajouter qu’un système de reconnaissance
automatique risque d’ajouter une couche d’erreur supplémentaire aux informations ex-
traites.

1.3 Les documents traités dans cette thèse

Dans cette section, nous définissons les objectifs de reconnaissance envisagés et pré-
sentons les bases de données que nous avons annotées dans le cadre de cette thèse. En
effet, l’évaluation d’un prototype de reconnaissance automatique de documents nécessite
la mise en place d’une base de données labellisée, c’est-à-dire des images de documents
associées à des annotations sémantiques réalisées par humain, qui décrivent la mise en
page du document et son contenu textuel. Le système peut alors être évalué en compa-
rant les informations prédites avec la vérité établie par un annotateur humain. En outre,
les méthodes récentes les plus performantes sont basées sur un mécanisme d’apprentissage
statistique : elles ont donc besoin d’analyser un grand nombre d’exemples pour apprendre
à reconnaître la structure des documents ou bien leur contenu textuel.
1.3.1 Objectifs de reconnaissance des registres paroissiaux

Nous définissons les objectifs de reconnaissance pour la mise en page et le contenu des registres paroissiaux. Pour cela, nous réalisons des annotations sur quelques images de documents afin de confectionner des bases de données pour le développement et l'évaluation de nos modèles de reconnaissance.

1.3.1.1 Reconnaissance de la mise en page

Dans un premier temps, nous souhaitons reconnaître la structure logique des registres : localisation des pages, des actes, des lignes de texte. Nous avons établi un protocole d'annotation afin de représenter les informations qui nous paraissent intéressantes pour l'analyse de ces images. Les annotations réalisées sont illustrées dans la figure 1.13 et résumées dans la table 1.1. Elles ont été réalisées grâce à l'outil d'annotation VGG Annotator [Dutta 2019].

**Localisation des indices visuels (lignes de texte, signatures, pages)** La représentation des lignes de texte se fait souvent par un tracé des lignes de base du texte. La ligne de base désigne la ligne sur laquelle la plupart des lettres sont situées, au-dessous de laquelle s'étendent les jambages. Pour annoter ces lignes de base, nous avons tracé des lignes polygonales en suivant la courbure de chaque ligne. En outre, chaque ligne dessinée est associée à l'une des deux classes suivante : première ligne d'un acte, autre ligne. La connaissance des lignes de base permet de créer les images de lignes en calculant l'interligne et en redressant les lignes courbées.

La représentation des signatures peut être envisagée de différentes façons : polygone englobant, ligne de base, ou bien classification de chaque pixel de l'image. L'annotation la plus précise est celle à l'échelle des pixels, mais ce type d'annotation est extrêmement chronophage. Ainsi, nous proposons de tracer des polygones englobants autour des signatures, de façon à englober tous les pixels des signatures, en excluant dans la mesure du possible les pixels correspondant à du texte. Une pseudo-annotation au niveau pixel peut ensuite être obtenue en binarisant l'image originale, puis en appliquant le masque des polygones annotés.

Pour annoter les pages, nous avons dessiné les polygones englobants autour des bords des pages du registre.
<figure><img src="image_24.png" /><figcaption>**Figure 1.13** – Exemple d'annotation pour la mise en page. Les indices visuels sont segmentés et identifiés par des pixels blancs, alors que les actes sont identifiés par rectangles englobants qui peuvent se superposer.</figcaption></figure>
**Localisation des actes** Pour délimiter les actes, nous proposons de dessiner les rectangles englobants des actes. Ces rectangles doivent englober tous les pixels correspondant au texte, en incluant les annotations marginales et les signatures. Il est à noter que ces rectangles peuvent se superposer en cas d'interaction texte/signature, ou bien en cas de courbure de l'écriture. Nous avons également choisi de normaliser les bordures des actes sur la largeur des pages.

<table><caption>**Table 1.1** – Synthèse des modes de représentation des objets de mise en page.</caption><thead><tr><td>Objet</td><td>Mode de représentation</td></tr></thead><tbody><tr><td>Première ligne de chaque acte</td><td>Ligne polygonale</td></tr><tr><td>Ligne de texte</td><td>Ligne polygonale</td></tr><tr><td>Signatures</td><td>Polygone englobant + binarisation → pixels</td></tr><tr><td>Actes</td><td>Rectangle englobant</td></tr><tr><td>Pages</td><td>Polygone englobant</td></tr></tbody></table>

### 1.3.1.2 Objectifs de reconnaissance du contenu textuel

Dans un second temps, nous souhaitons reconnaître le texte associé à l'image de document, ainsi que les informations les plus intéressantes pour les généalogistes : noms, prénoms, dates ou lieux. Pour cela, nous avons effectué une transcription complète des actes. Nous avons également défini des tags associés à chaque mot transcrit, afin d'identifier son importance pour les généalogistes. L'annotation du texte a été réalisée grâce à un outil<fnref n="8" /> développé par Ivan Leplumey et LabelStudio<fnref n="9" />.

**Classification des actes** Un premier label permet de typer l'acte suivant le classement *fiançailles/promesses, publication/bans, mariage, baptême et sépulture*. Un second label permet de préciser si l'acte est complet, multiple ou tronqué. Un *acte multiple* correspond au cas où plusieurs événements sont décrits dans un seul acte (regroupement de bans de plusieurs mariages ou naissances multiples). Un *acte tronqué* désigne un acte qui tient sur plusieurs pages.

**Transcription du texte** L'étape de transcription consiste à transcrire le texte tel qu'il apparaît sur l'image, sans corriger les abréviations, la ponctuation ou l'orthographe.

<footnote n="8">8. Basé sur Python et Qt</footnote>

<footnote n="9">9. https://labelstud.io/</footnote>
transcriptions sont découpées en trois champs : la marge, le texte principal et les signa-
tures. Le retour à la ligne est symbolisé par le symbole « \n ». Les lettres qui ne peuvent
pas être lues correctement (cachées par la pliure ou une tâche) sont annotées par le sym-
bole « _ », et les mots qui ne peuvent pas être lus (illisibles, cachés) sont annotés par
le symbole « [...] ». Les abréviations sont transcrites telles quelles, mais localisée par des
crochets, afin d'enrichir un dictionnaire d'abréviations.

**Annotation d'entités nommées** L'annotation d'entités nommées consiste à associer à chaque mot transcrit un ou plusieurs labels. Nous avons identifié six catégories sémantiques à annoter dans ces documents : le *prénom*, le *nom*, l'âge, le *date*, le *lieu*, et le *métier*. Par ailleurs, nous souhaitons également associer à chaque mot une classe désignant le rôle de la personne à laquelle le mot se réfère : la personne principale, son père, sa mère, son conjoint, sa conjointe, son parrain et sa marraine. Les classes choisies sont volontairement simples et génériques, afin d'avoir suffisamment d'exemples dans chaque classe. Ces labels sont synthétisés dans les tables 1.2 et un exemple d'annotation est également présenté dans la figure 1.14

<table><caption>**Table 1.2** – Liste des catégories sémantiques (gauche) et des rôles des personnes (droite) annotés</caption>
   <thead>
    <tr>
     <td>
      Catégorie
     </td>
     <td>
      Symbole
     </td>
    </tr>
   </thead>
   <tbody>
    <tr>
     <td>
      Prénom
     </td>
     <td>
      [name]
     </td>
    </tr>
    <tr>
     <td>
      Nom
     </td>
     <td>
      [surname]
     </td>
    </tr>
    <tr>
     <td>
      Age
     </td>
     <td>
      [age]
     </td>
    </tr>
    <tr>
     <td>
      Date
     </td>
     <td>
      [date]
     </td>
    </tr>
    <tr>
     <td>
      Lieu
     </td>
     <td>
      [loc]
     </td>
    </tr>
    <tr>
     <td>
      Métier
     </td>
     <td>
      [occ]
     </td>
    </tr>
   </tbody>
  </table>

<table>
   <thead>
    <tr>
     <td>
      Personne
     </td>
     <td>
      Symbole
     </td>
    </tr>
   </thead>
   <tbody>
    <tr>
     <td>
      Personne principale
     </td>
     <td>
      [main-M] / [main-F]
     </td>
    </tr>
    <tr>
     <td>
      Conjoint/conjointe
     </td>
     <td>
      [spouse-M] / [spouse-F]
     </td>
    </tr>
    <tr>
     <td>
      Père/mère
     </td>
     <td>
      [parent-M] / [parent-F]
     </td>
    </tr>
    <tr>
     <td>
      Parrain/marraine
     </td>
     <td>
      [godp-M] / [godp-F]
     </td>
    </tr>
   </tbody>
  </table>

<figure><img src="image_25.png" /></figure>

<table><caption>**Figure 1.14** – Exemple d'annotation du texte et des entités nommées. Pour chaque mot, nous identifions sa catégorie sémantique ainsi que le rôle de la personne à laquelle il se rapporte.</caption>
  <thead>
    <tr>
      <th>Michelle</th>
      <th>guy</th>
      <th>fille</th>
      <th>de</th>
      <th>pierre</th>
      <th>guy</th>
      <th>et</th>
      <th>de</th>
      <th>françoise</th>
      <th>maudet</th>
    </tr>
  </thead>
  <tbody>
    <tr>
      <td>[name]</td>
      <td>[surname]</td>
      <td>-</td>
      <td>-</td>
      <td>[name]</td>
      <td>[surname]</td>
      <td>-</td>
      <td>-</td>
      <td>[name]</td>
      <td>[surname]</td>
    </tr>
    <tr>
      <td>[main-F]</td>
      <td>[main-F]</td>
      <td>-</td>
      <td>-</td>
      <td>[parent-M]</td>
      <td>[parent-M]</td>
      <td>-</td>
      <td>-</td>
      <td>[parent-F]</td>
      <td>[parent-F]</td>
    </tr>
  </tbody>
</table>
1.3.2 Bases de données annotées

Nous présentons ici les bases d'images pour lesquelles nous avons réalisé des annota-
tions manuelles.

1.3.2.1 Mise en page

Deux bases d'images ont été annotées pour apprendre et évaluer un système de recon-
naissance de structure de document.

**DLA-BMS-1** Les images ont été échantillonnées à partir de collections issues de 50 paroisses d'Ille-Et-Vilaine. Pour chaque paroisse, nous avons sélectionné quatre registres datant de quatre périodes distinctes : 1675, 1715, 1755, 1790. La septième page de chaque registre sélectionné a été extraite arbitrairement, afin d'éviter les pages de couvertures et les pages blanches. Au total, 200 images ont été échantillonnées, ce qui correspond à 1565 actes. Ces documents ont été numérisés entre 2003 à 2009 à l'aide de huit modèles d'appareil photo. En ce qui concerne la résolution des images, 167 images ont été numérisées à 180 dpi, 30 à 300 dpi, et 3 à une résolution inconnue. Pour chacune de ces 200 images, nous avons extrait les lignes de texte à l'aide du réseau ARU-Net [Grüning 2018], puis nous avons corrigé ces prédictions afin d'obtenir la vérité. Nous avons ensuite annoté les premières lignes de texte, les signatures, les pages et les actes.

**DLA-BMS-2** Les images de cette base sont issues des mêmes 50 paroisses d'Ille-Et-Vilaine. En revanche, l'échantillonnage est fait de manière à couvrir plus de périodes temporelles. La méthodologie de sélection est la suivante : pour chaque période de 25 ans, nous sélectionnons les paroisses disposant de documents de cette période. Pour ces paroisses, nous sélectionnons un registre datant de cette période, puis une page tirée aléatoirement dans le registre. Au total, nous disposons pour cette base de 3 images datant d'avant 1550, 11 pages datant de 1550 à 1575, 21 pages datant de 1575 à 1600, puis 25 images par période de 25 ans jusqu'à 1775. Au total 209 images ont été échantillonnées, ce qui correspond à 2143 actes. Ce lot d'images est plus hétérogène, car les actes étaient généralement plus compacts aux XVIe et XVIIe siècles. Ces documents ont été numérisés entre 2003 à 2009 à l'aide de huit modèles d'appareil photo. En ce qui concerne la résolution des images, 173 images ont été numérisées à 180 dpi, 34 à 300 dpi, et 2 à une résolution inconnue. Pour ces images, nous avons annoté uniquement les actes.
1.3.2.2 Contenu

Peu d'actes ont été transcrits ou annotés, car la lecture de ces documents est difficile
et nécessite une certaine expertise.

**IE-BMS** Cette base contient quelques actes intégralement transcrits, dans lesquelles les entités nommées sont également annotées. Les transcriptions ont été réalisées par Ricarda Leroux et Ivan Leplumey. Ricarda Leroux nous a fourni des transcriptions réalisées dans le cadre de sa généalogie personnelle, à partir de documents issus de la Mayenne et de la Sarthe. Une partie de ses transcriptions (55 actes) a été corrigée afin qu'elles soient conformes aux textes inscrits sur les documents. Ivan Leplumey a quant à lui annoté 92 actes de la base DLA-1, en suivant le protocole de transcription défini ci-dessus. Nous avons ensuite annoté les entités nommées à partir de ces transcriptions. Finalement, 147 actes (721 lignes) ont été annotés. Il n'a pas été possible d'annoter plus de documents en raison du temps considérable que représente le processus de lecture et de transcription.

**HTR-paleo** Cette base contient 20 pages de documents issus de cours de paléographie réalisées par l'École des Chartres et les Archives Départementales du Tarn. Les documents datent du XVIe au XVIIIe siècle. Ce sont principalement des documents administratifs, tels que des décrets royaux, des mises en paiement, des avis d'exécution, ou des annulations de mariage. Ils comportent 1180 lignes de texte transcrites. L'extraction des lignes de texte a été réalisée par un logiciel basé sur le réseau ARU-Net [Grüning 2018] et l'alignement des transcriptions sur les lignes extraites a été réalisé manuellement.

**INFO-CGE35** Des relevés d'informations, réalisés par Philippe Hervagault, nous ont été fournis par le Cercle Généalogique de l'Est de l'Ille-et-Vilaine (CGE35)<fnref n="10" />. Ils sont structurés sous la forme de fichiers CSV contenant des noms, prénoms, métiers et lieux issus de 15 paroisses. Les relevés contiennent des informations issues de 9619 actes de mariage, 1950 actes de sépulture et 2400 actes de baptême, soit environ 14000 actes issus de 15 paroisses de l'Ille-Et-Vilaine. Les informations contenues dans ces relevés incluent le type d'acte (baptême, mariage ou sépulture), le code postal de la commune ainsi que le permalien vers l'image originale. Pour un baptême, le relevé contient des informations sur la personne baptisée : nom, prénom, qualité du père, prénom du père, nom et prénom mère, parrain, marraine. Pour un mariage, le relevé contient des informations sur chacun

<footnote n="10">10. https://www.cge35.fr/index.php</footnote>
des époux : nom, prénom, âge, prénom du père, prénom de la mère, nom de la mère. Il contient également la liste des témoins. Enfin, pour une sépulture, le relevé contient des informations sur la personne décédée : nom, prénom, qualité, âge, lieu-dit, prénom du père, prénom de la mère, nom de la mère, prénom du conjoint, nom du conjoint. Ces relevés sont associés à l'image originale, mais la transcription complète n'est pas disponible, ni la localisation de l'acte dans l'image. Ainsi, cette base n'est pas utilisable pour l'apprentissage d'un système de reconnaissance. Cependant, ces relevés sont utiles pour définir des dictionnaires de noms, prénoms ou lieux, ou pour évaluer notre système à grande échelle. Au total, 14011 relevés nous ont été fournis, dont 9632 correspondent à des actes de mariage, 1964 à des actes de sépulture, et 2415 à des actes de baptême.

## 1.4 Conclusion du chapitre

Dans ce chapitre, nous avons introduit le contexte applicatif de cette thèse. Nous avons présenté les registres paroissiaux, leur histoire, leurs caractéristiques et leur intérêt pour la recherche généalogique. Nous avons aussi illustré les difficultés propres à ces documents, en particulier les difficultés de lecture et d'interprétation des actes, la qualité de numérisation variable, ainsi que les dégradations fréquentes. Nous avons également présenté les objectifs de reconnaissance de cette thèse, notamment pour l'analyse automatique de la mise en page et du contenu textuel. Enfin, nous avons introduit les différentes bases de données mises en place et utilisées pendant cette thèse, dont une synthèse est présentée dans la table 1.3.

<table><caption>**Table 1.3** – Synthèse des bases de données annotées disponibles pour ce travail.</caption><thead><tr><th>Nom</th><th>Objectifs</th><th>Annotations</th><th>Documents</th><th>Actes</th><th>Lignes</th></tr></thead><tbody><tr><td>DLA-BMS-1</td><td>Mise en page</td><td>Actes + indices visuels</td><td>200</td><td>1565</td><td>-</td></tr><tr><td>DLA-BMS-2</td><td>Mise en page</td><td>Actes</td><td>209</td><td>2143</td><td>-</td></tr><tr><td>IE-BMS</td><td>Contenu</td><td>Texte + entités nommées</td><td>-</td><td>147</td><td>721</td></tr><tr><td>HTR-PALEO</td><td>Contenu</td><td>Texte</td><td>-</td><td>-</td><td>1180</td></tr><tr><td>INFO-CGE35</td><td>Contenu</td><td>Entités nommées</td><td>-</td><td>14011</td><td>-</td></tr></tbody></table>

Ce travail de recherche se place dans un contexte industriel avec des contraintes fortes : les images que nous souhaitons reconnaître sont très hétérogènes, de résolution variable et difficiles à lire. Le processus d'annotation étant extrêmement couteux en temps, peu
d'annotations ont pu être réalisées. À terme, Doptim envisage de développer une plate-
forme d'annotation collaborative afin de récupérer un certain nombre de transcriptions.
Cependant, le déploiement d'un tel outil est coûteux, et n'a pas pu être réalisé pendant
ce projet. Notre objectif est donc de réaliser un prototype de reconnaissance, à partir de
peu de données d'apprentissage. Le système pourra alors être enrichi et spécialisé avec les
annotations et transcriptions issues de la plateforme collaborative.

Dans le prochain chapitre, nous dressons un état de l'art du domaine de la reconnais-
sance automatique de documents numérisés.
# ÉTAT DE L'ART POUR LA RECONNAISSANCE DE DOCUMENTS

Dans ce chapitre, nous introduisons la chaîne de traitement classique pour la reconnaissance automatique de documents imprimés ou manuscrits. Nous présentons une revue des articles les plus influents et les plus pertinents pour l'analyse de documents numérisés. Dans un premier temps, nous présentons les stratégies développées pour l'analyse de la mise en page de documents. Puis, nous détaillons les méthodes utilisées pour reconnaître le contenu textuel à partir d'images de zones de texte. Enfin, nous proposons un aperçu des principaux outils, bases de données et méthodes d'évaluation utilisés dans les nombreux articles et compétitions du domaine de recherche.

## 2.1 Introduction

La reconnaissance d'images de documents consiste à extraire automatiquement de l'information à partir de l'analyse de l'image d'un document numérisé.

Ce domaine de recherche a connu un essor important ces dernières années. D'une part, un intérêt croissant pour la numérisation des documents s'est développé dans les entreprises, les administrations et les institutions culturelles. Celles-ci ont donc cherché à développer des outils automatiques pour traiter rapidement un grand nombre de documents. D'autre part, les progrès scientifiques dans les domaines de l'apprentissage automatique et de la vision par ordinateur ont permis d'améliorer considérablement l'efficacité des systèmes d'analyse automatique de documents, ce qui a largement contribué au développement de ce domaine de recherche. Dans le même temps, de nombreuses bases de données ont été créées afin d'améliorer l'efficacité et la robustesse de ces systèmes [Marti 2002; Augustin 2006; Brunessaux 2014]. Cet engouement pour le traitement automatique de documents a renouvelé l'intérêt de la communauté scientifique pour de nombreuses thématiques de recherche, dont un aperçu est représenté sur la figure 2.1.
Une première thématique de recherche concerne la classification automatique de documents numérisés. L'enjeu de cette tâche est de parvenir à trier automatiquement des documents selon des critères définis, ou bien de regrouper les documents similaires. Cette thématique a de nombreuses applications industrielles, notamment le tri automatique du courrier et la classification de documents administratifs (documents d'identité, fiches de paie, factures, contrats...). Pour les archivistes, ces systèmes de classification sont également une aide précieuse pour retrouver la langue ou la période d'un manuscrit historique.

Une seconde thématique concerne l'analyse de la mise en page. En effet, la mise en page d'un document permet d'en apprendre plus sur son contexte, son type, sa date, ainsi que l'ordre de lecture. La reconnaissance de mise en page est un enjeu particulièrement important pour le traitement automatique de documents structurés, tels que les formulaires administratifs ou les documents d'identité. En effet, la localisation des champs est une étape préliminaire essentielle au traitement automatique de ces documents. Pour les documents non structurés, la localisation des zones de texte homogènes est également une étape clé nécessaire à la reconnaissance du texte.

Une troisième thématique majeure est la reconnaissance de texte ou de symboles contenus dans les documents. En effet, l'analyse de l'image peut permettre la reconnaissance du texte imprimé ou manuscrit, sur des documents modernes ou historiques. Plus généralement, la reconnaissance de symboles s'applique pour de nombreux types de documents. En particulier, la reconnaissance des chiffres a un intérêt pour le tri automatique de courrier, la reconnaissance de symboles musicaux pour l'analyse de partitions, ou encore la reconnaissance de symboles mathématiques pour la reconnaissance d'équations.

Une quatrième thématique majeure concerne la compréhension du texte contenu dans les documents. Cette thématique est à cheval entre la vision par ordinateur et le traitement du langage naturel. L'analyse plus approfondie du langage permet d'aller au-delà d'une simple reconnaissance de texte, en analysant le langage utilisé. En particulier, il est possible de corriger la transcription automatique en utilisant des caractéristiques statistiques de la langue, de reconnaître les mots appartenant des catégories sémantiques, de créer un résumé synthétique du document, ou encore une traduction automatique du texte.

Enfin, une dernière thématique concerne la sécurisation des documents. Ce domaine de recherche se concentre sur la vérification de l'authenticité de documents, et ce, par l'analyse forensique de l'encre, la vérification des signatures présentes, ou encore l'analyse du style linguistique de l'auteur.
<figure><img src="image_26.png" /><figcaption>**Figure 2.1** – Les différentes tâches du domaine de la reconnaissance automatique de documents</figcaption></figure>

Dans cette thèse, nous nous intéressons à la reconnaissance de registres paroissiaux, qui sont des documents historiques, semi-structurés, complètement textuels et manuscrits. L'analyse automatique de ces documents passe par plusieurs étapes :

1. La numérisation du document pour obtenir une image numérique;

2. L'analyse de la mise en page et la localisation des zones de texte;

3. La reconnaissance du texte contenu dans ces zones d'intérêt;

4. L'extraction des informations importantes.

Ainsi, nous concentrons cette analyse bibliographique sur les systèmes qui permettent l'analyse de la mise en page, la reconnaissance de texte manuscrit et l'extraction automatique d'informations pertinentes à partir d'images de documents. Dans la suite, nous présentons les méthodes de l'état de l'art les plus pertinentes pour chacune de ces tâches.
## 2.2 Reconnaissance de la mise en page

La reconnaissance automatique de structure de documents consiste à reconnaître l'organisation logique des pages. C'est une étape essentielle à la reconnaissance automatique de document. D'une part, comprendre l'organisation du document facilite son interprétation sémantique. En effet, la mise en page amène parfois des connaissances sur le contenu et le contexte du texte. C'est le cas des documents structurés tels que les factures, les formulaires, les articles de journaux, ou encore les courriers, pour lesquels la localisation du texte permet de déduire des informations sur son contexte. D'autre part, la localisation de blocs de texte est une étape essentielle pour appliquer des moteurs de reconnaissance d'écriture. En effet, ces moteurs prennent généralement en entrée des images de mots, de lignes, ou plus récemment de paragraphes. Ainsi, il est nécessaire de procéder à une analyse des pages afin d'isoler les zones de texte d'intérêt.

La grande variabilité des collections de documents, ainsi que la complexité de certaines mises en page font que le domaine de recherche de la reconnaissance de structure est encore très actif [Eskenazi 2016; Mehri 2015; Binmakhashen 2019]. Dans cette section, nous présentons les différentes tâches adressées par la communauté scientifique pour la reconnaissance de la mise en page. Puis, nous proposons un aperçu des méthodes qui ont été développées pour localiser des zones homogènes dans des documents. Enfin, nous analysons l'intérêt potentiel de ces approches pour la reconnaissance de structure des registres paroissiaux.

### 2.2.1 Tâches de localisation et de détection

Certains documents complexes sont composés de différents types d'objets graphiques, tels que de zones de texte, des structures tabulaires, ou encore des illustrations. Pour ce type de document, il est intéressant de localiser et de classifier chaque zone homogène, afin d'isoler les zones de texte. C'est notamment le cas pour les articles scientifiques, les affiches publicitaires, ou encore les bandes dessinées. À l'inverse, pour les documents principalement textuels, le travail d'analyse de la mise en page permet essentiellement de segmenter les zones de texte homogènes, en particulier les lignes de texte et les paragraphes. Dans cette section, nous présentons les tâches les plus populaires pour la reconnaissance de mise en page de documents. La figure 2.2 illustre trois tâches majeures pour la reconnaissance de structure de documents : la localisation de lignes de texte, la détection et classification de zones, et la segmentation de pages.
<figure><img src="image_27.png" /><figcaption>**Figure 2.2** – Illustration des tâches adressées par les compétitions de reconnaissance de structure des documents. Les images sont issues des compétitions suivantes : a) cBAD2017 [Diem 2017], b) RDCL2019 [Clausner 2019], c) HBA2019 [Mehri 2019]</figcaption></figure>

**Localisation de lignes de texte** Cette tâche consiste à localiser les pixels correspondants à la base de chaque ligne de texte, comme illustré sur la figure 2.2a. C'est une étape essentielle avant la reconnaissance automatique d'écriture, car les systèmes OCR prennent en entrée des images de lignes. La difficulté de ce problème vient de la variabilité des écritures, des langages et des mises en page. Ce problème occupe la communauté scientifique depuis de nombreuses années, en particulier dans les compétitions proposées lors des conférences [Murdock 2015; Diem 2017; Diem 2019b].

**Détection et classification de zones** Cette tâche consiste à localiser les différentes zones du document, et à attribuer une classe à chacune d'entre-elles. Ce type de tâche est particulièrement adapté aux documents complexes, car il est ainsi possible de séparer les zones textuelles des zones graphiques ou tabulaires. Par exemple, dans la figure 2.2b, chaque zone est délimitée par une boite englobante à laquelle est attribuée une classe parmi : table, texte, titre, figure. En outre, ces approches permettent de reconnaître l'ordre de lecture du document. De nombreuses compétitions ont permis de développer de nouvelles stratégies pour résoudre ce problème [Antonacopoulos 2015; Clausner 2017; Clausner 2019].
**Segmentation de page** Cette tâche consiste à attribuer une classe à chaque pixel de l'image. Par exemple, dans la figure 2.2c, les pixels bleus correspondent au texte principal, les pixels verts correspondent à des commentaires, les pixels rouges à des décorations, et les autres pixels appartiennent au fond du document. La segmentation de documents est particulièrement utiles pour le traitement de documents anciens [Simistira 2017; Clausner 2018; Mehri 2019].

## 2.2.2 Méthodologies pour la reconnaissance de mise en page

De nombreuses stratégies ont été proposées par la communauté scientifique pour résoudre ces tâches de segmentation ou de détection. Nous distinguons ici quatre grands types de stratégie d'analyse :

- **Stratégies ascendantes** (*Bottom-up* ou *data-driven*). Les algorithmes ascendants partent des éléments les plus fins de l'image et cherchent à regrouper ceux qui se ressemblent. Ils sont rapides et efficaces, mais très sensibles au bruit présent sur des documents à faible résolution.

- **Stratégies descendantes** (*Top-down* ou *model-driven*). Ces méthodes partent de la page entière et cherchent à la partitionner en zones homogènes. Elles sont généralement très rapides, mais ne conviennent pas pour des collections dont la mise en page est complexe ou variable.

- **Stratégies hybrides.** Ces stratégies combinent des analyses ascendantes et descendantes. Elles sont à la fois robustes et rapides et peuvent être utilisées sur une grande variété de documents, y compris complexes. En revanche, elles sont difficiles à mettre en place, car de nombreux paramètres doivent être ajustés.

- **Stratégies basées sur des réseaux de neurones.** Les réseaux de neurones permettent de segmenter efficacement des documents complexes, mais nécessitent des annotations qui sont coûteuses à obtenir. Ces approches arrivent en tête de la plupart des compétitions récentes d'analyse d'images de documents.

### 2.2.2.1 Stratégies ascendantes

Ces algorithmes agglomèrent les éléments tels que les pixels, composantes connexes, lettres, mots ou lignes de texte pour créer des zones homogènes. Ils ont l'avantage de pouvoir s'appliquer à une grande variété de documents, sans nécessiter d'information a priori sur leur mise en page. En pratique, ils sont surtout appliqués à des documents
dont les zones sont simples ou clairement délimitées. En revanche, l'inconvénient de ces méthodes est qu'elles sont très sensibles au bruit, et donc à la qualité de numérisation. Trois types de stratégies ascendantes existent.

**Filtres et morphologies mathématiques** Les filtres morphologiques sont couramment utilisés en reconnaissance de formes. En effet, l'application de filtres peut permettre de mettre en lumière des zones d'intérêt de taille et de formes variables, en se basant sur des caractéristiques de texture, de contraste, de couleur ou d'intensité. Ces stratégies ont été utilisées pour localiser les zones graphiques et les zones de texte dans des documents contemporains BOCKHOLT et al. [Bockholt 2011], BUKHARI et al. [Bukhari 2011b] et BUKHARI et al. [Bukhari 2011c]. Une autre approche proposée par FERILLI et al. [Ferilli 2009] permet également de localiser les zones de texte, et a été validée sur des documents variés à la mise en page complexe, ainsi que sur des documents nativement numériques. Finalement, les méthodes à bases de filtres sont également populaires pour la détection des lignes de texte manuscrites [Bukhari 2011c; Lemaitre 2011; Tang 2014]. En pratique, les méthodes basées sur des filtres sont appliquées sur des documents modernes et de bonne qualité, qui ont souvent été binarisés en amont de l'analyse.

**Partitionnement** Les approches de partitionnement ou de clustering sont populaires pour la reconnaissance de mise en page. Elles consistent à grouper des éléments de l'image à partir de caractéristiques particulières, de façon à former des zones homogènes. Certains algorithmes se basent sur des caractéristiques génériques telles que l'orientation locale pour segmenter des lignes de texte [Kumar 2010; Ziaratban 2010]. CAREL et al. [Carel 2015] identifient les composantes connexes puis effectuent un partitionnement à différentes résolutions sur chaque couche de couleur. D'autres approches se basent sur des caractéristiques issues de la géométrie du document. Certaines calculent des caractéristiques géométriques telles que la distance, l'aire, la densité avant d'effectuer un partitionnement pour obtenir les lignes de texte [Diem 2013; Yin 2009] ou bien effectuent une coloration de graphe pour obtenir des zones homogènes dans le document [Gaceb 2008]. Enfin, certains algorithmes se basent sur des caractéristiques issues de la texture du document, en particulier pour traiter des documents anciens [Mehri 2013b; Mehri 2013a; Journet 2008]. En particulier, JOURNET et al. [Journet 2008] proposent d'extraire cinq caractéristiques de texture locale à différentes résolutions et parviennent à identifier les zones principales des documents sans aucune connaissance a priori.
**Classification** Les algorithmes de classification sont également très populaires. Ils permettent de classer des éléments (pixels, mots, lignes...) à partir de caractéristiques ap- prises, de façon à former des zones homogènes (lettres, lignes, paragraphes...). Certains algorithmes partent d'une image binaire : PINSON et al. [Pinson 2011] et PENG et al. [Peng 2011] pour détecter des annotations manuelles sur des documents imprimés, BENJLAIEL et al. [Benjlaiel 2014] pour l'extraction lignes de texte, HEBERT et al. [Hebert 2011] et FERNÁNDEZ et al. [Fernández 2012] pour analyser la structure de documents anciens. D'autres partent d'une image en niveau de gris : GARZ et al. [Garz 2011] parviennent à détecter des lettrines dans des documents anciens. DIEM et al. [Diem 2011] tentent quant à eux de classifier chaque mot comme étant imprimé, manuscrit, ou simplement du bruit. Enfin, d'autres méthodes partent de l'image couleur : BAECHLER et al. [Baechler 2013] pour extraire des lignes de texte dans des manuscrits anciens, CHEN et al. [Chen 2015a; Chen 2014], FISCHER et al. [Fischer 2014] et WEI et al. [Wei 2013] pour la reconnaissance de structure dans ces mêmes manuscrits.

### 2.2.2.2 Stratégies descendantes

Ces stratégies sont basées sur une forte connaissance a priori sur la structure d'un type de documents dont la structure est invariante et codifiée (ex : formulaires, lettres). Elles ne sont pas robustes à une modification de la mise en page.

**Description de structure** La description de structure de document a été initialement proposée en 2006 par COÜASNON [Coüasnon 2006a] qui a développé dans la méthode DMOS un langage de description de documents : EPF. La description se fait sous forme de règles logiques et permet la segmentation et la classification des zones d'intérêt. La méthode DMOS a été appliquée avec succès à de nombreux types de documents structu- rés : lettres de correspondances, documents administratifs ou anciens, journaux. En 2008, SHAFAIT et al. [Shafait 2008] ont proposé une autre approche descriptive qui nécessite une interaction avec l'utilisateur. Celui-ci définit un découpage approximatif de la mise en page des documents, puis le système renvoie les zones les plus probables de chaque document, à partir d'une analyse de l'image et de la structure a priori.

**Profils de projection** Ces méthodes sont principalement utilisées pour analyser les lignes de texte. Elles sont très efficaces sur des documents ne contenant que du texte, mais sont difficilement applicables à des documents complexes (dégradations, structure
complexe, éléments graphiques...). OUWAYED et al. [Ouwayed 2011] proposent d'effectuer
un pavage de rectangle d'orientations différentes sur le texte pour permettre d'extraire des
lignes penchées. La direction des rectangles est déterminée en utilisant la distribution de
Wigner-Ville sur l'histogramme du profil de projection. PAPAVASSILIOU et al. [Papavassi-
liou 2010] utilisent l'algorithme de Viterbi pour trouver les lignes de texte en localisant les
successions de texte et de blanc à l'intérieur de zones verticales. Ils parviennent également
à segmenter le texte en mots en utilisant un SVM qui sépare les composantes connexes
successives. Cette méthode a gagné la compétition ICDAR 2007 sur la segmentation de
texte.

**Identification de séparateurs verticaux et horizontaux**

Cette stratégie consiste à identifier les frontières physiques des zones d'intérêt ou les espaces blancs qui séparent des éléments textuels. À partir d'une image binaire, LOULOUDIS et al. [Louloudis 2008] découpent les composantes connexes en paragraphes. Puis ils appliquent la transformation de Hough sur ces paragraphes pour obtenir les lignes de texte. Cette méthode ne fonctionne que sur des lignes de texte horizontales. CHEN et al. [Chen 2013] proposent quant à eux d'analyser les espaces blancs pour séparer les colonnes dans des journaux anciens. Leur méthode a gagné les deux compétitions de segmentation à ICDAR 2013.

**Analyse de fonction** Ce type de méthode est basé sur l'optimisation d'une fonction spécialement conçue pour résoudre un problème donné. BUKHARI et al. [Bukhari 2011a] proposent une méthode basée sur le principe des contours actifs, dans laquelle des contours ouverts (« snakes ») viennent délimiter les lignes de texte par le haut et le bas. La méthode est appliquée avec succès à des documents manuscrits sur des lignes de texte extrêmement courbées. Une autre méthode proposée par RYU et al. [Ryu 2014] se base sur une fonction d'énergie conçue de telle manière que sa minimisation renvoie les lignes de texte. Un autre type de stratégie consiste à appliquer des modèles probabilistes : YIN et al. [Yin 2009] estiment le nombre de lignes de texte à l'aide d'un filtre flou puis appliquent une méthode bayésienne variationnelle pour segmenter les lignes de texte, tandis que CRUZ et al. [Cruz 2014] proposent d'appliquer un mélange de gaussiennes aux différentes régions de la page pour obtenir la distribution logique du document.
## 2.2.2.3 Stratégies hybrides

La plupart de ces méthodes combinent les avantages des deux types stratégies décrites précédemment. En revanche, elles sont complexes à implémenter, car de nombreux paramètres doivent être optimisés pour chaque type de document. Elles sont souvent appliquées à des documents contemporains très complexes (journaux, affiches publicitaires), mais quelques publications s'intéressent aussi à des documents manuscrits ou anciens.

En particulier, BULACU et al. [Bulacu 2007] localisent les lignes de texte à l'aide d'un profil de projection, puis tirent profit de la mise en page uniforme de leur collection de documents anciens pour localiser les paragraphes. Une stratégie similaire est mise en place par LEMAITRE et al. [Lemaitre 2011] pour localiser les mots dans des documents manuscrits : les distances entre les mots et entre les lettres sont calculées à l'aide d'un graphe Delaunay, et une connaissance a priori sur la structure du texte, notamment grâce à la ponctuation est utilisée.

WEI et al. [Wei 2014] proposent une sélection hybride de caractéristiques textuelles et s'intéressent à l'analyse de structure de manuscrits anciens. BARLAS et al. [Barlas 2014] appliquent successivement une approche ascendante pour détecter les mots manuscrits et imprimés dans des formulaires administratifs, puis une approche descendante pour segmenter en blocs de texte. CLAUSNER et al. [Clausner 2012] proposent de combiner une analyse des composantes connexes (ascendante) à des règles logiques (descendante) pour obtenir les lignes de texte. Ils montrent que leur approche hybride surpasse l'approche uniquement ascendante ou descendante. Finalement, ASI et al. [Asi 2015] s'intéressent à des documents anciens contenant des lignes de texte très courbées, et parviennent à extraire les lignes de texte grâce à une approche hybride, puis à les lisser en utilisant une transformation géométrique non linéaire.

## 2.2.2.4 Stratégies basées sur des réseaux de neurones

Récemment, les réseaux de neurones, et en particulier les réseaux convolutifs, se sont révélés être particulièrement efficaces pour la segmentation de page et la détection d'objets dans des documents numérisés, qu'ils soient récents ou anciens [Diem 2019b; Mehri 2019].

Les réseaux de neurones récurrents ont notamment permis une avancée majeure pour la localisation de lignes de texte. MOYSSET et al. [Moysset 2015] ont été parmi les premiers à développer un réseau récurrent pour localiser les lignes de texte dans les documents hétérogènes de la base de données Maurdor [Brunessaux 2014]. Ce réseau apprend à
modéliser les paragraphes comme une séquence de lignes de texte et d'interlignes. Un autre modèle proposé par la société A2IA [Murdock 2015] est basé sur un réseau convolutif couplé à des couches LSTM a atteint la seconde place de la compétition ICDAR 2015 pour la détection de lignes de texte.

Plus récemment, les réseaux complètement convolutifs ont gagné en popularité pour la détection de lignes de texte et la segmentation de pages [Diem 2019b; Mehri 2019]. De nombreuses architectures ont été proposées pour localiser les lignes de texte dans des documents manuscrits. GRÜNING et al. [Grüning 2018] ont proposé ARU-Net, un U-net avec des couches récurrentes et couplé à un réseau d'attention, qui obtient les meilleurs résultats pour la détection des lignes de texte sur la base de données cBAD [Diem 2019b]. RENTON et al. [Renton 2018] ont également proposé un réseau entièrement convolutif avec des convolutions dilatées, ce qui leur permet d'obtenir des résultats compétitifs pour la détection de lignes de texte. Enfin, OLIVEIRA et al. [Oliveira 2018] ont proposé dhSegment, un U-Net dont la partie contractante est composée d'un ResNet-50. Les auteurs ont démontré la capacité de dhSegment à traiter différentes tâches sur des documents anciens, en particulier la localisation de lignes de texte, la détection d'ornements, et la segmentation de page. De nombreuses autres architectures basées sur des réseaux convolutifs ont été proposées par la suite [Renton 2017; Quirós 2018; Boillet 2021a].

D'autres approches s'intéressent à la segmentation sémantique de page [Chen 2015b; Chen 2017a; Xu 2017] ALBERTI et al. [Alberti 2019] ont utilisé le framework DeepDIVA [Alberti 2018] pour annoter précisément les documents afin d'obtenir une segmentation sémantique de qualité pour extraire les lignes de texte. Une autre approche basée sur des réseaux siamois a été proposée par ALAASAM et al. [Alaasam 2019], pour effectuer la classification de chaque pixel dans des manuscrits arabes anciens.

Enfin, les réseaux de détection d'objets sont régulièrement utilisés pour la détection et classification de zones dans des documents récents. De nombreux articles utilisent des réseaux de neurones pour localiser des blocs de texte, des équations, des illustrations, ou des tableaux dans des documents imprimés complexes [Saha 2019; Yi 2017; Oliveira 2017]. Plus récemment, ces réseaux ont été appliqués pour localiser différentes instances d'objets dans des documents anciens [Prusty 2019; Biswas 2021a]. Mais si ces réseaux sont capables de reconnaître des mises en page variées avec une grande précision, ils nécessitent un grand nombre de documents d'apprentissage (> 1000 images de documents), ont des capacités de généralisation limitées.
### 2.2.3 Logiciels existants

Certains logiciels permettent de reconnaître la structure des documents. Par exemple, dhSegment [Oliveira 2018] et ARU-Net [Grüning 2018] sont deux logiciels open-source permettant la localisation de lignes de texte dans des images. dhSegment permet également la segmentation sémantique des documents, la localisation des pages et des illustrations, ainsi que la détection d'ornements. Deux autres outils propriétaires permettent de reconnaître la structure des documents : Transkribus<fnref n="1" /> et Arkindex<fnref n="2" />. Ces systèmes parviennent à localiser correctement les lignes de texte sur les registres paroissiaux. En revanche, la localisation des actes n'est pas satisfaisante. De plus, leur utilisation est payante.

### 2.2.4 Discussion

Si un nombre considérable d'approches a été proposé par la communauté scientifique au fil des années, peu d'entre elles s'adaptent à différents types de mise en page. Aucune des méthodes présentées dans cette section n'est directement capable de reconnaître la structure particulière des registres paroissiaux.

Les méthodes ascendantes ne sont pas envisageables, car elles nécessitent une mise en page clairement apparente, et des documents de bonne qualité. Or, nous avons montré dans le chapitre 1 que ce n'est pas le cas des registres paroissiaux. Leur structure n'apparaît pas clairement : le texte est serré, avec peu d'espace interligne entre deux actes successifs. De plus, les lignes de texte sont souvent courbées, avec une interaction fréquente entre les signatures en fin d'acte et texte de l'acte suivant. Enfin, la qualité de la numérisation est variable, et certaines pages sont fortement dégradées.

Les méthodes descendantes ne sont pas non plus applicables, car la structure des pages n'est pas homogène. Les documents sont photographiés en simple ou double page et chaque page contient un nombre variable d'actes, avec des styles d'écritures très hétérogènes. Certains indices visuels permettent de repérer la localisation des actes, en particulier les annotations marginales, les signatures en fin d'acte, les alinéas ou majuscules en début d'acte, ou encore l'espacement vertical entre les actes. Cependant, ces indices ne sont pas présents dans tous les documents.

Mais d'autres stratégies présentées dans cet état de l'art semblent applicables aux registres paroissiaux. En particulier, les méthodes neuronales, elles ont prouvé être capables

<footnote n="1">1. https://readcoop.eu/transkribus/</footnote>

<footnote n="2">2. https://teklia.com/solutions/arkindex/</footnote>
de traiter efficacement des documents dégradés, complexes, ou hétérogènes. Elles sont
capables de reconnaître une grande variété de mises en page à partir de l'apprentissage
de caractéristiques pertinentes. En particulier, les réseaux encodeur-décodeur convolutifs
(U-Net) sont désormais capables de localiser les lignes de texte, les pages ou encore les
décorations dans des documents historiques et manuscrits [Grüning 2018; Oliveira 2018].
D'autres types de réseaux, les réseaux de détection d'objets, permettent de localiser des
instances d'une même classe, même quand celles-ci se chevauchent. Ce type de réseau
est principalement utilisé pour localiser des zones de texte, des tableaux, des équations
ou des figures dans des documents imprimés [Oliveira 2017; Yi 2017; Saha 2019], mais
plus récemment, ils ont été appliqués avec succès à des documents anciens [Prusty 2019;
Trivedi 2021; Biswas 2021a]. La limite majeure des approches neuronales est qu'elles
nécessitent un grand nombre d'exemples, ou données d'apprentissage, pour apprendre à
extraire des caractéristiques pertinentes pour la tâche à résoudre. Or, nous disposons de
très peu d'annotations sur des registres paroissiaux.

Les méthodes hybrides peuvent être un compromis intéressant pour dépasser ce pro-
blème. En effet, nous avons vu que la localisation des actes ne peut pas se baser entièrement
sur la présence d’indices visuels, car ceux-ci n’apparaissent pas systématiquement dans les
pages. En revanche, lorsque ceux-ci apparaissent, ils peuvent permettent de guider l’ana-
lyse. La combinaison de plusieurs indices visuels (lignes de texte, signatures, annotations
marginales, mots clés) pourrait également fiabiliser cette analyse. En particulier, la loca-
lisation des indices visuels par des réseaux de neurones, couplée à des règles logiques de
construction d’actes, pourraient permettre d’obtenir un système robuste de localisation
d’actes. Un autre avantage majeur est la stabilité des indices visuels. En effet, les motifs
stables peuvent être reconnus à partir de peu d’exemples, ce qui limite les problématiques
de généralisation des réseaux de neurones.

Le chapitre 3 aborde le problème de la reconnaissance de structure des registres pa-
roissiaux. Nous y présentons les deux types d’approches envisagées pour la reconnaissance
de pages de registres paroissiaux : une approche complètement neuronale et une approche
hybride.

## 2.3 Reconnaissance de texte manuscrit

La reconnaissance de contenu consiste à reconnaître et comprendre le texte présent
dans un document numérisé. De nombreux systèmes grand public de reconnaissance op-
tique de caractères (OCR<fnref n="3" />), tels que Tesseract<fnref n="4" />, ABBY Finereader<fnref n="5" />, ou Google Cloud Vision<fnref n="6" /> sont actuellement capables de reconnaître le texte de certains documents numérisés. Les OCR représentent un enjeu industriel important pour différents domaines, notamment pour le tri du courrier, la reconnaissance chèque, la reconnaissance de papiers d'identité, le traitement de formulaires administratifs, ou la reconnaissance de documents d'archive [Plamondon 2000; Plötz 2009]. Cependant, la performance de ces systèmes chute considérablement lorsqu'ils sont appliqué à des documents à faible résolution, dégradés, ou manuscrits [Romero 2013]. En conséquence, la tâche de la reconnaissance de texte est toujours un problème ouvert et un sujet de recherche actif. Les travaux de recherche actuels se focalisent sur la robustesse de tels systèmes sur des documents manuscrits, dégradés, ou anciens.

Dans la suite, nous considérons que la mise en page du document à reconnaître a été simplifiée, grâce aux méthodes décrites dans la section précédente. En effet, les systèmes de reconnaissance d'écriture prennent généralement en entrée des images de mots, de lignes, ou de paragraphes. Nous détaillons le fonctionnement des systèmes de reconnaissance, avec un accent sur le script latin, l'écriture manuscrite et les documents historiques.

## 2.3.1 Méthodologies pour la reconnaissance de texte

La reconnaissance de contenu à partir d'une image de texte manuscrit ou imprimé est complexe. En effet, la reconnaissance s'appuie sur la modélisation du script, en se basant sur des caractéristiques issues des images d'apprentissage (modélisation de la forme des lettres, apparence de l'écriture). Les différents styles d'écriture, propres à chaque scripteur, augmentent considérablement la variabilité interclasse de chaque lettre : une même lettre s'écrit de multiples façons. Mais les performances de ces systèmes peuvent être améliorés par une modélisation linguistique, en utilisant des caractéristiques séquentielles sur l'ordre d'apparition des caractères dans une certaine langue ou dans un vocabulaire fermé.

### 2.3.1.1 Prétraitement

Plusieurs prétraitements sont couramment appliqués à l'image avant l'application de moteurs de reconnaissance d'écriture. Ces traitements ont pour but de simplifier l'image

<footnote n="3">3. *Optical Character Recognition*</footnote>

<footnote n="4">4. https://github.com/tesseract-ocr/tesseract</footnote>

<footnote n="5">5. https://pdf.abbyy.com/fr/</footnote>

<footnote n="6">6. https://cloud.google.com/vision</footnote>
d'entrée, ou bien d'en augmenter la qualité. Certains algorithmes nécessitent une binarisation ou une augmentation conséquente du contraste, afin de distinguer les pixels du signal de ceux du fond [Plamondon 2000; Bluche 2013]. Ensuite, il est fréquent de corriger les inclinaisons verticale et horizontale du texte, ainsi que l'alignement entre les mots [Bluche 2013; LeCun 1995; España-Boquera 2011]. Dans certains cas, la hauteur des caractères est normalisée en fixant la taille des ascendants et des descendants [España-Boquera 2011]. Dans la plupart des systèmes, l'image est également normalisée et débruitée [Vinciarelli 2002; Plamondon 2000]. Enfin, la parallélisation du traitement des images nécessite soutenir un redimensionnement de la taille des images vers une taille fixe. L'utilisation du padding est également fréquente afin de maintenir le ratio de forme initial de l'image [Bluche 2013; LeCun 1995].

### 2.3.1.2 Segmentation et classification des caractères ou mots

Les premières méthodes de reconnaissance d'écriture consistaient à localiser les mots ou les caractères présents sur l'image, et à les classifier. Cette stratégie peut donc s'appliquer à deux niveaux :

- À l'échelle des mots, elle nécessite la localisation des mots dans l'image, puis permet de reconnaître des mots issus d'un vocabulaire réduit, en classifiant chaque image de mots à partir de caractéristiques. Les classes à reconnaître correspondent aux mots issus d'un dictionnaire réduit.

- À l'échelle des caractères, elle nécessite la localisation des caractères dans l'image, puis permet la classification de chaque caractère à partir de caractéristiques. Les classes à reconnaître sont alors les lettres de l'alphabet, avec éventuellement des chiffres ou caractères spéciaux.

#### Segmentation des mots et des caractères

La segmentation des mots ou des caractères imprimés peut être réalisée par l'analyse de pixels blancs, l'analyse de projection, ou encore l'analyse des composantes connexes [Casey 1996]. En effet, les lettres et les mots sont séparés de leurs voisins par un espace de taille fixe. La segmentation des mots manuscrits est également possible par ces techniques, bien que l'espace inter-mots varie selon les scripteurs. La segmentation des caractères manuscrits est quant à elle bien plus complexe, en particulier pour l'écriture cursive. Certains algorithmes parviennent à segmenter les caractères par à une analyse des contours, en localisant les ligatures entre les lettres, ou en détectant les ascendants et descendants [Casey 1996]. D'autres se basent
sur la programmation dynamique pour chercher la segmentation la plus optimale [Wang 1994]. Cependant, la localisation des caractères cursifs peut introduire des erreurs, avec des caractères fréquemment fusionnés ou séparés en deux. Certaines heuristiques ont été proposées pour corriger ces erreurs, soit en se basant sur des caractéristiques linguistiques, soit en utilisant le résultat de la classification pour valider ou non la segmentation [Britto 2001].

**Extraction des caractéristiques** La phase d'extraction de caractéristiques consiste à représenter l'image sous la forme d'un vecteur caractéristique. Ce vecteur doit être construit de façon à concentrer les informations qui sont discriminantes pour la phase de classification. Cette étape est donc cruciale pour assurer des performances de classification optimales. De nombreuses stratégies d'extraction de caractéristiques ont été développées pour l'analyse d'image de caractères et de mots. La sélection manuelle des caractéristiques consiste à définir une combinaison linéaire de plusieurs descripteurs de l'images, qui peuvent être locaux ou globaux [Kumar 2014]. Les caractéristiques globales représentent l'image dans son ensemble, alors que les caractéristiques locales sont extraites à partir de zones dans l'image, le plus souvent à l'aide d'une grille [Camastra 2007]. Les caractéristiques statistiques permettent de résumer les informations issues de la distribution statistique du signal, comme la distance entre les pixels d'une certaine intensité, le nombre de pixels du premier plan, le nombre de transitions entre pixels blancs et noirs sur une même colonne ou ligne [Camastra 2007; Plötz 2009; Bluche 2013]. Des caractéristiques géométriques peuvent être extraites. On peut citer par exemple les caractéristiques issues de la courbure, des contours, des projections sur les axes x et y [Bluche 2013]. D'autres transformations plus complexes permettent également d'obtenir des informations sur l'image. En particulier, les transformations de Fourier, de Hough, de Gabor, ou de Sobel sont fréquemment utilisées pour l'extraction de caractéristiques dans des images, ainsi que les descripteurs SIFT, SURF ou HoG [Das 2012; Dhaka 2015]. Enfin, le vecteur final peut être optimisé à l'aide de transformations analytiques, telles que l'analyse linéaire discriminante (LDA<fnref n="7" />) et l'analyse en composantes principales (PCA<fnref n="8" />) [Nopsuwanchai 2003; Plötz 2009]. La sélection manuelle de caractéristiques pertinentes est extrêmement longue et complexe à réaliser. En effet, celles-ci doivent être suffisamment variées pour représenter l'image dans le cadre de la tâche à résoudre. Mais l'utilisation

<footnote n="7">7. Pour *Linear Discriminant Analysis* en anglais</footnote>

<footnote n="8">8. Pour *Principle Component Analysis* en anglais</footnote>
d'un trop grand nombre de caractéristiques peut faire chuter les performances du modèle de classification [Kumar 2014].

Pour dépasser ces limites, certains travaux se sont focalisés sur la *sélection automatique* de caractéristiques. LECUN et al. [LeCun 1995] ont été parmi les premiers à proposer un réseau convolutif (CNN) capable d'apprendre une représentation vectorielle caractéristiques de l'image pour la classification d'images de chiffres. L'avantage de cette approche est que le réseau apprend à sélectionner les caractéristiques les plus utiles pour discriminer les différentes classes. En revanche, elle nécessite un grand nombre d'images labellisées, c'est-à-dire dont la classe est connue, car les paramètres du réseau sont appris à partir d'exemples. Une dernière contribution intéressante a été proposée par MASCI et al. [Masci 2011] : les réseaux auto-encoders. Ces réseaux sont non supervisés, c'est-à-dire qu'ils sont capables d'extraire des caractéristiques discriminantes sans labels associés aux images. Un *encodeur* convolutif apprend une représentation vectorielle de l'image, puis un *decodeur* convolutif reconstruit l'image initiale à partir du vecteur caractéristique. Une fois l'apprentissage réalisé, l'*encodeur* permet d'obtenir une représentation vectorielle à la fois compacte et discriminante de l'image initiale. Dans les méthodes les plus récentes, l'extraction des caractéristiques dans des images est majoritairement effectuée à l'aide de réseaux convolutifs. De nombreuses bases de données ont également été proposées [LeCun 2010; Deng 2009; Lin 2014] pour apprendre les modèles à extraire des caractéristiques générales à partir d'images.

**Méthodes de classification** Les vecteurs caractéristiques obtenus servent à alimenter les modèles de classification. Ces modèles appartiennent à la famille des *algorithmes d'apprentissage supervisés*, car ils apprennent à estimer la classe associée à chaque vecteur à partir d'exemples labellisés. De nombreux algorithmes d'apprentissage pour la classification supervisée ont été proposés [Caruana 2006] par la communauté scientifique. Les méthodes les plus couramment utilisées pour la classification de mots ou de caractères sont la méthode des plus proches voisins [LeCun 1995] les machines à vecteurs de support (SVM<fnref n="9" />) [Camastra 2007; Nasien 2010; Ayyaz 2016], les modèles de Markov cachés (HMM<fnref n="10" />) [Britto 2001; Nopsuwanchai 2003; Das 2012], ou encore les réseaux de neurones complètement connectés (perceptrons) [LeCun 1995].

<footnote n="9">9. Pour *Suport Vector Machine* en anglais</footnote>

<footnote n="10">10. Pour *Hidden Markov Models* en anglais</footnote>
**Limites de ces approches** L'approche à l'échelle des mots, qui consiste à segmenter puis classer directement un mot dans un vocabulaire réduit, ne permet pas de traiter des mots hors du vocabulaire appris. Elle est aussi vulnérable à la variabilité des longueurs des mots, car des mots de taille variable doivent être représentés par un vecteur de taille fixe. Ainsi, cette approche est loin d'être satisfaisante. L'approche à l'échelle des caractères consiste à segmenter puis classifier les caractères. Contrairement à l'approche basée sur les mots, cette approche permet de reconnaître des mots hors du vocabulaire d'apprentissage. En revanche, la segmentation en caractères pose problème dans un contexte industriel. En effet, une mauvaise segmentation est une source d'erreur sur la reconnaissance finale, comme illustré dans la figure 2.3. Or, la segmentation en caractères est difficile et coûteuse à réaliser, car elle nécessite une optimisation manuelle qui dépend du style d'écriture. En outre, cette approche est difficilement applicable aux écritures manuscrites cursives, dans lesquelles les tracés et caractères sont liés.

<figure><img src="image_28.png" /><figcaption>**Figure 2.3** – Ambiguïtés liées à la segmentation en caractères : différentes façons de segmenter le mot ont un impact sur la reconnaissance (figure issue de [Plötz 2009])</figcaption></figure>

### 2.3.1.3 Reconnaissance séquentielle des caractères

Pour dépasser ces limites, les méthodes les plus récentes s'orientent vers des approches qui ne nécessitent pas de segmentation des caractères. En effet, ces méthodes effectuent une segmentation implicite pour permettre de reconnaître une séquence de caractères issue d'images de mots ou de lignes de texte. Dans un premier temps, les modèles de Markovs Cachés ont été utilisés avec un mécanisme de fenêtre glissante pour reconnaître une séquence de caractères. Plus récemment, les approches basées sur des réseaux de neurones profonds ont connu un essor considérable, car ceux-ci apprennent à extraire les caractéristiques nécessaires à la reconnaissance. De plus, certaines architectures permettent de modéliser un modèle de langue implicite.

**Modèles de Markov Cachés (HMM)** Les HMM sont des méthodes statistiques utilisées pour la modélisation de séquence, avec des applications dans les domaines de
la reconnaissance de la parole, ou de la reconnaissance de formes [Fink 2007]. Ils ont
été largement utilisés pour la reconnaissance d’écriture sans segmentation explicite, en se
basant sur une fenêtre glissante [Vinciarelli 2002; Plötz 2009; Kaltenmeier 1993; Schwartz
1996]. La fenêtre glissante est appliquée sur l’image de gauche à droite pour suivre le sens
de l’écriture. Sur chaque zone de la fenêtre, des caractéristiques sont extraites grâce aux
techniques détaillées plus haut. En plus des caractéristiques usuelles, certains ajoutent
des caractéristiques heuristiques spécifiques à l’écriture manuscrites, telles les ligatures
entre les lettres, les ascendants, les descendants, les boucles, ou encore les blancs entre
les mots [Plötz 2009; Vinciarelli 2002]. Une fois le modèle appris, la phase de décodage
permet d’obtenir la séquence de caractères prédite à partir de l’image initiale. L’utilisation
de modèles de langue statistiques a permis une première amélioration des systèmes de
reconnaissance. Ces modèles permettent d’estimer des distributions de probabilité sur des
séquences de lettres ou de mots. BAZZI et al. [Bazzi 1999] ont été les premiers à utiliser
ce type d’approche pour corriger la séquence produite par le HMM. Mais les modèles
de langue sont encore plus efficaces lorsqu’ils sont directement intégrés dans la fonction
de décodage du HMM [Marti 2001; Toselli 2004; Vinciarelli 2004]. Enfin, l’hybridation
des modèles de Markov cachés et des réseaux de neurones [Bluche 2013; España-Boquera
2011] a également permis d’augmenter l’efficacité des systèmes de reconnaissance.

**Réseaux de neurones et CTC** La fonction de coût Classification Temporelle Connexionniste (CTC) [Graves 2006] a initié une nouvelle ère dans le domaine de la reconnaissance d'écriture. L'utilisation de la fonction CTC permet aux réseaux de neurones récurrents de générer une séquence textuelle à partir d'une image de mots ou de ligne de texte, sans nécessiter de segmentation explicite des caractères. Une première architecture basée sur un réseau récurrent (RNN), appris avec la fonction de coût CTC, a été proposée par GRAVES et al. [Graves 2009a; Graves 2009b]. Cette architecture est souvent appelée RNN-CTC. Le réseau récurrent, composé de couches Long Short-Term Memory (LSTM), prend en entrée des caractéristiques de l'image [Graves 2009a], ou directement les pixels de l'image [Graves 2009b]. Ce nouveau modèle a permis une réduction de 40% du taux d'erreur, comparé aux approches basées sur les HMM. MENASRI et al. [Menasri 2012] et MOYSSET et al. [Moysset 2014] ont ensuite introduit des architectures CRNN-CTC, en alternant des couches récurrentes et des couches de convolution. L'architecture CRNN-CTC a ensuite été massivement reprise et améliorée, en explorant de nouvelles couches de convolution [Bluche 2017; Dutta 2018], ou des couches de récurrences sur différentes
dimensions [Puigcerver 2017]. Plus récemment, certains travaux ont cherché à se pas-
ser des couches de récurrence [Yousef 2018; Ptucha 2019; Coquenet 2020], car celles-ci
rallongent considérablement le temps de calcul. Ces études ont montré qu'une architec-
ture CNN-CTC peut être aussi performante que CRNN-CTC, mais bien plus rapide. La
dernière grande avancée s'est faite avec l'intégration d'un modèle de langue à ces archi-
tectures [Liu 2015a; Liu 2017]. D'autres contributions ont été proposées pour améliorer
la partie récurrente de l'architecture, notamment avec l'ajout de dropout comme mé-
thode de régularisation [Pham 2013] et l'intégration des couches Gated Recurrent Units
(GRU) [Chen 2017b]. Enfin, certains travaux réseaux ont amélioré cette approche pour
permettre la reconnaissance de lignes de texte courbées [Wan 2019; Wigington 2018a] ou
la reconnaissance de paragraphes [Wigington 2018a; Coquenet 2021].

**Réseaux de neurones avec mécanisme d'attention** Plus récemment, les réseaux Séquence à séquence (seq2seq) avec mécanisme d'attention ont instauré un nouvel état-de-l'art pour des domaines connexes : la traduction automatique [Bahdanau 2015], la reconnaissance de la parole [Chorowski 2015a], et le sous-titrage d'images [Xu 2016]. Ces réseaux ont donc naturellement été adaptés pour la reconnaissance de texte [Chowdhury 2018; Michael 2019]. L'architecture est composée d'un réseau convolutif ou convolutif récurrent, appelé *encodeur*, qui extrait les caractéristiques images, et d'un réseau récurrent, appelé *decodeur*, qui prédit la séquence textuelle caractère par caractère. Un réseau d'attention apprend un alignement entre les pixels de l'image et la séquence de texte correspondante. Ainsi, le vecteur de caractéristiques est pondéré par le réseau d'attention, afin de faciliter la tâche du *decodeur* qui peut se concentrer sur une zone pertinente du vecteur de caractéristiques pour prédire chaque caractère. Une autre force de cette architecture vient du *decodeur*, qui permet d'apprendre un modèle de langue implicite à partir des transcriptions d'apprentissage. Enfin, cette architecture est également modulable. En particulier, il est possible de connecter un *encodeur* à plusieurs décodeurs, ce qui permet de traiter des tâches multiples [Luong 2015a]. DIAZ et al. [Diaz 2021] ont également mené une étude approfondie des différentes combinaisons d'*encodeur* et *decodeur*. Leur analyse met en lumière l'intérêt du mécanisme d'auto-attention, utilisé dans les Transformers, associée à un *decodeur* CTC et à un modèle de langue explicite. Cette architecture Transformer, proposée par VASWANI et al. [Vaswani 2017], repose sur un mécanisme d'attention sans aucune couche de récurrence, et a récemment établi un nouvel état de l'art dans les domaines du traitement du langage naturel et la reconnaissance de la parole. L'avantage
de ces réseaux est qu'ils permettent de paralléliser tous les calculs durant l'apprentissage. Quelques tentatives de reconnaissance d'écriture ont été faites avec cette architecture [Kang 2020a; Diaz 2021], mais l'architecture nécessite un très grand nombre d'exemples d'apprentissage pour dévoiler tout son potentiel.

<figure><img src="image_29.png" /><figcaption>**Figure 2.4** – Illustration des réseaux de neurones pour la reconnaissance d'écriture. Dans ces deux architectures, la phase d'extraction de caractéristiques est généralement faite avec un encodeur CRNN. Dans l'architecture Encodeur-CTC, le vecteur de caractéristiques est décodé grâce au CTC, alors que dans l'architecture Encodeur-Decodeur, le vecteur de caractéristiques est décodé grâce à un réseau récurrent couplé à un réseau d'attention.</figcaption></figure>

## 2.3.2 Logiciels existants

De nombreux logiciels propriétaires ou open-source existent pour reconnaître automatiquement des documents numérisés. Certains systèmes permettent d'effectuer une reconnaissance optique de caractères. La plupart des OCR propriétaires sont capables de reconnaître du texte imprimé. C'est le cas de ABBY FineReader <fnref n="11" />. D'autres outils open-source

<footnote n="11">11. https://pdf.abbyy.com/fr/</footnote>
ne fonctionnent que sur du texte imprimé, comme Tesseract <fnref n="12" /> ou OCR4all <fnref n="13" />, spécialisé dans la reconnaissance de documents anciens imprimés. Google Vision permet également de reconnaître du texte imprimé ou manuscrit. Enfin, deux outils propriétaires permettent de localiser les lignes de texte, de saisir des transcriptions manuelles, ou bien d'appliquer un modèle de reconnaissance existant : Transkribus <fnref n="14" /> et Arkindex <fnref n="15" />. Cependant, ces outils ne sont pas performants sur des registres paroissiaux, en particulier pour ce qui concerne la reconnaissance d'écriture. En effet, la reconnaissance de texte est souvent spécialisée sur de l'écriture moderne, ou sur un style particulier d'écriture ancienne. Ce résultat peut être observé sur la figure 2.5 : les transcriptions réalisées par Google Vision et Transkribus ne sont pas exploitables. Ainsi, il est nécessaire de réaliser un apprentissage spécialisé sur des documents français, manuscrits, et anciens, dont le style d'écriture ressemble à ceux présents dans les registres paroissiaux.

### 2.3.3 Discussion

Les approches nécessitant la segmentation des caractères ou des mots ne sont plus les plus performantes. Elles ont été dépassées par les approches neuronales, plus génériques, qui permettent de traiter directement des images de mots ou de lignes. La tendance actuelle s'oriente d'ailleurs vers une reconnaissance de texte plus complète, à partir d'images de paragraphes [Coquenet 2021] ou de pages [Wigington 2018a], lorsque cela est possible. En effet, la modélisation du langage à cette échelle permet d'intégrer un contexte linguistique plus large à l'échelle des phrases.

Mais en pratique, la plupart des systèmes de reconnaissance de texte actuels s'appliquent à des images de lignes de texte, afin de bénéficier d'un apprentissage par transfert sur les bases de données publiques, qui sont principalement constituées d'images de lignes. De la même manière, la taille de notre jeu de données ne nous permet pas d'envisager une reconnaissance à partir des actes.

Les systèmes basés sur les réseaux de neurones sont actuellement les plus performants : CRNN-CTC, seq2seq, ou Transformers. En particulier, les systèmes basés sur un mécanisme d'attention semblent prometteurs. En effet, le mécanisme d'attention permet au réseau de se focaliser sur différentes zones de l'image, ce qui lui permet d'être plus

<footnote n="12">12. https://github.com/tesseract-ocr/tesseract</footnote>

<footnote n="13">13. https://github.com/OCR4all</footnote>

<footnote n="14">14. https://readcoop.eu/transkribus/</footnote>

<footnote n="15">15. https://teklia.com/solutions/arkindex/</footnote>
<figure><img src="image_30.png" /></figure>

(a) Image

le seEit cospt de piese ege de denx ans ou
fils de srese sandvais et de pesine Pereon 2
de cedés le 3er. quillet 1743 sut inhume le 2e
pas moy Xe. Signe En jesétence de Son per

(b) Transkribus - modèle 1 (Intendants)

e pitit corpt de pieveage de dennant ov
Liss der prieoe Sandact A de perines Pvoc Con
dicede les 3 quillet 1743 fut inhume leste
pad mox R. signe expucte de Comper

(c) Transkribus - modèle 2 (CITLAB)

Ail compides prieve age Je Jeusaur ou wilon
Tils de sucre surddais At de periner free fon Ehr
Decadelzuidet ?y92 fut inainen groupe
par mox Reigne Capdetence de son pere.

(d) Google Vision

Le petit corps de pierre agé de deux ans ou environ
fils de pierre tardvais et de perine froc son epouze
decedé le 3e juillet 1472 fut inhumé le lendemain
par moy Rt signé en presence de son pere

(e) Transcription manuelle

**Figure 2.5** – Évaluation qualitative des moteurs de transcription automatique appliqué à un acte du XVIIIe siècle.
robuste aux déformations (potentiellement aux blancs, aux ratures, aux annotations interligne...). De plus, contrairement aux CRNN-CTC, les réseaux seq2seq et Transformers apprennent un modèle de langue implicite, ce qui s'adapte tout particulièrement aux actes qui contiennent un vocabulaire limité et des structures de phrases récurrentes. Si les performances théoriques des Transformers sont remarquables, il nous semble inenvisageable de les utiliser dans cette thèse, car ils nécessitent une grande quantité de données annotées. Ainsi, il nous semble intéressant d'explorer les réseaux seq2seq pour la reconnaissance d'écriture.

Le chapitre 4 présente l'architecture basée sur un mécanisme d'attention que nous avons adaptée pour la reconnaissance automatique d'écriture manuscrite.

## 2.4 Extraction d'informations pertinentes

La tâche d'extraction d'information consiste à aller au-delà d'une simple reconnaissance de caractères, en associant des catégories sémantiques à chaque mot. Concrètement, cette tâche consiste à reconnaître le texte issu d'un document, mais surtout à associer à chaque mot une catégorie sémantique : lieu, date, nom, prénom...

### 2.4.1 Tâches d'extraction d'information

La tâche d'extraction d'information (IE) consiste donc à combiner dans une même chaîne de traitement les tâches de reconnaissance de texte (HTR) et de reconnaissance d'entités nommées (NER). Ces trois tâches sont illustrées sur la figure 2.6, et détaillées dans la suite du chapitre.

Dans les documents structurés, tels que les tableaux, les formulaires, ou les factures, l'information sémantique peut être dérivée de la localisation des mots. Pour ces documents, il est fréquent d'utiliser des modèles unifiés pour la localisation des mots, leur transcription et leur analyse sémantique [Palm 2019; Yu 2021]. En revanche, pour les documents semi-structurés, comme des actes, la connaissance du contexte doit être déduit de l'analyse linguistique des phrases ou des paragraphes. Par exemple, un nom est généralement placé après un prénom. La compétition ICDAR20217 sur l'extraction d'information dans des actes de mariage [Fornés 2017] a largement contribué au développement de travaux de recherche sur cette thématique.
<figure><img src="image_31.png" /><figcaption>(a) Reconnaissance d'écriture (HTR) à partir d'une image</figcaption></figure>

<figure><img src="image_32.png" /><figcaption>(b) Reconnaissance d'entités nommées (NER) à partir d'un texte</figcaption></figure>

<figure><img src="image_33.png" /><figcaption>(c) Extraction d'information (IE) à partir d'une image</figcaption></figure>

**Figure 2.6** – Présentation des trois tâches pour l'analyse du contenu de documents manuscrits.
Légende : *prénom du fils*, *prénom du père*, *nom du père*

**2.4.2 Méthodologies pour l'extraction d'information**

Trois stratégies ont été considérées pour l'extraction d'information dans ces actes de mariages. La stratégie traditionnellement utilisée est une stratégie séquentielle : le texte est reconnu par un modèle de reconnaissance d'écriture, puis une classification des mots est réalisée grâce à un modèle de reconnaissance d'entités nommées (NER) [Fornés 2017]. Une autre stratégie consiste à classer chaque image de mot dans une catégorie sémantique, avant de procéder à la reconnaissance de caractères [Toledo 2019]. Enfin, une dernière stratégie est une approche conjointe, dans laquelle les deux tâches sont adressées par un modèle unifié de reconnaissance de texte est d'entités nommées [Carbonell 2018; Carbonell 2020].

**2.4.2.1 Reconnaissance de texte avant la classification sémantique**

L'approche la plus utilisée repose sur l'utilisation d'un modèle HTR pour prédire une transcription à l'échelle des caractères, puis sur un modèle de traitement du langage naturel pour classer chaque mot dans une ou plusieurs catégories sémantiques, grâce à des caractéristiques textuelles. L'inconvénient majeur de cette approche est le manque d'information sémantique lors de la transcription. Le contexte ne peut être utilisé qu'en post-processing, à l'aide de modèle de langue basé sur des catégories sémantiques. De nombreuses méthodes ont été proposées dans la compétition ICDAR2021 sur l'extraction d'information dans des documents structurés [Fornés 2017]. Le modèle de base (Baseline-
HMMs) utilise des modèles de Markov Cachés HMM couplé à un modèle de langue n-gram
par catégorie. Une technique d'inférence grammaticale est ensuite utilisée pour fiabiliser
la reconnaissance d'entités nommées. L'équipe de recherche Hitsz-ICRC a développé une
approche capable d'extraire des informations à partir d'images de mots. Un modèle convo-
lutif modélisant les bi-grams permet de reconnaître les caractères, sans modèle de langue
explicite. Puis, les mots sont classés grâce à un champ aléatoire conditionnel (CRF <fnref n="16" />).
Trois variantes d'une même méthode ont été proposées par le groupe de recherche CITlab
ARGUS. Ils proposent d'utiliser un réseau CRNN-CTC pour la reconnaissance optique
de caractères, puis des expressions régulières afin d'extraire les catégories sémantiques.
La première variante (CITlab-ARGUS-1) fiabilise la reconnaissance d'écriture avec un
vocabulaire fermé. Les deux autres variantes (CITlab-ARGUS-2 et CITlab-ARGUS-3)
utilisent un vocabulaire ouvert, mais avec quelques variations dans l'architecture pour
la troisième variante. Plus récemment, une approche a été proposée par PRASAD et al.
[Prasad 2018]. Un réseau de neurones CNN-BLSTM est appris avec une fonction de coût
CTC pour la reconnaissance d'écriture. Puis, une couche BLSTM est appliquée sur le
vecteur de caractéristique, afin de classer chaque mot dans des catégories sémantiques.

2.4.2.2 Classification sémantique avant la reconnaissance de texte

Cette nouvelle approche a été proposée par TOLEDO et al. [Toledo 2019]. Elle consiste
à reconnaître la classe sémantique de chaque mot avant de chercher à le transcrire. Les au-
teurs montrent que le système de reconnaissance d'écriture tire avantage de cette connais-
sance sémantique a priori. Par exemple, si le réseau s'attend à transcrire un nom masculin,
il aura tendance à transcrire le mot « John » plutôt que « born », et ce même si le mot res-
semble plus au mot « born ». Cette stratégie est intéressante pour reconnaître des images
de mots, car chaque image peut être classifiée avant d'être transcrite.

2.4.2.3 Transcription et classification sémantique conjointes

Cette dernière approche a été proposée par CARBONELL et al. [Carbonell 2018]. Leur
méthode consiste à enrichir la transcription avec des tags qui permettent d'identifier les
catégories et les personnes associées aux mots. Les tags sont localisés juste avant les
mots et sont traités par le modèle de la même façon qu'un caractère. Par exemple, le
mot *former* peut être enrichi en <occupation_WF>former afin de signifier que le mot est

<footnote n="16">16. Pour *Conditional Random Field*, en anglais</footnote>
un métier (*occupation*) qui se réfère au père de la mariée (WF pour wife's father). Les mots neutres, qui ne correspondent à aucune catégorie sémantique intéressante ou à aucune personne, ne sont pas associés à des tags. Les auteurs utilisent un modèle CRNN-CTC pour effectuer la transcription automatique. Cette approche est intéressante, car le réseau apprend à extraire des caractéristiques qui sont pertinentes pour la reconnaissance de caractères et la classification sémantique. Ainsi, ces deux types d'informations sont implicitement encodés dans le vecteur caractéristique. Le même auteur a proposé un second modèle unifié capable de produire la transcription, la catégorie sémantique, et la boite englobante de chaque mot dans des images de documents [Carbonell 2020]. Cette approche unifiée est capable de traiter des images de pages, mais nécessite un ensemble d'apprentissage dans lequel la boite englobante de chaque mot est connue.

### 2.4.3 Logiciels existants

Peu de logiciels permettent d'effectuer l'extraction d'informations dans des documents. En revanche, il existe quelques logiciels open source pour effectuer la reconnaissance d'entités nommées à partir de l'analyse du texte.

BERT et ses différentes variantes (CamBERT, RoBERTa) sont des modèles Transformers qui sont pré-entraînés pour différentes tâches de modélisation du langage [Devlin 2019; Martin 2020; Liu 2019].

FLAIR [Akbik 2019] est également un modèle pré-entraîné sur différentes langues, qui permet de modéliser le langage. Il permet par exemple de classer un texte ou de reconnaître certaines entités nommées.

### 2.4.4 Discussion

L'approche traditionnelle séquentielle, qui consiste à reconnaître le texte, puis à reconnaître les entités nommées dans la transcription, paraît envisageable dans notre contexte. En effet, les réseaux HTR et NER peuvent chacun bénéficier d'un apprentissage par transfert, ce qui limite le besoin en données annotées. L'inconvénient majeur de cette approche est que les erreurs de transcription peuvent se propager lors de la phase de reconnaissance d'entités nommées. Au contraire, la seconde approche séquentielle, qui consiste à reconnaître les entités nommées avant la transcription, ne nous paraît pas applicable. En effet, elle est difficilement applicable à des images de lignes, car elle nécessite de connaître les boites englobantes de chaque mot.
La reconnaissance conjointe des caractères et des entités nommées nous semble inté-
ressante. L'extraction de caractéristiques communes à ces deux tâches pourraient profiter
à chacune des tâches individuelles. En effet, la connaissance de l'entité nommée donne un
indice a priori important sur la transcription d'un mot. Réciproquement, la connaissance
de la transcription simplifie la reconnaissance de l'entité nommée. Cependant, l'appren-
tissage de cette architecture nécessite un certain nombre de données annotées. Elle nous
semble donc intéressante, mais difficile à appliquer dans notre contexte.

Les architectures basées sur un mécanisme d'attention nous semblent également perti-
nentes pour l'extraction d'information. En effet, le réseau d'attention peut apprendre à se
focaliser sur différentes zones de l'image. Ainsi, il pourrait apprendre des caractéristiques
visuelles locales et globales pour reconnaître le texte ainsi que les entités nommées à partir
des images de lignes. De plus, la capacité de ces réseaux à traiter des problèmes multiples
en parallèle [Luong 2015a] nous semble intéressante à explorer pour une reconnaissance
conjointe d'écriture et d'entités nommées.

Le chapitre 5 présente nos contributions pour la tâche d'extraction d'information à
partir d'actes de registres paroissiaux.

## 2.5 Stratégies d'apprentissage avec peu de données spécialisées

Dans cette section, nous donnons un aperçu des outils disponibles pour réduire le
besoin en données spécialisées lors de l'apprentissage de modèles de reconnaissance de
documents.

2.5.1 Apprentissage par transfert

L'apprentissage par transfert vise à transférer des connaissances apprises sur une tâche
source vers une tâche cible. Il peut être vu comme la capacité d'un système à reconnaître
et appliquer des connaissances et des compétences, apprises à partir d'un domaine A, vers
un nouveau domaine B.

Classiquement, la plupart des architectures de base pour l'analyse d'image (classi-
fication, reconnaissance de formes ou d'objet, segmentation sémantique, reconnaissance
d'instances) sont d'abord apprises sur une large base de données, telle que ImageNet <fnref n="17" />

<footnote n="17">17. https://www.image-net.org/</footnote>
<figure><img src="image_34.png" /><figcaption>**Figure 2.7** – Illustration du processus d'apprentissage par transfert. Les connaissances apprises sur une tâche *A* sont transférés pour aider à l'apprentissage d'une tâche *B*.</figcaption></figure>

[Deng 2009] ou COCO 18 [Lin 2014]. Ces deux bases de données sont composées de millions d'images naturelles annotées (paysages, personnes, animaux, objets), ce qui permet d'extraire des caractéristiques générales sur les formes, les couleurs, et les textures. Dans un second temps, les systèmes sont spécialisés sur un nouveau domaine (par exemple, la reconnaissance d'écriture), à l'aide d'une base de données plus petite. La spécialisation peut se faire en ré-entraînant tout le réseau, ou bien seulement quelques couches, sur le nouveau domaine.

L'apprentissage par transfert peut également s'effectuer sur le même domaine. Par exemple, un réseau de localisation des lignes de texte peut être pré-appris sur la base de données cBAD [Diem 2017], puis être spécialisé pour la même tâche sur peu d'exemples venant d'une collection différente. De la même manière, un système de reconnaissance d'écriture peut être pré-entraîné sur des bases de données publiques, puis spécialisé sur un petit corpus.

La figure 2.7 schématise ce processus d'apprentissage par transfert.

## 2.5.2 Bases de données publiques

Nous proposons ici un aperçu des bases de données publiques pouvant être utilisées pour un transfert de connaissance.

**Pour la reconnaissance de mise en page** De nombreuses bases de données sont disponibles pour apprendre ou évaluer des modèles de reconnaissance de structure de documents. La plupart d'entre elles sont composées de documents récents et imprimés, souvent avec une mise en page complexe (articles de journaux ou magasine, articles scientifiques).

<footnote n="18">18. https://cocodataset.org/</footnote>
Certaines de ces bases sont complètement synthétiques [Antonacopoulos 2009], tandis que d'autres sont composées de documents réels [Zhong 2019; Li 2020b; Li 2020a]. La base de données MAURDOR [Brunessaux 2014] contient quant à elle des documents manuscrits récents et multilingues, sur lesquels les zones de texte ont été annotées. Quelques bases de données composées de documents historiques ont également été proposées. Il existe trois bases de manuscrits médiévaux, avec des annotations sur les lignes de base [Hazem 2020] ou la segmentation de page [Simistira 2016]. La base de données READ-BAD [Grüning 2017] contient 3021 images de pages de documents anciens, sur lesquelles les lignes de base ont été manuellement annotées. Cette base de données sert de comparaison pour la compétition cBAD [Murdock 2015; Diem 2017; Diem 2019a]. Enfin, la base NewsEye [Michael 2021] est composée de 40 pages de journaux historiques imprimés, sur lesquelles la localisation des lignes de texte et des zones de texte est connue.

Pour la reconnaissance de contenu Quatre bases de données manuscrites peuvent
nous intéresser. Quelques exemples issus de ces bases de données sont présentées dans
la figure 2.8 Certaines bases de données historiques ont été crées afin d'apprendre des
modèles de reconnaissance d'écriture manuscrite ancienne :

— La base de données READ [Strauß 2018], qui contient des documents allemands manuscrits datant du XVᵉ au XIXᵉ siècles. L'écriture est très difficile à déchiffrer.

— La base de données Esposalles [Romero 2013], qui contient des actes de mariage catalans datant du XVIIIᵉ. Les entités nommées sont également annotées sur cette base [Fornés 2017]. En revanche, un seul style d'écriture est représenté (un seul scripteur sur une courte période).

D'autres bases de données modernes sont fréquemment utilisées pour évaluer et comparer
des systèmes de reconnaissances :

— La base de données IAM [Marti 2002] contient des documents manuscrits anglaise.

— RIMES [Augustin 2006] contient des documents manuscrits français.

2.5.3 Augmentation et génération de documents

L'apprentissage d'un réseau de neurones profond sur un petit nombre d'images favo-
rise le sur-apprentissage. Cela signifie que le réseau extrait des caractéristiques pertinentes
uniquement pour le jeu d'apprentissage. Dans ce cas, les performances mesurées sur l'en-
semble d'apprentissage sont bonnes, mais chutent lorsque le réseau est appliqué à un
échantillon de test.
<figure><img src="image_35.png" /><figcaption>(a) Image issue de la base READ [Strauß 2018]</figcaption></figure>

<figure><img src="image_36.png" /><figcaption>(b) Image issue de la base Esposalles [Romero 2013]</figcaption></figure>

<figure><img src="image_37.png" /><figcaption>(c) Image issue de la base IAM [Marti 2002]</figcaption></figure>

<figure><img src="image_38.png" /><figcaption>(d) Image issue de la base RIMES [Augustin 2006]</figcaption></figure>

**Figure 2.8** – Illustration des bases de données pour la reconnaissance de texte manuscrit

**Méthodes de régularisation** L'une des solutions pour remédier à ce problème est d'appliquer des méthodes de régularisation, comme le *dropout*, qui consiste à ignorer certains neurones de façon aléatoire pendant l'apprentissage.

**Augmentation de données** Une autre solution consiste à augmenter artificiellement la taille de l'ensemble d'apprentissage, en appliquant des transformations aux images. Les transformations les plus utilisées en traitement d'image incluent des déformations géométriques, des changements de perspectives, des modifications de couleurs ou de contraste, des rotations, des translations, du rognage et l'ajout de bruit. Cet aspect a été abordé par certains chercheurs pour la reconnaissance de structure de documents [Journet 2017; Grüning 2018] ou la reconnaissance de texte [Wigington 2017; Atienza 2021].

**Génération de données synthétiques** Enfin, la dernière solution consiste à générer des images synthétiques pour augmenter la taille de l'ensemble d'apprentissage. Certaines approches ont été proposées pour créer des pages de documents synthétiques. D'une part, les documents modernes peuvent être générés facilement en format PDF natifs [Biswas 2021b]. JADLI et al. [JADLI 2020] ont utilisé un GAN<fnref n="19" /> pour générer des documents

<footnote n="19">19. Pour *Generative Adversarial Networks* en anglais</footnote>
imprimés. JOURNET et al. [Journet 2017] ont proposé DocCreator<fnref n="20" />, un outil permettant de créer une page de document historique par couche successive. L'utilisateur peut choisir un fond, ajouter des zones de texte ou d'illustration, contrôler le contenu du texte, sa police et sa taille. Il peut également appliquer des dégradations, comme l'ajout de tâches, de caractères fantômes. Enfin, des augmentations peuvent également être appliquées, comme le changement de perspective. Plus récemment, des approches permettant de générer des images de texte manuscrit ont également été développées. KANG et al. [Kang 2020a] ont utilisé des polices manuscrites auxquelles ils ont appliqué des déformations et augmentations. D'autres chercheurs ont tenté d'utiliser des GANs pour générer des images de mots manuscrits [Kang 2020b; Mattick 2021]. Ces approches sont encourageantes pour synthétiser de l'écriture moderne, mais elles ne sont pas encore capables de générer de l'écriture historique réaliste.

## 2.6 Conclusion du chapitre

La reconnaissance automatique de documents passe souvent par trois étapes : la reconnaissance de la structure, la reconnaissance du texte et l'extraction des informations pertinentes. Nous avons présenté dans ce chapitre les méthodes de l'état de l'art qui permettent d'aborder chacune de ces tâches. Si de nombreuses innovations ont eu lieu dans les domaines de la vision par ordinateur et du traitement automatique de la langue, la reconnaissance de document demeure extrêmement complexe.

L'une des tendances actuelles pour le traitement de documents est d'effectuer une reconnaissance complète à partir d'une image de page. En effet, certains systèmes de reconnaissance sont désormais capables de localiser et transcrire les lignes à partir d'images de paragraphes [Coquenet 2021] ou à partir de pages [Wigington 2018a]. Le système de reconnaissance d'écriture apprend alors à segmenter les lignes de manière implicite. Cette dualité entre structure et contenu est également étudiée pour la reconnaissance de documents structurés ou semi-structurés. En effet, certains systèmes tentent désormais de reconnaître dans le même temps la mise en page et le contenu textuel des documents [Boillet 2021b; Yu 2021; Zhang 2021]. Cette approche est intéressante, car la mise en page et le contenu du texte peuvent être liés sémantiquement, en particulier pour des documents comme des journaux, des registres de population, des tableaux, ou encore des courriers. Mais en pratique, peu de bases de données sont intégralement annotées et

<footnote n="20">20. https://doc-creator.labri.fr/</footnote>
transcrites à l'échelle des pages, ce qui rend le développement de ces systèmes unifiés très complexe.

Dans cette thèse, nous nous intéressons à des documents particulièrement difficiles : ils sont manuscrits, anciens, et présentent de nombreuses difficultés de lecture et dégrada-dations. Ainsi, aucun système actuel ne permet de reconnaître les registres paroissiaux. Pourtant, de nombreuses stratégies d'analyse sont encourageantes. En particulier, les ré-seaux de neurones convolutifs et récurrents ont prouvé être capables de reconnaître des mises en page et des contenus textuels difficiles. Mais ces réseaux nécessitent de nom-breuses images d'apprentissage. Or, peu de registres paroissiaux ont été annotés, car leur annotation est très chronophage et nécessite une expertise en généalogie et paléographie. De plus, il n'existe aucune base de données publique qui ressemble suffisamment aux re-gistres paroissiaux, c'est-à-dire composée de documents historiques, français et datant du XVIe au XVIIIe siècle.

Notre travail sera donc axé sur l'apprentissage de réseaux neuronaux avec peu de registres paroissiaux annotés. Dans la suite de ce document, nous présentons nos contributions pour la reconnaissance de registres paroissiaux. Dans le prochain chapitre, nous proposons d'étudier la reconnaissance de la mise en page de ces registres. Dans le chapitre 4 et 5, nous étudions une architecture basée sur un mécanisme d'attention pour la reconnaissance de caractères et d'entités nommées. Enfin, dans le chapitre 6, nous proposons un protocole de génération d'actes synthétiques, afin de réduire le besoin en données annotées.
<figure><img src="image_39.png" /></figure>
# ANALYSE DE STRUCTURE DES REGISTRES PAROISSIAUX

Ce chapitre adresse la question de la reconnaissance de mise en page de registres paroissiaux. Nous proposons de comparer deux types d'approches pour la localisation d'actes dans ces documents. La première approche est entièrement basée sur des réseaux de neurones et permet de localiser les actes par apprentissage. Nous comparons trois architectures pour cette tâche, ainsi que différents scénarios d'apprentissage. La seconde approche que nous proposons est une approche hybride, dans laquelle la localisation des actes est guidée par la détection par apprentissage d'indices visuels structurels, comme les lignes de texte et les signatures. Nous proposons trois variantes de cette méthode hybride. Nous comparons ces deux types d'approches sur des registres paroissiaux français et des registres de mariage catalans. Enfin, nous évaluons leur capacité à apprendre et généraliser à partir de peu de données d'apprentissage. Les résultats montrent que l'approche hybride permet de réduire la dépendance en données d'apprentissage, car les motifs à localiser sont plus simples que les actes. Les travaux présentés dans ce chapitre ont permis la publication de deux articles [Tarride 2019; Tarride 2021c].

## 3.1 Introduction

L'analyse de structure ou de mise en page de documents consiste à séparer les éléments de différentes natures, comme les zones de texte, les zones graphiques et les zones tabulaires. Mais lorsque l'on s'intéresse à des documents complètement textuels, l'analyse de structure consiste principalement à localiser et à séparer les zones de texte cohérentes, c'est-à-dire les lignes de texte ou les paragraphes. Dans le cas des registres paroissiaux, il est particulièrement intéressant de localiser les actes, car ils sont indépendants en termes de contenu. En effet, chaque acte contient des informations relatives à une cérémonie religieuse. Notre objectif est donc d'identifier les actes dans les registres paroissiaux. Pour
cela, nous souhaitons localiser les boites englobantes des actes, comme illustré dans la figure 3.1.

<figure><img src="image_40.png" /><figcaption>**Figure 3.1** – Exemple d'une page de registre et la localisation des actes. Les actes sont représentés par des rectangles qui englobent le texte et les signatures correspondants. Ainsi, les actes peuvent se superposer, notamment lorsque les signatures chevauchent le texte de l'acte suivant. La largeur des rectangles est normalisée sur la largeur de la page.</figcaption></figure>

La localisation automatique des actes dans ces registres a des applications immédiates pour Doptim. D'une part, localiser automatiquement les zones de texte est intéressant dans le cadre de la mise en place d'une interface de visualisation et de transcription collaborative des registres. Dans ce scénario, les utilisateurs n'ont qu'à sélectionner une zone de texte pour corriger sa position et sa taille, ou bien pour saisir la transcription correspondante. D'autre part, la localisation des paragraphes ou des lignes de texte est une étape préalable à l'application de moteurs de reconnaissance de texte. De plus, la connaissance des frontières d'un acte permet d'effectuer des corrections linguistiques au niveau des actes.

Cependant, la détection automatique des actes présente de nombreuses difficultés, dont certaines ont été détaillées dans le chapitre 1. Pour cette tâche, la difficulté majeure est la variabilité des mises en pages, qui est illustrée dans la figure 3.2. En effet, les
caractéristiques visuelles permettant de délimiter les actes sont faibles et inconsistantes
entre les pages. Certaines pages, comme celle de la figure 3.2a, présentent des indices
visuels clairs et stables pour séparer les actes, comme des espacements verticaux entre
les lignes de texte appartenant à des actes différents, des séparations physiques entre les
actes, la présence de signatures, ou encore des alinéas. Au contraire, sur d'autres registres,
comme celui de la figure 3.2b, le texte est écrit avec un espace vertical constant. Seuls les
éventuels retours à la ligne permettent de localiser les actes, mais il est parfois nécessaire de
lire le texte pour en comprendre l'organisation logique. Les actes sont également des objets
structurels complexes, qui sont hétérogènes en termes de longueur et de style d'écriture.
De plus, ils n'ont pas de frontière facilement identifiable. Par conséquent, ils sont difficiles
à reconnaître par un apprentissage automatique réalisé avec peu de données.

En revanche, certains indices visuels nous paraissent utiles pour localiser les actes dans
ces registres. En particulier, la présence de signatures à la fin des actes est un indice
régulier qui permet de repérer la fin d'un acte. D'autres indices visuels apparaissent de
façon plus hétérogène, comme la présence d'alinéa, d'espacement vertical avant chaque
acte, de majuscule en début d'acte, ou bien des annotations marginales sur la gauche
de certains actes. La localisation de certains indices visuels nous semble donc une piste
intéressante pour fiabiliser la localisation des lignes de texte, car elle permettrait de guider
la reconnaissance des actes. Ces indices visuels sont également plus simples à localiser,
car ils sont plus homogènes.

Nous proposons, dans ce chapitre, d'étudier deux stratégies pour la localisation auto-
matique d'actes. La première approche, présentée dans la section 3.2, est basée sur un ap-
prentissage automatique des actes par des réseaux de neurones pour la détection d'objets.
Ces réseaux sont capables d'apprendre les caractéristiques de différents objets apparais-
sant dans des images. Nous souhaitons évaluer la capacité d'un tel réseau à sélectionner
les caractéristiques visuelles pertinentes pour la localisation d'actes, avec peu d'exemples.
Trois architectures sont comparées dans la suite de ce chapitre : YOLOv3 [Redmon 2018],
RetinaNet [Lin 2018] et Mask R-CNN [He 2017]. Nous étudions également différents scé-
narios d'apprentissage et l'impact d'une connaissance a priori sur la localisation des lignes
de texte. Si ces réseaux sont généralement très rapides et performants, ils nécessitent un
grand nombre d'images d'apprentissage, notamment pour apprendre à reconnaître des
objets complexes et hétérogènes comme les actes. La seconde approche que nous propo-
sons dans la section 3.3 est une approche hybride, guidée par l'analyse d'indices visuels
que nous avons sélectionnés. L'idée de cette approche est de tirer parti de l'efficacité des
<figure><img src="image_41.png" /></figure>

(a) Les quatre actes de cette page apparaissent (b) Les dix actes de cette page sont difficilement grâce à la présence de traits séparateurs, d'annotations marginales, et d'un espace il est nécessaire de lire le texte pour comprendre vertical conséquent entre les actes.

l'organisation de la page.

**Figure 3.2** – Deux registres paroissiaux dont la mise en page apparaît plus ou moins clairement. Sur la page de gauche, la mise en page est identifiable sans lire le texte. Sur la page de droite, il est nécessaire de lire le texte pour identifier les actes.

réseaux de neurones pour localiser des indices visuels, comme les lignes de texte et les signatures. Ces indices sont des objets plus simples à reconnaître pour un réseau de neurones. La localisation de ces indices nous permet de reconstruire les actes en utilisant des règles logiques établies grâce à une connaissance a priori sur l'organisation logique des registres. Cette approche hybride est plus complexe et plus lente, mais permet de fiabiliser la reconnaissance. Enfin, dans la section 3.4, nous comparons ces deux approches sur des registres paroissiaux français et des registres de mariage catalans, puis nous évaluons leur capacité à apprendre et généraliser à partir de peu de données d'apprentissage.
## 3.2 Réseaux de détection d'objets pour la localisation d'actes

La bibliographie présentée dans le chapitre 2 montre l'efficacité des réseaux de neurones profonds pour l'analyse de la mise en page des documents. En particulier, des réseaux de neurones de détection d'objets ou de segmentation sémantiques permettent de localiser des objets. La localisation de zones de texte peut s'effectuer à l'aide de réseaux de détection d'objets, qui apprennent à prédire les rectangles englobants des objets. Ces réseaux sont classiquement utilisés pour localiser des zones de texte, graphiques ou tabulaires. Lorsque suffisamment de données d'apprentissage sont disponibles, ils parviennent à reconnaître des mises en page complexes de documents imprimés et manuscrits, avec des performances remarquables [Oliveira 2017; Zhong 2019]. Depuis peu, cette approche est également envisagée pour la reconnaissance de structure de documents historiques et manuscrits [Prusty 2019; Biswas 2021a].

### 3.2.1 Principe

La localisation des actes peut être envisagée par des réseaux de neurones de détection d'objets. Ces réseaux apprennent à identifier et localiser des objets dans des images en estimant les coordonnées de leurs boites englobantes, ainsi que les probabilités associées à chaque classe. Dans le domaine de la reconnaissance de documents, ces réseaux ont été utilisés pour localiser des images, zones de texte, pages dans des documents.

Les actes sont des zones de texte qui partagent des similarités, tant au niveau de la structure (espacement vertical et horizontal, annotations marginales, signatures) que du contenu (structures de phrase et mots-clés récurrents). Ces caractéristiques propres aux actes peuvent être apprises par un réseau de neurones à partir d'exemples vus pendant la phase d'apprentissage. Une fois le modèle appris, il doit être en mesure de reconnaitre et localiser ces caractéristiques sur de nouveaux documents. Le défi d'une telle stratégie est d'apprendre à reconnaître des caractéristiques pertinentes pour les actes en utilisant peu de données d'apprentissage. La difficulté est renforcée par le fait que les actes sont des objets structurels complexes et hétérogènes, dont les rectangles englobants peuvent se chevaucher.

Il existe deux types d'approches pour la détection d'objets dans des images :
— Les approches à deux phases<fnref n="1" /> : une première phase permet de sélectionner des régions d'intérêt, puis une seconde phase permet de localiser les objets de manière plus fine, et d'effectuer la classification. Ces approches sont généralement très précises. Les réseaux RetinaNet [Lin 2018], Fast RCNN [Girshick 2015], Faster R-CNN [Ren 2015], Mask R-CNN [He 2017] appartiennent à cette catégorie.

— Les approches unifiées<fnref n="2" /> : la localisation et la classification des objets sont faites en une seule étape. En conséquence, ces approches sont extrêmement rapides, mais souvent moins précises. Les réseaux SSD [Liu 2015b] et YOLO [Redmon 2015; Redmon 2016; Redmon 2018] appartiennent à cette catégorie.

## 3.2.2 Architectures sélectionnées

Nous présentons chacune des architectures que nous comparons dans ce travail pour la localisation d'actes : Mask R-CNN [He 2017], RetinaNet [Lin 2018] et YOLOv3 [Redmon 2018]. Ces réseaux étaient à l'état de l'art sur la base publique COCO [Lin 2014] en 2019, à l'époque où ces travaux ont débuté. Il nous semble donc logique d'évaluer leur performance sur la tâche de localisation des actes.

### 3.2.2.1 YOLOv3

YOLO est un réseau unifié, dont l'architecture de base a été proposé en 2016 par REDMON et al. [Redmon 2015]. Des versions améliorées ont ensuite été progressivement proposées [Redmon 2016; Redmon 2018]. L'architecture YOLO aborde la tâche de détection d'objet comme un problème de régression, afin de séparer spatialement les boîtes englobantes des objets. Le modèle est capable d'apprendre de façon unifiée grâce à une fonction de coût complexe qui pénalise à la fois la tâche de classification, la tâche de localisation, ainsi que le score de confiance associé à chaque boîte englobante. Cette architecture est simple, précise et peut être utilisée pour une localisation en temps réel. Dans YOLOv3, quelques améliorations sont proposées sur le calcul de la fonction de coût et l'architecture du réseau. En particulier, un réseau convolutif pyramidal est utilisé pour extraire les caractéristiques à trois échelles. La limite de cette architecture est liée à l'utilisation d'une grille : l'image d'entrée est divisée en une grille, où chaque cellule estime la présence d'un seul objet. Ainsi, YOLO impose une contrainte spatiale forte, car il n'est

<footnote n="1">1. Aussi appelées *two-shots*</footnote>

<footnote n="2">2. Aussi appelées *one-shot*</footnote>
pas capable de localiser des objets denses et très proches.

### 3.2.2.2 RetinaNet

RetinaNet [Lin 2018] est un détecteur à une phase. L'architecture du réseau est composée d'un réseau convolutif pyramidal qui calcule des cartes de caractéristiques sur l'ensemble de l'image. Un premier sous-réseau est utilisé pour la classification des objets et un second pour la régression de la boîte englobante. L'amélioration majeure de Retina-Net vient de l'introduction d'une nouvelle fonction de coût, appelée *focal loss*, qui gère le déséquilibre des classes entre les objets d'intérêt et le fond. Cette fonction de coût, basée sur l'entropie croisée, assigne des poids faibles aux exemples correctement classifiés, pour mieux se concentrer sur les zones de l'image les plus difficiles à prédire. RetinaNet a montré sa capacité à égaler la vitesse des détecteurs à une phase, tout en surpassant la précision de nombreux détecteurs à deux phases, notamment Faster R-CNN [Ren 2015].

### 3.2.2.3 Mask R-CNN

L'architecture R-CNN [Girshick 2013] est une approche à deux phases qui a connu de nombreuses améliorations avec Fast R-CNN [Girshick 2015], Faster R-CNN [Ren 2015], puis Mask R-CNN [He 2017]. La première phase de sélection des zones d'intérêt est réalisée par un réseau convolutif pyramidal, qui permet d'extraire des caractéristiques visuelles à différentes échelles de l'image du document, et d'identifier des zones d'intérêt. Ce réseau de sélection de zones d'intérêt est relié à une branche de *détection d'objets* qui effectue la localisation et la classification des zones d'intérêt. Mask R-CNN possède également une autre branche de *segmentation d'instance* permettant d'obtenir une segmentation précise des objets. Au-delà de la segmentation d'instances, Mask R-CNN introduit un processus d'alignement des zones d'intérêt, qui conduit une amélioration significative des performances pour les deux branches. Ainsi, Mask R-CNN dépasse les performances de Faster-RCNN, même lorsque l'on n'utilise pas la branche de segmentation.

### 3.2.3 Protocole d'apprentissage et d'évaluation

Nous présentons ici la méthodologie pour l'apprentissage de ces trois architectures. Notre but est de pouvoir comparer ces trois réseaux pour la détection d'actes.
### 3.2.3.1 Protocole d'apprentissage

**Pre-processing et augmentation** En premier lieu, les images d'entrée sont mises à l'échelle de sorte que le plus grand côté soit égal à 1000 pixels. Des augmentations de données sont effectuées en appliquant des transformations miroir, du bruit gaussien, du flou gaussien. Les images d'entrée sont tirées aléatoirement, ainsi que l'ordre des actes dans les images.

**Apprentissage** Ces trois réseaux ont été pré-entraînés sur la base publique COCO [Lin 2014]. L'apprentissage est ensuite réalisé sur la base de données DLA-BMS-1, présentée dans le chapitre 1, en utilisant une validation croisée à cinq feuilles. Ainsi, le système peut être évalué sur les 200 images (1565 actes) de cette base.

L'arrêt précoce est utilisé pendant l'entraînement afin de régulariser l'apprentissage du modèle : l'apprentissage est arrêté lorsque les performances de validation se dégradent. Les trois réseaux sont implémentés avec Keras, et l'apprentissage est effectué sur une carte graphique NVIDIA RTX 2080 Ti.

**Post-traitement** Pour le post-traitement, les prédicitions avec un faible score de confiance (< 0.5) sont rejetées. Puis, la largeur des actes est ensuite normalisée pour correspondre à la largeur de la page détectée.

### 3.2.3.2 Métriques d'évaluation

La localisation des actes est évaluée grâce à deux métriques.

**Average Precision** Chaque modèle est évalué en utilisant la mesure d'Average Precision (AP), très courante en détection d'objet. L'AP mesure la qualité de détection d'une classe en particulier. La mAP correspond à la moyenne des AP pour chaque classe. Dans notre cas, l'AP et la mAP sont égales, car une seule classe existe. Les zones prédites sont comparées aux zones vérité en utilisant un score de recouvrement, calculé par l'interSECTION sur l'union (IoU<fnref n="3" />), aussi appelé indice de Jaccard. Le seuil τ généralement choisi est τ = 0.5. L'IoU entre deux zones A et B se calcule de la façon suivante :

$$IoU = \frac{|A \cap B|}{A \cup B} \geq \tau$$

<footnote n="3">3. Pour Intersection over Union</footnote>
Celles qui sont correctement détectées, c'est-à-dire qui ont un score de recouvrement supérieur à un seuil fixé, sont considérées comme des zones vraies positives (TP). Les autres zones détectées sont des fausses positives (FP). Enfin, les zones vérité qui n'ont pas été associées à une zone prédite sont appelées les vraies négatives (FN). Ces valeurs permettent de calculer la précision et le rappel.

Toutes les zones prédites sont ensuite classées par score de confiance décroissant. La précision moyenne est ensuite calculée en fonction des labels. Elle correspond à l'aire sous la courbe de la courbe précision *p* en fonction du rappel *r*.

$$AP = \int_{0}^{0} p(r)dr$$

Dans ce travail, nous évaluons l'AP avec deux seuils de recouvrement, l'un à 0.5 (AP@0.50) l'autre, plus strict, à 0.75 (AP@0.75).

**ZoneMap** La métrique ZoneMap [Galibert 2015] a été construite spécifiquement pour la détection et la classification de zones dans des documents scannés, dans le cadre de la campagne d'évaluation Maurdor [Brunessaux 2014]. Les zones références et les zones hypothèses sont associées dans différentes configurations :

- Parfait : une zone référence associée à une zone hypothèse;

- Oubli : une zone référence n'est associée à aucune zone hypothèse;

- Faux positif : une zone hypothèse n'est associée à aucune zone référence;

- Division : une zone référence est associée à plusieurs zones hypothèses;

- Fusion : une zone hypothèse est associée à plusieurs zones références.

Pour chaque configuration, le score ZoneMap caractérise une erreur de surface sur les pixels du premier plan, qui correspondent au texte. Un score ZoneMap parfait correspond à un score de 0. En revanche, ce même score peut devenir arbitrairement grand si des zones larges sont manquées ou faussement détectées. En ce sens, la métrique est difficile à interpréter de manière absolue, mais reste utile pour comparer différentes méthodes sur un même jeu de données.

### 3.2.4 Évaluation des architectures de détection d'objets

Nous comparons ici les performances des trois architectures YOLOv3, RetinaNet et Mask R-CNN. Nous évaluons ensuite certaines configurations d'apprentissage pour la meilleure architecture.
### 3.2.4.1 Comparaison des trois architectures

Dans un premier temps, nous comparons les différents réseaux de neurones de détection d'objets : Mask R-CNN [He 2017], Retina-Net [Lin 2018] and YOLOv3 [Redmon 2018].

Les performances des trois architectures sont présentées dans la table 3.1. Nous observons que YOLOv3 ne parvient pas à apprendre des caractéristiques pertinentes pour la localisation des actes. Le réseau RetinaNet, appris avec sa fonction de coût particulière, obtient des résultats supérieurs mais qui restent insatisfaisants. Le réseau Mask R-CNN surpasse de loin RetinaNet et YOLOv3. La supériorité du Mask R-CNN peut provenir de son mécanisme de proposition des régions d'intérêt. Puis, la branche de localisation et de classification traite ces régions candidates plus finement.

<table><caption>**Table 3.1** – Évaluation quantitative de chaque réseau pour la localisation des actes sur la base DLS-BMS-1 (200 images, 1565 actes)</caption><thead><tr><th>Model</th><th>ZoneMap ↓</th><th>AP@.50 ↑</th><th>AP@.75 ↑</th></tr></thead><tbody><tr><td>Mask R-CNN</td><td><strong>31.9</strong></td><td><strong>86.8</strong></td><td><strong>66.1</strong></td></tr><tr><td>RetinaNet</td><td>47.4</td><td>68.9</td><td>36.5</td></tr><tr><td>YOLOv3</td><td>76.3</td><td>24.3</td><td>0.8</td></tr></tbody></table>

La figure 3.3 montre une illustration des résultats qualitatifs sur une même image pour chaque réseau. La sortie de Mask R-CNN semble proche de la vérité terrain puisque tous les actes sont correctement trouvés. Cependant, le résultat est pénalisé par de petites erreurs de surface, principalement dues à un débordement dans le dernier acte. Cette petite erreur peut être expliquée par la présence de signatures de la page suivante, visibles par transparence. RetinaNet produit des zones de largeur correcte sur les deux pages, mais elles sont très imprécises, avec de grands chevauchements entre deux actes successifs. Il produit également de nombreuses erreurs de fusion. YOLOv3 a du mal à trouver des zones pertinentes, surtout sur la page de droite. La largeur des zones n'est pas cohérente avec les frontières des pages, et de nombreux actes sont manqués ou fusionnés. De plus, les frontières des actes sont très imprécises.

### 3.2.4.2 Expériences supplémentaires sur Mask R-CNN

Les résultats montrent que Mask R-CNN surpasse les autres architectures pour la tâche de localisation des actes. Nous effectuons quelques expériences supplémentaires sur cette architecture pour trouver les conditions optimales de détection des actes. Trois fac-
<figure><img src="image_42.png" /><figcaption>**Figure 3.3** – Évaluation qualitative de la localisation des actes par des réseaux de détection d'objets sur une même image de la base DLA-BMA-1. Chaque acte est illustré par un rectangle de couleur et le score ZoneMap est associé à chaque figure.</figcaption></figure>

teurs sont comparés dans le tableau 3.2.

Dans un premier temps, nous comparons les résultats obtenus par Mask R-CNN avec deux architectures de base pré-apprises sur COCO : ResNet-50 ou ResNet-101. Les performances observées montrent que ResNet-101 permet d'obtenir un petit gain sur les scores ZoneMap et AP. Nous comparons ensuite deux types de stratégies d'augmentation de données. La stratégie *simple* consiste à appliquer des transformations miroirs et du flou gaussien aux images. La stratégie plus *avancée* consiste à combiner aléatoirement des transformations miroirs, du bruit et flou gaussien, des variations de couleurs et de contraste, des transformations affines et des découpages de l'image. Les résultats montrent que la stratégie *simple* suffit pour obtenir de bons résultats, alors que la stratégie *avancée* dégrade fortement les résultats.
Enfin, nous réalisons également des expérimentations sur l'impact des connaissances a priori sur les performances du réseau. Pour cela, nous comparons les résultats obtenus à partir des images brutes (RGB) ou des images contenant les informations sur la localisation des lignes de texte un canal supplémentaire (RGBL), comme illustré sur la figure 3.4. Cette idée est motivée par la structure des actes qui dépend fortement des lignes de texte. Dans l'ensemble, nous constatons que l'utilisation des lignes de texte prédites élimine systématiquement les erreurs récurrentes et réduit le nombre d'actes faux positifs. Cela permet principalement d'éviter des erreurs lorsque le texte de la page précédente ou suivante est visible par transparence.

<figure><img src="image_43.png" /><figcaption>**Figure 3.4** – L'image d'entrée (RGB) est concatenée avec le masque de probabilité des lignes de texte (L) localisées par ARU-Net [Grüning 2018].</figcaption></figure>

<table><caption>**Table 3.2** – Évaluation quantitative des performances de Mask R-CNN pour la détection d'actes sur la base DLA-BMS-1. La meilleure configuration est formatée en gras.</caption><thead><tr><th colspan="3">Paramètres d'apprentissage</th><th colspan="3">Scores</th></tr><tr><th>Architecture de base</th><th>Entrée</th><th>Augmentation</th><th>ZoneMap ↓</th><th>AP@.50 ↑</th><th>AP@.75 ↑</th></tr></thead><tbody><tr><td>ResNet-50 <sup>4</sup></td><td>RGB</td><td>Simple</td><td>31.9</td><td>86.8</td><td>66.1</td></tr><tr><td>ResNet-50</td><td>RGBL</td><td>Simple</td><td>30.1</td><td><strong>91.9</strong></td><td>73.5</td></tr><tr><td>ResNet-101</td><td>RGB</td><td>Simple</td><td>29.6</td><td>88.5</td><td>70.6</td></tr><tr><td><strong>ResNet-101</strong></td><td><strong>RGBL</strong></td><td><strong>Simple</strong></td><td><strong>29.1</strong></td><td>89.6</td><td><strong>73.9</strong></td></tr><tr><td>ResNet-101</td><td>RGB</td><td>Avancé</td><td>39.2</td><td>81.8</td><td>32.2</td></tr><tr><td>ResNet-101</td><td>RGBL</td><td>Avancé</td><td>35.9</td><td>87.1</td><td>38.8</td></tr></tbody></table>
### 3.2.5 Discussion

Cette étude comparative des différents réseaux de détection d'objets met en lumière la supériorité de Mask R-CNN pour la localisation d'actes. Les expérimentations menées sur cette architecture indiquent que l'utilisation d'une architecture profonde permet d'augmenter les scores de reconnaissance. De plus, la connaissance a priori sur la localisation des lignes de texte permet également de réduire les erreurs de segmentation. Mais si les performances quantitatives de Mask R-CNN sont convaincantes, la qualité des résultats ne nous convient pas tout à fait. En effet, les boites englobantes prédites par le réseau sont peu précises, avec des chevauchements importants entre les actes, même lorsque le réseau bénéficie d'une connaissance a priori sur les lignes de texte. De plus, un problème de généralisation se pose : il n'est pas garanti que le réseau parvienne à reconnaître des registres paroissiaux issus d'autres communes ou d'autres époques. Dans la suite, nous proposons une approche hybride qui vise à dépasser les limites principales des approches entièrement neuronales.

## 3.3 Approche hybride pour la reconnaissance de structure

Dans cette section, nous présentons notre contribution principale pour la localisation des actes dans les registres paroissiaux : l'approche hybride. Cette approche est composée de deux phases : en premier lieu, des indices visuels sont localisés par des réseaux de neurones, en second lieu, ces indices visuels sont groupés par des règles logiques, définies selon la structure des registres.

### 3.3.1 Principe

L'équipe Intuidoc a développé un système de reconnaissance de documents : la méthode DMOS (Description et Modification de la Segmentation) [Coüasnon 2006b]. La méthode DMOS a été largement testée et validée sur des collections de document variées, comme des listes de prix boursiers [Guerry 2019] ou encore des cartes historiques [Lemaitre 2021]. Cette méthode se découpe en deux étapes. La première étape consiste à localiser les indices visuels dans les documents : segments verticaux ou horizontaux, composantes connexes... La seconde étape consiste à décrire la mise en page des documents
à partir de ces indices visuels, en définissant des règles logiques décrites dans le langage
EPF.

Afin d'appliquer cette approche à des registres paroissiaux, nous identifions plusieurs
indices visuels importants pour décrire la mise en page des registres : les bords de page,
les lignes de texte, les premières lignes de texte et les signatures. Nous proposons de
localiser ces indices visuels à l'aide de réseaux de neurones. Enfin, nous définissons des
règles logiques qui décrivent l'organisation de la mise en page. Trois variantes de cette
méthode sont envisagées et comparées dans la suite de ce chapitre :

- Une variante basée sur la seule localisation des **signatures**, des lignes de texte, et des bords de page. Dans cette variante, la localisation des signatures permet de repérer la fin des actes;

- Une variante basée sur la seule localisation des **premières lignes de texte** de chaque acte, des lignes de texte, et des bords de page. Dans cette variante, la localisation des premières lignes permet de localiser le début des actes;

- Une variante **mixte**, basée sur la localisation des premières lignes de texte, des signatures, des lignes de texte et des bords de page. Dans cette variante, les informations sur la localisation des premières lignes de texte et des signatures sont combinées afin de fiabiliser la détection des actes. Un aperçu de cette variante mixte est proposé dans la figure 3.5.

<figure><img src="image_44.png" /><figcaption>**Figure 3.5** – Aperçu de méthode hybride **mixte** pour la localisation des actes. Des réseaux de neurones sont utilisés pour localiser des indices visuels : lignes de texte, premières ligne de texte, signatures et les bords de page. Puis, des règles logiques sont appliquées pour grouper les indices qui appartiennent à un même acte. Les frontières des actes sont ensuite extraites en calculant la boite englobante de chaque acte.</figcaption></figure>
Dans la suite, nous présentons l'intérêt des indices visuels sélectionnés, nous détaillons
le processus de localisation des indices visuels, puis nous définissons les règles logiques
utilisées pour décrire la mise en page des registres paroissiaux.

3.3.2 Extraction des indices visuels

Nous présentons les indices utiles pour détecter les actes dans des registres paroissiaux :
les bords de page, les lignes de texte, les signatures, et les premières lignes de chaque acte.

3.3.2.1 Sélection des indices visuels pertinents

Nous détaillons l'intérêt de chacun de ces indices visuels pour la localisation des actes.
Nous présentons également le protocole d'apprentissage pour leur localisation, ainsi que
les potentielles difficultés de reconnaissance.

**Lignes de texte** Les lignes de texte sont la principale composante structurelle des actes, car un acte est une suite de lignes de texte. Leur extraction est donc une étape clé dans la tâche de localisation des actes. Le regroupement des lignes appartenant à un même acte permet de calculer le rectangle englobant de l'acte. La localisation des lignes de texte peut s'effectuer avec des réseaux de neurones de segmentation sémantique. Les lignes sont alors représentées par leur ligne de base, et ces réseaux apprennent à classifier chaque pixel comme appartenant à une ligne de base ou non.

Pour localiser les lignes de base, nous avons sélectionné le réseau ARU-Net, car il permet d'obtenir les meilleurs résultats sur la base de données cBAD [Diem 2017]. Le post-traitement introduit par OLIVEIRA et al. [Oliveira 2018] est ensuite utilisé : les cartes de probabilité sont filtrées à l'aide d'un filtre gaussien et un seuillage par hystérésis est appliqué. Les composantes connexes correspondant aux lignes de base sont ensuite vectorisées en lignes polygonales.

Cette tâche ne présente pas de difficultés majeures, car de nombreux documents historiques hétérogènes sont disponibles dans la base de données cBad [Diem 2019a] pour l'apprentissage de ces modèles. Par conséquent, les systèmes automatiques de reconnaissance de lignes de texte sont généralement très pertinents.

**Bords de pages** Les images des registres paroissiaux n'ont pas été découpées de façon
à ne garder que le document. Ainsi, les supports sur lesquels sont posés les registres sont
visibles. Ce support est variable selon les documents : table en bois, papiers, quadrillage,
autre registre... La localisation des bords de page dans ces images est donc utile, car elle
permet de restreindre la recherche des actes à l'intérieur d'une page. Les bords de pages
sont également utilisés pour normaliser la largeur de chaque acte.

La localisation des bords de page peut s'effectuer de différentes façons. Une première façon de faire consiste à utiliser un seuillage sur les gradients verticaux et horizontaux de l'image afin de mettre en évidence les transitions entre le fond et la page. Une seconde façon consiste à utiliser un réseau de neurones ou de classification sémantique des pixels, comme dhSegment [Oliveira 2018] appris sur la base DLA-BMS-1. En sortie du réseau, chaque pixel correspond à sa probabilité d'appartenir à une page. Les cartes de probabilité sont ensuite seuillées et la localisation du plus petit rectangle englobant permet d'obtenir les coordonnées des bords de page.

La localisation des bords est une tâche relativement simple. En revanche, certains documents sont placés sur un fond de papier, comme sur la figure 3.6, et peuvent ainsi poser des difficultés. En effet, le système doit être capable de localiser les pages principales sur l'image.

<figure><img src="image_45.png" /><figcaption>**Figure 3.6** – Registres pouvant poser des difficultés pour la localisation de bords de page : les documents sont posés sur des supports en papier</figcaption></figure>

**Premières lignes de texte** Les premières lignes de chaque acte constituent un indice visuel majeur dans la compréhension de la mise en page des registres paroissiaux, car elles permettent de localiser le début de chaque acte. Or, les premières lignes partagent des caractéristiques visuelles qui permettent de les identifier en utilisant un réseau de neurones. Ces lignes présentent fréquemment des mots, expressions ou structures de phrase
récurrentes. En particulier, l'acte commence généralement par une date ou un prénom, et la première ligne commence souvent par une majuscule. Enfin, des éléments de mise en page permettent de localiser ces lignes : la présence d'alinéa, d'un espace interligne important, de signatures au-dessus, ou d'annotations marginales sur la gauche. D'autre part, certains mots, expressions ou structures de phrase récurrentes sont fréquemment utilisées par les prêtres dans la première ligne de texte.

La localisation des premières lignes peut s'effectuer par un apprentissage sur la base DLA-BMS-1, de la même façon qu'un système classique de reconnaissance de lignes de texte. Nous comparons trois architectures de réseaux de neurones pour cette tâche : dhSegment, ARU-Net, LARU-Net. Deux stratégies d'apprentissage peuvent être utilisées : la première consiste à localiser uniquement les premières lignes, la seconde consiste à localiser et classifier toutes les lignes. Dans la suite, nous comparons ces deux scénarios d'apprentissage, ainsi que différents algorithmes de post-traitement.

La localisation des premières lignes est complexe à automatiser en raison des confusions possibles entre les différentes lignes. La figure 3.7 donne un aperçu de quelques configurations particulières pour la localisation des lignes de texte. La principale difficulté vient du fait que les premières lignes de texte peuvent facilement être confondues avec les autres lignes de texte. La difficulté est particulièrement importante sur les documents présentant des mises en page serrées, comme dans la figure 3.7a. Dans cet exemple, il n'y a pratiquement aucun espacement vertical entre deux actes successifs, ce qui complique la localisation des premières lignes. Dans la figure 3.7b, le groupe de signatures présente les mêmes caractéristiques qu'une première ligne de texte, avec notamment un espace vertical important au-dessus. Dans la figure 3.7c, la première ligne de texte peut également être manquée à cause de la présence d'un sceau au milieu de la ligne. Enfin, dans la figure 3.7d, une première ligne de texte est barrée, puis réécrite.

**Signatures** L'un des motifs qui apparaît régulièrement dans les registres est la signature du prêtre, et éventuellement des témoins, à la fin des actes. En effet, à partir de 1667, chaque acte est théoriquement signé par le prêtre. Par conséquent, l'extraction des signatures peut donc permettre de localiser la fin de chaque acte. Cette extraction est possible, car les signatures partagent des caractéristiques communes. En effet, les signatures sont souvent localisées à la fin d'un acte, soit à la suite du texte (donc plutôt sur la droite de la page), soit sur une nouvelle ligne. Certaines signatures stylisées se repèrent facilement avec la présence de boucles. D'autres signatures plus simples comprennent le