Exploiter des modèles de langue pour évaluer des sorties de logiciels d’ OCR pour des documents français du XVII e siècle () (2020)

Abstract: Pour comparer deux sorties de logiciels d’OCR, le Character Error Rate (ou, CER) est fréquemment utilisé. Moyennant l’existence d’une transcription de référence de qualité pour certains documents du corpus, le CER calcule le taux d’erreurs de ces pièces et permet ensuite de sélectionner le logiciel d’OCR le plus adapté. Toutefois, ces transcriptions sont très coûteuses à produire et peuvent freiner certaines études, même prospectives. Nous explorons l’exploitation des modèles de langue en agrégeant selon différentes méthodes les probabilités offertes par ceux-ci pour estimer la qualité d’une sortie d’OCR. L’indice de corrélation Pearson est ici utilisé pour comprendre dans quelle mesure ces estimations issues de modèles de langue co-varient avec le CER, mesure de référence.

## introduction les campagnes de numérisation des collections patrimoniales s'installent à la frontière de deux enjeux relatifs aux documents historiques : leur pérennisation et leur accessibilité. la bibliothèque nationale de france, qui a commencé la numérisation de ses fonds au début des années 1990 (avec l'arrivée de gallica en 1997 @xcite ), et la bibliothèque mazarine, qui a engagé en 2014 la numérisation de sa collection d'incunables et en 2015 celle de ses mazarinades 1 , sont ici exemplaires. au-delà de la construction d'éditions web, la numérisation de telles collections rend possible leur exploitation automatique à grande échelle, moyennant une transcription de leur contenu textuel. ceci constitue un réel intérêt, tant pour la communauté savante que pour le grand public. toutefois, deux problèmes majeurs se posent. d'une part, les logiciels de reconnaissance optique de caractères (ou ocr), s'ils offrent des transcriptions automatiques de qualité pour des documents contemporains générés électroniquement, sont nettement moins robustes face à des documents historiques. @xcite , pour le « corpus » des mazarinades, exposent un ensemble d'éléments rendant l'étude de ces documents historiques particulièrement complexe : variantes graphiques, abréviations, orthographe erratique mais aussi un « état inégal de conservation @xcite imprimés souvent produits dans l'urgence et l'économie de moyens (papier et encre de mauvaise qualité, notamment) ». d'autre part, et s'agissant de processus automatisés, la connaissance de la qualité des sorties des logiciels d'ocr est primordiale. néanmoins, l'évaluation d'outils d'ocr n'est pas stable d'un corpus à l'autre, car elle fait intervenir des corpus particulièrement hétérogènes @xcite . mesurer la qualité d'une sortie d'ocr nécessite alors, au moins pour un ensemble réduit de la collection à numériser et à océriser, une transcription manuelle et certaine à laquelle les sorties d'ocr seront comparées ; et ce, dès lors qu'une nouvelle collection est à océriser. or cette transcription de référence, qu'on appelle vérité de terrain @xcite , est coûteuse à constituer ce qui limite d'autant la quantité de données disponible pour l'évaluation. ainsi, estimer la qualité des sorties de logiciels d'ocr sans vérité de terrain permettrait d'opter à moindre coût pour un logiciel d'ocr adapté. il s'agit donc d'une démarche d'évaluation non supervisée. dans cet article, nous proposons i) d'apprendre des modèles de langue sur un corpus en français pré-classique (xvii e siècle), ii) de parcourir des sorties de logiciels d'ocr par fenêtre glissante en récupérant les probabilités de chaque modèle de langue de rencontrer une telle séquence de caractères pour enfin iii) estimer la qualité de ces sorties d'ocr. différentes méthodes d'agrégation des probabilités précitées sont proposées pour estimer la qualité globale des pages océrisées. l'étude des corrélations entre ces estimations et les cer 2 (pour chaque page du corpus) permettra de valider ou réfuter la pertinence de ces estimateurs sur le corpus de l'étude. après l'exposition de plusieurs méthodologies d'estimation non supervisée de la qualité de sorties d'ocr (section 2), nous décrivons le cadre expérimental de notre étude, où le corpus, les modèles de langue et les méthodes d'agrégation de leurs probabilités sont décrits (section 3). nous présenterons finalement les résultats de l'expérimentation en section 4. ## estimer la qualité de sorties de logiciels d'ocr pour évaluer des sorties d'ocr en échappant à la fastidieuse transcription des imprimés, plusieurs méthodes conduisent à la création de nouvelles mesures d'évaluation. celles-ci sont comparées à des mesures de référence (le cer ou la précision), calculées grâce à des vérités de terrain, pour valider ou réfuter leur pertinence. exploiter des ressources lexicales @xcite proposent d'estimer la qualité d'une sortie d'ocr en exploitant la lexicalité de celle-ci. la lexicalité est calculée en faisant la moyenne, pour chaque token observé dans la sortie d'ocr, des distances de levenshtein entre ces tokens et leur supposé équivalent moderne le plus proche (supposé car la relation entre deux formes de deux états différents d'une même langue n'est pas nécessairement bijective). il est montré que cette lexicalité 2. character error rate. exploiter les valeurs de confiance des logiciels d'ocr une autre voie empruntée par @xcite est de mettre à profit les valeurs de confiance des logiciels d'ocr. ceux-ci renvoient en effet une valeur correspondant à l'intensité de la confiance que le logiciel associe au caractère qu'il propose. dans le cas d'une hésitation entre deux caractères proches (par exemple, g et o), le conflit est traduit par deux valeurs de confiance similaires et plus faibles que dans le cas d'une certitude pour un caractère en particulier. les auteurs supposent que « la somme des valeurs de confiance associées aux caractères de sortie doit ainsi être corrélée avec la précision de la sortie d'ocr » foot_0 et le vérifient très nettement. exploiter les bounding boxes avant de proposer un ensemble de caractères, les logiciels d'ocr segmentent les images proposées à l'océrisation. ces segmentations (en colonnes, en lignes, en mots ou encore en caractères) apparaissent pour @xcite comme de bons indicateurs pour estimer la qualité d'une sortie d'ocr. en effet, s'agissant d'un processus en cascade, si la segmentation fait défaut, l'océrisation en pâtira largement. en recueillant les informations graphiques associées aux objets résultant de la segmentation (les bounding boxes), les auteurs proposent d'apprendre un modèle de classification permettant de distinguer deux types de bounding boxes : les bounding boxes pertinentes (bbs) et les bounding boxes non pertinentes (noise bbs) foot_1 . le calcul de cet estimateur se réalise ensuite en comptant la proportion des noise bbs. il est conclu que cette proportion de noise bbs permet d'estimer de manière satisfaisante la qualité globale d'un document océrisé mais aussi d'en identifier les passages bruités. exploiter les modèles de langue les modèles de langue, appris au grain mot, sont fréquemment utilisés en reconnaissance de la parole. @xcite ont proposé d'utiliser les modèles de langue non pas pour corriger en post-traitement les sorties de reconnaissance d'un flux de parole mais pour estimer la qualité de cette sortie. la perplexité et ses dérivés (comme la log-perplexité) y apparaissent fortement corrélées au word error rate (le taux d'erreur mot, ou, wer) avec, pour le premier jeu de données de leur étude, une relation presque parfaitement linéaire. néanmoins, pour l'évaluation de sorties d'ocr, les modèles de langue ne semblent pas avoir encore été testés. utiliser des pseudo-vérités de terrain (ul-hasan et al., 2016) proposent d'utiliser la sortie d'un logiciel d'ocr (en l'occurrence, tesseract) comme une pseudo-vérité de terrain sur laquelle est appris un premier modèle. si l'objectif de ce travail n'est pas d'estimer la qualité d'une sortie d'ocr, les auteurs se soucient du manque de transcriptions à disposition et atteignent avec ces pseudo-vérités de terrain des précisions de l'ordre de 95% sur des documents imprimés du xvii e siècle. comme @xcite , nous proposons d'utiliser des modèles de langue (mais appris au grain caractère) pour évaluer les sorties des logiciels d'ocr. il s'agit de récupérer une probabilité pour chaque caractère (voir sous-section 3.4), d'agréger ces probabilités et d'observer, comme (springmann et al., 2016), s'il existe une corrélation entre ces agrégations et la mesure de référence cer. 3 cadre expérimental dans cette section, nous décrivons le corpus de notre étude, la méthodologie et les logiciels d'océrisation, les modèles de langue appris et les mesures d'évaluation à comparer au cer. 3.1 un corpus d'oeuvres françaises du xvii e siècle titre auteur date domaine nb pages nb lignes nb mots oraisons funebres bossuet 1683 théologie 27 770 4 128 la pucelle... chapelain 1656 poésie 28 753 4 735 advis sur la peste ellain 1606 science 22 618 3 168 egalite des hommes et des femmes gournay 1622 philosophie 31 825 4 284 la maniere d'amolir les os… papin 1682 science 23 548 2 230 experiences nouvelles… pascal 1647 science 39 776 3 568 introduction à la vie devote sales 1641 théologie 25 618 3 915 oeuvres completes (tome ii.) viau 1623 poésie 33 852 4 055 ## expérimentations et résultats pour calculer les métriques d'estimation de la qualité de l'ocr sur une page du corpus, on calcule ces métriques pour chaque mot de la page et on en fait la moyenne. afin de confirmer ou réfuter l'intérêt de ces métriques, un calcul de corrélation pearson 12 est réalisé avec le cer. si une ou 11. la tokenisation est réalisée par une simple segmentation par l'espace des chaînes de caractères. 12. en tant que normalisation des covariances, le coefficient de corrélation exprime à quel point deux variables sont liées. ce coefficient étant une normalisation, il appartient à l'intervalle [-1; 1] ; les corrélations positives indiquent que les deux variables évoluent dans le même sens et les corrélations négatives qu'elles évoluent dans un sens opposé. plus une corrélation est proche de 1 ou -1, plus le lien entre les deux variables est fort ; au contraire, plus la corrélation est proche de 0, plus ce lien se dissipe.