Simulation d’erreurs d’ OCR dans les systèmes de TAL pour le traitement de données anachroniques (Simulation of OCR errors in NLP systems for processing anachronistic data) (2022)

Abstract: L’extraction d’information offre de nouvelles perspectives au sein des recherches historiques. Cependant, la majorité des recherches liées à ce domaine s’effectue sur des données contemporaines. Malgré l’évolution constante des systèmes d’OCR, les textes historiques résultant de ce procédé contiennent toujours de multiples erreurs. Du fait d’un manque de ressources historiques dédiées au TAL, le traitement de ce domaine reste dépendant de l’utilisation de ressources contemporaines. De nombreuses études ont démontré l’impact négatif que pouvaient avoir les erreurs d’OCR sur les systèmes prêts à l’emploi contemporains. Mais l’évaluation des nouvelles architectures, proposant des résultats prometteurs sur des données récentes, face à ce problème reste encore très minime. Dans cette étude, nous quantifions l’impact des erreurs d’OCR sur trois tâches d’extraction d’information en utilisant plusieurs architectures de type Transformers. Au vu de ces résultats, nous proposons une approche permettant de réduire de plus de 50% cet impact sans avoir recours à des ressources historiques spécialisées.

## introduction contrairement aux documents nés numériques, les textes historiques sont les résultats d'une numérisation massive des ressources historiques. étant donné que cette quantité de documents analogiques est encore assez importante malgré la récente évolution vers la création de documents numériques, des efforts considérables ont été déployés pour transformer ces documents papier en textes électroniques grâce à l'utilisation de système de reconnaissance optique de caractères (ocr). bien que ces logiciels aient continuellement évolué et qu'ils puissent fonctionner correctement sur des textes modernes, leurs performances sur des documents anciens sont réduites par le manque de données d'entraînement sur ces types de documents. les erreurs d'ocr, résultats de ces mauvaises performances, vont d'un caractère incorrect à des mots entiers et, par conséquent, à des phrases incorrectes. de plus, dans le cadre de l'extraction automatique d'information, l'utilisation de systèmes alignés sur les données cibles est d'une importance capitale pour obtenir des résultats adéquats. cependant, annoter des données est très coûteux. le transfert de domaine est alors une approche rentable permettant de réduire considérablement l'effort humain. la majorité des systèmes actuels d'extraction d'information s'appuient sur des données annotées modernes. l'utilisation de ces ressources annotées contemporaines (ontonotes, conll) ou de modèles prêts à l'emploi (spacy, stanford nlp) est encore aujourd'hui l'approche principale au sein des applications d'extraction d'information pour les sciences humaines et sociales. de ce fait, de nombreux travaux ont étudié l'impact des entrées bruitées sur la recherche d'information et le traitement du langage naturel. cet impact négatif motive l'amélioration des systèmes d'ocr, la correction automatique ou la mise en place de système de tal robuste face à ce type d'erreur afin d'obtenir de meilleures performances lors de l'utilisation de ressources contemporaines pour le traitement des données historiques. l'objectif de cette étude est d'évaluer la robustesse des modèles récents face aux erreurs d'ocr. suite à cette évaluation, nous proposons une solution permettant de réduire l'impact des entrées bruitées sur ces modèles, grâce à une simulation des erreurs d'ocr lors de l'apprentissage des systèmes d'extraction d'information. comparé aux autres approches cherchant à rendre les modèles plus robustes aux erreurs d'ocr et où les évaluations sont généralement effectuées sur une tâche et un jeu de données particulier ; nous proposons une approche indépendante des données ou de la tâche, s'appuyant sur des connaissances a priori sur les données que l'on souhaite traiter. nous avons évalué cette approche sur la tâche de reconnaissance d'entité nommée (ner), l'étiquetage des parties du discours (pos) et l'extraction d'arguments d'événement (ae) sur plusieurs jeux de données en utilisant les architectures récentes des transformers. nos résultats montrent qu'une adaptation appropriée des données d'entraînement permet de réduire de 48% à 73%, en fonction de la tâche et du jeu de données, l'impact des erreurs d'ocr. ## travaux connexes de nombreux travaux ont étudié l'impact des entrées bruitées sur le traitement du langage naturel. @xcite a expérimenté la reconnaissance de noms de personnes dans des textes ocr bruités à l'aide d'un modèle de markov basé sur un dictionnaire, un modèle basé sur des regex, un modèle de markov à entropie maximale et un modèle crf, et a évalué les résultats par rapport à des données de test étiquetées manuellement. @xcite a construit un système de ner basé sur des règles pour reconnaître les noms de lieux et de personnes dans les documents numérisés en se concentrant sur les problèmes causés par le niveau élevé de variance dans l'utilisation des lettres majuscules initiales des mots, ainsi que sur les problèmes liés à l'utilisation de la technologie ocr. @xcite a évalué quatre outils de ner sur des textes historiques, dont opennlp @xcite et stanford ner. ils ont montré que le système ner de stanford avait la meilleure performance globale. rodrigues alves et al. (2018) montrent que l'incorporation de mots au niveau des caractères, combinée avec un modèle bi-lstm-crf, peut aider à réduire l'impact des erreurs d'ocr et à traiter les mots rares dans les livres et revues savantes du 19-21c. le ner n'est pas la seule tâche affectée par ce type d'erreur. @xcite révèlent que le taux d'erreur de l'étiqueteur en partie de discours augmente linéairement avec celui de la sortie ocr. à partir de 5% de taux d'erreurs de caractères, les étiqueteurs en partie de discours subissent une dégradation significative de performances sur les données anglaises et allemandes. il en va de même pour le résumé automatique @xcite . en outre, il a été prouvé que les erreurs d'ocr ont une influence négative sur la détection des limites de phrases @xcite @xcite , sur la modélisation des sujets qui découvre les sujets abstraits latents dans une collection de documents d'entrée @xcite , sur l'analyse des sentiments, sur la classification des textes @xcite , et sur la liaison des entités nommées qui relie les entités nommées aux bases de connaissances externes @xcite . plus récemment, @xcite appliquent un modèle transformer bert multilingue, pré-entraîné sur de grandes quantités de données historiques allemandes non étiquetées, puis affiné sur plusieurs jeux de données ner. ils montrent qu'un modèle bert correctement pré-entraîné offre de bonnes performances dans une variété de contextes. cependant, malgré ces évolutions récentes offrant des perspectives prometteuses, l'utilisation des représentations de mots, telles que bert, est encore en questionnement, car sa capacité à gérer des données bruitées reste un point à clarifier quant à sa robustesse @xcite . finalement, @xcite ont étudié l'évolution des performances des systèmes de ner sur des données bruitées par l'ocr en utilisant des systèmes de ner s'appuyant sur les réseaux de neurones les plus récents. ils montrent que la précision du ner chute de 90% à 50% lorsque le taux d'erreur sur les mots passe de 8% à 50%. additionné à ces approches, de nouvelles campagnes d'évaluations se sont focalisées sur le traitement de textes historiques. hipe @xcite est une campagne d'évaluation du traitement des entités nommées sur des journaux historiques en français, allemand et anglais, qui vise à renforcer et à comparer la robustesse des approches sur des entrées non standard. en comparaison à ces travaux, nous étudions la robustesse des modèles récents de tal, sans les modifier, face aux erreurs d'ocr. nous montrons que sans chercher à corriger ces erreurs, les modèles récents sont robustes lors d'un apprentissage sur des données similaires. ## jeu de données dans cette étude, nous avons utilisé quatre jeux de données permettant de couvrir trois tâches différentes. pour le ner, tâche qui consiste à rechercher des objets textuels catégorisables dans des classes telles que noms de personnes, noms d'organisations, noms de lieux, etc, trois jeux de données sont utilisés. ontonotes 5.0 (weischedel et al., 2013) est un jeu de données en anglais, en arabe et en chinois, composé de textes provenant d'une grande variété de sources. le jeu de données comprend 18 catégories d'entités nommées. étant l'une des majeures sources contemporaines concernant le ner, son utilisation permet d'avoir une bonne estimation comparée à l'utilisation de systèmes prêts à l'emploi. litbank @xcite et ace 2005 @xcite sont deux jeux de données partageant le même guide d'annotation dans deux domaines différents. cet alignement permet d'évaluer un transfert de données contemporain vers le domaine historique. litbank est un ensemble de données annotées de 100 textes littéraires de langue anglaise du domaine public provenant du projet gutenberg. tous les textes ont été publiés avant 1923. la majorité des textes ayant été publiées entre 1852 et 1911. ace a été développé par le linguistic data consortium (ldc) et contient environ 1 800 documents de textes de genres mixtes en anglais, arabe et chinois annotés pour les entités, les relations et les événements. ces documents datent de 2003 à 2004. pour le pos, nous avons réalisé des expériences sur le wall street journal du jeu de données penn treebank @xcite . l'extraction d'arguments d'événement (ae) consiste à identifier et à classifier le rôle des arguments (lieu, participants, date, etc.) liés à un événement. cette tâche est évaluée sur le jeu de données ace. toutes les expériences ont été réalisées sur la partie anglaise de ces jeux de données. du bruit sur les tâches tal, nous avons décidé de simuler les erreurs ocr, pour l'appliquer sur plusieurs jeux de données, avec différents niveaux de bruit et sur plusieurs tâches. en suivant les travaux précédents de @xcite , nous modifions la séquence de caractères originale en supprimant, insérant et substituant des caractères à l'intérieur de celle-ci. les probabilités d'erreurs sont calculées à partir du corpus icdar-17 @xcite , qui contient à la fois des ocr de plusieurs systèmes et des textes de référence. provenant de trois collections digitales de presses anglaises, de la british library, allant de 1744 à 1911, les données de ce corpus sont similaires à ce que peuvent traiter les historiens. de plus, avec ses six millions de caractères résultant de l'ocr alignés sur leurs valeurs de références, l'utilisation de cette source est raisonnable afin d'obtenir une distribution d'erreurs d'ocr. cette approche permet de contrôler la quantité de bruit appliquée au jeu de données, simulant ainsi différents paramètres de difficulté de l'ocr. trois tâches, la reconnaissance d'entités nommées, l'étiquetage de parties du discours et l'extraction d'arguments d'événements, sont évaluées face à l'impact du bruit envers les modèles récents de tal. dans un premier temps, nous avons évalué trois modèles dans un scénario de transfert, où ces modèles sont appris sur une tâche de ner sur ace et évalués sur litbank avec différents niveaux de bruit. la quantité de bruit varie de 0% à 10% calculée comme le taux d'erreur sur les caractères (cer). les résultats sont présentés dans le tableau 1. cer bert-hist bert charbert 0% 63.91% 70.44% 67.38% 1% 64.37% 67.73% 66.17% 2.5% 61.61% 64.03% 63.86% 5% 58.29% 57.81% 60.58% 10% 47.71% 47.76% 48.50%