Décodeur neuronal pour la transcription de documents manuscrits anciens (Neural decoder for the transcription of historical handwritten documents) (2018)

Abstract: L’absence de données annotées peut être une difficulté majeure lorsque l’on s’intéresse à l’analyse de documents manuscrits anciens. Pour contourner cette difficulté, nous proposons de diviser le problème en deux, afin de pouvoir s’appuyer sur des données plus facilement accessibles. Dans cet article nous présentons la partie décodeur d’un encodeur-décodeur multimodal utilisant l’apprentissage par transfert de connaissances pour la transcription des titres de pièces de la Comédie Italienne. Le décodeur transforme un vecteur de n-grammes au niveau caractères en une séquence de caractères correspondant à un mot. L’apprentissage par transfert de connaissances est réalisé principalement à partir d’une nouvelle ressource inexploitée contemporaine à la Comédie-Italienne et thématiquement proche ; ainsi que d’autres ressources couvrant d’autres domaines, des langages différents et même des périodes différentes. Nous obtenons 97,27% de caractères bien reconnus sur les données de la Comédie-Italienne, ainsi que 86,57% de mots correctement générés malgré une couverture de 67,58% uniquement entre la Comédie-Italienne et l’ensemble d’apprentissage. Les expériences montrent qu’un tel système peut être une approche efficace dans le cadre d’apprentissage par transfert.

## introduction la préservation de notre héritage culturel passe par la numérisation de documents historiques. la consultation de ces documents nécessite leur indexation afin de pouvoir y accéder efficacement. pour cela, de nombreuses études interdisciplinaires faisant intervenir conjointement les sciences du traitement automatique des langues, de la reconnaissance des formes dans les documents et de la recherche d'information se sont développées. avec les documents anciens, l'un des enjeux importants concerne les évolutions orthographiques au fil du temps. le problème de la normalisation de ces fluctuations est toujours délicat @xcite . en reconnaissance d'objets, les enjeux sont plus nombreux et divers : détection et segmentation des lignes, détection automatique de mots-clés ou encore reconnaissance d'écriture. ces dernières années, les compétitions tournant autour des documents historiques se multiplient @xcite @xcite . les systèmes doivent s'adapter au support des documents, au niveau de détérioration ou encore au style de l'écriture. tous ces facteurs ont un fort impact sur les systèmes. en reconnaissance d'écriture, les réseaux les plus performants sont construits à partir de réseaux de neurones profonds, et plus récemment, ils intègrent des modèles d'attention comme @xcite . les systèmes de reconnaissances sont construits avec des réseaux multi-dimensionnels utilisant des cellules de type long short term memory (mdlstm), ou encore des réseaux récurrents à convolution (crnn) associés à des réseaux bidirectionnels (blstm) @xcite . ces approches permettent d'utiliser tout le contexte disponible sur les images. cependant, la phase de décodage de ces séquences dépend directement de la taille du vocabulaire utilisé pour construire un modèle de langage ou un dictionnaire. lorsqu'une grande quantité de mots est hors-vocabulaire, les résultats se dégradent. le problème majeur de ces réseaux est la quantité de ressources nécessaire à leur apprentissage. l'étude envisagée concerne la comédie italienne pour laquelle aucune ressource annotée n'est disponible. il n'est donc pas possible de mettre en oeuvre directement un tel type de réseau. l'apprentissage transductif par transfert de connaissance est une approche intéressante dans le cas où il y a un manque, voir une absence de données pour réaliser l'apprentissage d'un système. en effet, cette méthode consiste à utiliser différentes sources de données pour l'apprentissage d'un système dédié à une tâche, et appliquée sur des données différentes @xcite . il est donc possible pour nous à partir de différentes données connues d'annoter des données inconnues. ce procédé est utilisé pour alimenter les systèmes d'apprentissage gourmands dans différents domaines tels que la détection de mot automatique dans les documents historiques @xcite ou pour les modèles multimodaux de traduction @xcite . notre solution est d'utiliser l'apprentissage par transfert de connaissances pour faire de la reconnaissance d'écriture sur ces nouveaux documents. les méthodes standards en traduction automatique utilisent des systèmes de type encodeur-décodeur à partir de réseaux neuronaux récurrents @xcite . le premier élément encode une donnée source d'un langage en un vecteur, et le second élément décode la séquence dans une langue cible. @xcite a proposé un générateur de légendes pour les images constitué de deux réseaux : un réseau à convolution (cnn) pré-entraîné encodant une image dans un vecteur de taille fixe, et un réseau lstm générant la description de l'image. nous avons extrapolé cette approche pour l'appliquer à un système de reconnaissance d'écriture. la représentation intermédiaire retenue en sortie de l'encodeur utilise un espace explicite fondé sur les n-grammes. nous souhaitons en particulier mettre en place un système de type encodeur-décodeur afin de réaliser un apprentissage par transfert à deux niveaux : l'un pour encoder les images de mots et l'autre pour décoder vers le texte. cette étude préliminaire vise à rendre compte de l'efficacité du décodeur à générer des mots issus du vocabulaire de la comédie-italienne de la représentation intermédiaire résultant de l'encodage de l'image. ## modèles pour l'apprentissage par transfert de connaissances nous souhaitons créer un système de reconnaissance d'écriture manuscrite pour des documents multilingues anciens à partir de ressources différentes en termes de langue et d'époque. en se basant sur les travaux réalisés pour la génération de description d'images, le modèle que nous proposons se décompose en deux parties complémentaires (voir figure 1 ) comme @xcite . la première partie a pour but d'encoder l'image d'un mot et de la convertir en un vecteur. la seconde partie, quant à elle, doit décoder ce vecteur pour en générer une séquence de caractères. l'originalité de notre approche réside dans le fait d'utiliser un vecteur de n-grammes comme pivot du système et de supprimer la notion de temporalité entre les caractères d'un mot. ce vecteur permet d'encoder les informations dans un espace non-latent qui est transférable tant que les données d'apprentissage et les données de cible de transfert partagent le même alphabet. une telle approche favorise un apprentissage indépendant des deux parties du système : le modèle optique et le modèle de langage. ## ressources utilisées nous cherchons à réaliser une solution de reconnaissance d'écriture manuscrite sur les registres de la comédie italienne (rci), pour lesquels nous avons peu de données annotées. nous présentons les ressources utilisées pour nos expérimentations. ## conclusion dans cet article, nous nous sommes intéressés à la mise en place d'un apprentissage par transfert pour palier un manque de vérité terrain pour un système de reconnaissance d'écriture manuscrite. contrairement aux travaux état-de-l'art, nous commençons par déconstruire la séquence initiale pour passer par une représentation intermédiaire robuste pour absorber les mots hors-vocabulaires (encodage), puis une séquence plausible est générée (décodage). nos résultats montrent que l'approche est opérationnelle au niveau mot. nous obtenons ainsi des trc supérieurs à 90 % et des trm dépassant la couverture lexicale estimée. le décodeur que nous avons, est simple de part sa construction uniquement 4 couches mais nous obtenons de bons résultats. cela renforce notre idée de rechercher de nouvelles ressources inexploitées au lieu de s'appuyer sur des ressources traditionnellement utilisées telles que wikipedia. dans le but de corriger les différentes erreurs que nous avons listées, des mécanismes d'attention pourraient être appliqués à plusieurs niveaux du système : en entrée de l'encodeur appliqué sur des images de ligne afin de se concentrer sur un mot à la fois, et générer un mot à la fois avec le décodeur ; dans le décodeur pour pouvoir prendre en compte les n-grammes qui ont pu être utilisé à chaque instant t -1 pour générer le nouveau caractère. ces expériences ont été menées uniquement sur des mots et sans ponctuation. la prochaine étape sera donc d'évaluer ce décodeur sur des séquences beaucoup plus longues comme des lignes de titre contenant de la ponctuation.