Traitement des Mots Hors Vocabulaire pour la Traduction Automatique de Document OCR isés en Arabe (This article presents a new system that automatically translates images of A rabic documents) (2017)

Abstract: Cet article présente un système original de traduction de documents numérisés en arabe. Deux modules sont cascadés : un système de reconnaissance optique de caractères (OCR) en arabe et un système de traduction automatique (TA) arabe-français. Le couplage OCR-TA a été peu abordé dans la littérature et l’originalité de cette étude consiste à proposer un couplage étroit entre OCR et TA ainsi qu’un traitement spécifique des mots hors vocabulaire (MHV) engendrés par les erreurs d’OCRisation. Le couplage OCR-TA par treillis et notre traitement des MHV par remplacement selon une mesure composite qui prend en compte forme de surface et contexte du mot, permettent une amélioration significative des performances de traduction. Les expérimentations sont réalisés sur un corpus de journaux numérisés en arabe et permettent d’obtenir des améliorations en score BLEU de 3,73 et 5,5 sur les corpus de développement et de test respectivement.

## introduction ce travail est effectué dans le cadre du projet tridan sur la recherche d'informations dans les documents numérisés multilingues. l'application visée s'adresse à des utilisateurs souhaitant réaliser une requête de recherche d'informations dans leur langue sur des documents (initialement sous forme papier puis numérisés) dans une langue qu'ils ne connaissent pas (recherche d'information cross-lingue à partir de documents papiers numérisés). ce projet vise à mettre au point des techniques permettant un couplage innovant entre la lecture automatique de documents numérisés (lad), la traduction automatique et l'extraction d'informations. cependant, dans cet article, nous considérons seulement le problème du couplage entre les deux premières étapes (traduction automatique de documents ocrisés 1 ). chacune de ces techniques prise séparément a fait récemment l'objet d'avancées technologiques importantes, mesurées par des évaluations internationales et par leur utilisation de plus en plus fréquente dans des applications industrielles. cependant, leur utilisation conjointe dans un système de traitement de l'information intégré permettant l'extraction d'information nécessite une articulation innovante des différentes étapes. les techniques de traduction automatique et d'extraction d'information sont généralement développées pour s'appliquer à du texte électronique qui présente un faible niveau de bruit (fautes d'orthographe, fautes de frappe). l'application de ces techniques sur du texte bruité, issu de la reconnaissance optique de caractères manuscrits ou typographiés, nécessite la prise en compte des erreurs et des incertitudes dans la suite de la chaîne de traitement. ces erreurs d'ocrisation peuvent conduire à l'ajout de mots erronés (qui sont donc considérés comme hors vocabulaire) dans les données à traduire, augmentant ainsi la difficulté de la tâche. les mots hors vocabulaire considérés ici sont donc soit dus à des erreurs d'ocrisation (erreurs de transcription), soit simplement inconnus de notre système de traduction (dus à une couverture insuffisante du corpus d'entraînement de notre système de ta). en revanche, comme nous allons utiliser des plongements de mots dans cet article, il convient de préciser que l'approche proposée ici ne sera pas capable de prendre en compte un autre type de mots inconnus : ceux qui ne possèdent pas de représentation distribuée. contributions. dans cet article, nous proposons un traitement spécifique des mots hors vocabulaire (selon notre définition ci-dessus) en les remplaçant par des mots proches -connus du système de traduction automatique (proches selon un critère composite entre forme de surface et contexte d'utilisation). par ailleurs, nous prenons en compte l'ambiguité du traitement ocr via un graphe de mots qui est proposé en entrée du système de traduction automatique. la combinaison de ces deux approches (remplacement des mots hors vocabulaire et traduction d'un treillis d'hypothèses) permet des améliorations importantes de la qualité de traduction arabe-français mesurée sur un corpus de journaux en arabe numérisés et ocrisés. plan. après une section 2 consacrée à l'état de l'art, nous présentons les corpus et systèmes construits dans la section 3. la section 4 concerne le coeur de notre approche : le traitement des mots hors vocabulaire. la section 5 est quant à elle consacrée aux résultats expérimentaux tandis que la section 6 présente une rapide conclusion.