Brevet FR3117247A1 — publié le 20220610

PROCEDE ET SYSTEME D’EXTRACTION ET DE LECTURE DE DONNEES D’UN DOCUMENT PHYSIQUE L’invention concerne un procédé et un système d’extraction de données d’un document physique dans lesquels : après détection d’une face du document physique on repère le document dans un espace 3D (21), on calcule plusieurs coordonnées (C 11 , C 12 , C 13 , C 14 ) bornant le document physique dans l’espace, on projette lesdites coordonnées (C 11 , C 12 , C 13 , C 14 ) sur un plan 2D de l’écran d’un terminal mobile, pour obtenir de nouvelles coordonnées en deux dimensions (C 21 , C 22 , C 23 , C 24 ), (23), on corrige la perspective afin d’obtenir une image rectangulaire proportionnelle au format du document physique, (24), on divise l’image du document physique en plusieurs sous-images définies selon des zones d’intérêts prédéfinies, (26), on améliore la qualité de l’image de chacune des sous-images, (27), on détermine les erreurs de reconnaissance optique après plusieurs itérations (28) et on présente les données extraites en utilisation une méthode de réalité augmentée. Figure pour l’abrégé : Fig.4 PROCEDE ET SYSTEME D’EXTRACTION ET DE LECTURE DE DONNEES D’UN DOCUMENT PHYSIQUE L’invention concerne un procédé et un système permettant l’extraction automatique de données contenues dans un document physique par présentation à un terminal mobile intelligent. Par exemple, l’invention peut être utilisée pour extraire des données d’identité contenues ou présentes sur une carte d’identité ou un passeport en utilisant un terminal mobile, ledit terminal mobile étant pourvu d’une caméra pour la prise de vue du document physique présenté par le titulaire et d’une application configurée pour reconnaître les données contenues dans le document. Elle s’applique aussi pour un permis de conduire, un permis de séjour ou tout autre document contenant des données d’identité. Différentes solutions pour lire et extraire des données d’un titre physique sont connues de l’art antérieur. Par exemple, la demande de brevet WO 2019133779 décrit un procédé d’extraction de données par la technique de lecture de reconnaissance de caractères de type OCR (Optical Character Recognition). Le titulaire d’un titre est guidé par un dispositif « guide de capture d’image », afin que le titre physique soit bien aligné dans un cadre de visée qui permet la lecture et l’extraction des données, tout en évitant les problèmes dus à des effets de réflexion de lumière ou à une position incorrecte du document par rapport à l’objectif. Le brevet US 10 534 954 divulgue un procédé qui permet d’associer un individu à une photo présente sur un document d’identité en mettant en œuvre la technique de réalité augmentée. Dans la suite de la description, par souci de simplification d’écriture, les expressions « terminal mobile intelligent » et « terminal mobile » désignent un même objet qui est par exemple un Smartphone, une tablette, une surface, ou tout autre dispositif pourvu d’une application configurée pour exécuter les étapes du procédé selon l’invention et d’un moyen de lecture des données d’identité inscrites au niveau du document. L’idée de la présente invention est de proposer un procédé et un système permettant d’extraire de façon automatique des données contenues dans un titre physique contenant des informations d’identité. L’invention concerne un procédé d’extraction de données contenues dans un document physique, au moyen d’un terminal mobile pourvu d’une application de reconnaissance configurée pour lire et extraire lesdites données, ledit terminal mobile étant équipé d’un dispositif de prise de vue et d’un écran caractérisé en ce qu’il comporte au moins les étapes suivantes : - Détecter au moins une première face F1 du document physique Id à l’aide du dispositif de prise de vue, - Repérer le document physique Id dans un espace à trois dimensions, afin de déterminer la position et l’orientation dudit document physique par rapport au centre O de l’écran du terminal mobile, et déduire une matrice d’altitude, - Calculer à partir des éléments de la matrice d’altitude et du centre O, plusieurs coordonnées (C 11 , C 12 , C 13 , C 14 ) bornant le document physique dans l’espace, - Projeter lesdites coordonnées (C 11 , C 12 , C 13 , C 14 ) sur un plan en deux dimensions de l’écran du terminal mobile, pour obtenir de nouvelles coordonnées en deux dimensions (C 21 , C 22 , C 23 , C 24 ) définissant les limites du document sur ledit écran, - Appliquer une correction de perspective transformant lesdites cordonnées en deux dimensions (C 21 , C 22 , C 23 , C 24 ) afin d’obtenir une image rectangulaire proportionnelle au format du document physique, - Générer une information de la bonne détection du document physique, sur l’écran du terminal mobile, - Diviser l’image du document physique en plusieurs sous-images définies selon des zones d’intérêts prédéfinies, - Améliorer la qualité de l’image de chacune des sous-images, au moyen de filtres, - Réitérer lesdites étapes et vérifier les résultats obtenus par les itérations, afin de déterminer les erreurs de reconnaissance optique, - Utiliser une méthode de réalité augmentée pour présenter les données sur l’écran du terminal intelligent. On détecte par exemple le document physique en utilisant un modèle M issu de la technique d’apprentissage automatique et mémorisé au niveau du terminal mobile. Une technique de transformation géométrique est utilisée pour l’étape de correction de perspective. L’étape de projection des coordonnées sur un plan en deux dimensions est, par exemple, réalisée à l’aide d’une matrice d’attitude, en utilisant des paramètres de roulis, tangage et lacet. Le nombre d’itérations peut être choisi en fonction de la puissance de calcul du processeur équipant le terminal mobile. Les résultats obtenus après chaque itération sont, par exemple, soumis à des algorithmes de comparaison de chaînes de caractères afin de réduire les erreurs de reconnaissance optique de caractères. Au moins une des faces du document est détectée au moyen d’une caméra équipant le terminal mobile. L’invention concerne aussi un système d’extraction de données contenues dans un document physique au moyen d’un terminal mobile équipé et d’un dispositif de prise de vue et d’un écran, d’un processeur configuré pour exécuter l’application de reconnaissance en exécutant les étapes du procédé selon l’invention. L’invention peut être mise en œuvre par un téléphone mobile intelligent. D’autres caractéristiques, détails et avantages de l’invention ressortiront à la lecture de la description faite en référence aux dessins annexés donnés à titre d’exemple illustratifs et non limitatifs et qui représentent, respectivement : , Une illustration d’un système permettant la mise en œuvre du procédé selon l’invention, , une illustration des coordonnées, , une vue de face de la représentation du document sur un écran de terminal mobile, , Un exemple d’enchaînement des étapes du procédé d’extraction des données contenues dans un document physique. L’exemple qui suit pour illustrer le procédé selon l’invention est donné pour une extraction de données contenues dans une carte d’identité. Sans sortir du cadre de l’invention, un homme du métier pourra appliquer les étapes décrites ci-après à l’extraction de données contenues dans tout titre physique sur lequel sont imprimées des informations, ces dernières se présentant sous la forme d’images et/ou de textes. Pour la mise en œuvre du procédé selon l’invention, un titulaire U d’une carte d’identité Id possède un terminal mobile intelligent 1, par exemple, un Smartphone. Le terminal mobile intelligent 1 comprend une caméra 10, un processeur 11 programmé pour mettre en œuvre une application de reconnaissance 12 configurée pour exécuter les étapes décrites ci-après, une zone mémoire 13, un écran 14 qui permet notamment l’affichage d’informations lors de la détection et de l’analyse du titre. La carte d’identité comporte sur une première face F 1 des données propres à l’individu, photographie, identité, caractéristiques physiques et sur une deuxième face des données de domiciliation. Cette application de reconnaissance 12 est notamment configurée pour : Reconnaître automatiquement une structure visuelle d’un titre physique, quelque soit son orientation et son cadrage ; Mettre en évidence visuellement une ou plusieurs zones d’intérêts du titre ; Les zones d’intérêts du titre sont connues car elles ont été déterminées par un modèle pré établi associé à chaque titre connu de l’application ; Déterminer les coordonnées des zones d’intérêts du titre. Une zone d’intérêt est représentée par quatre points qui forment un quadrilatère. Ces quatre points sont représentés dans un espace en trois dimensions, 3D, par trois coordonnées x, y, z. Pour déterminer les zones d’intérêts, le processeur 11 va calculer quatre points Z 1 , Z 2 , Z 3 , Z 4 , qui définissent la zone du titre dans l’espace 3D de la réalité augmentée. Les quatre points sont ensuite projetés dans le plan P 2D en deux dimensions, 2D, de l’écran du Smartphone, en se basant sur la position (coordonnées 3D) et l’orientation (vecteur 3D) de la caméra. Le processeur applique ensuite une correction de perspective sur l’image du titre à l’écran capté par la caméra, qui génère une image rectangulaire en deux dimensions. A partir de cette image 2D rectangulaire du titre on calcule les coordonnées en deux dimensions des différentes zones d’intérêts Zi du titre ; ces éléments sont détaillés ci-après et illustrés aux figures 2 et 3. L’application de reconnaissance 12 est aussi configurée pour optimiser la lecture des différentes zones d’intérêts du titre selon leur nature (image ou texte) en y appliquant des effets de traitement d’image, y compris pour une image sous format d’un texte : niveaux de gris, rehausse des contrastes, augmentation de la netteté de l’image et extraction de manière structurée des données visuelles présentes sur un titre physique par un traitement de reconnaissance de caractère optique OCR. La illustre un exemple d’enchaînement d’étapes du procédé selon l’invention mises en œuvre par l’application de reconnaissance 12 exécutée par le processeur du terminal mobile intelligent. Le titulaire de la carte d’identité, CNI, présente une des deux faces de cette carte d’identité à la caméra du terminal mobile intelligent. Par exemple, il peut commencer par présenter la face principale F1 comprenant la photographie P du titulaire de la carte d’identité et ses données personnelles d’identité D ( ). La deuxième face comporte en général des donnés dites « administratives », par exemple, le lieu d’établissement de la CNI, la date de validité, etc. La première étape, 20, va consister en une détection de la CNI par la caméra du terminal mobile intelligent. Lors de la présentation de la face principale F 1 du titre d’identité CNI devant la caméra du terminal mobile d’un utilisateur, l’application de reconnaissance 12 détecte, 21, le titre d’identité en utilisant un modèle M de type apprentissage automatique plus connu sous l’expression anglo-saxonne « machine learning ». Ce modèle M aura été préalablement entraîné et mémorisé, par exemple dans la mémoire 13 du terminal mobile. Le modèle M est constitué d’un fichier d’attributs (pondération et caractéristiques du réseau de neurones) permettant au moteur de réalité augmentée de détecter et de classifier le titre. L’apprentissage ou « machine learning » pour ce genre de modèle est connu de l’homme du métier. Le modèle en lui-même dépend du jeu de données et des informations que l’on cherche à détecter et à extraire. Le modèle utilisé est défini en fonction du contexte d’utilisation du procédé selon l’invention. Pour une application traitant la deuxième face d’un document, cette dernière sera considérée de manière identique. Dès la détection du titre par l’application de reconnaissance 12, lors d’une deuxième étape, le titre CNI est repéré, 21, dans un espace en trois dimensions ayant pour origine le centre O de l’écran du terminal mobile. Ceci permet de connaître la position et l’orientation du titre CNI par rapport à l’écran du terminal mobile. Le titre détecté dans l’espace en trois dimensions est exprimé par son centre O et une matrice d’attitude représentant les angles de rotation appliqués sur chacun des trois axes x,y,z. Lors d’une troisième étape 22, ( ) à partir de ces éléments l’application de reconnaissance 12 va calculer quatre coordonnées C11, C12, C13, C14 qui bornent le titre dans l’espace en se basant sur la taille réelle du titre. On projette lors d’une quatrième étape, 23, ces quatre coordonnées C11, C12, C13, C14 sur le plan en deux dimensions 2D de l’écran du terminal mobile, résultant en quatre nouvelles coordonnées 2D, C21, C22, C23, C24, qui définissent le quadrilatère de représentation du titre d’identité sur l’écran du terminal mobile. On applique, ensuite cinquième étape 24, une correction de perspective transformant le quadrilatère composé des quatre nouvelles coordonnées C21, C22, C23, C24 du titre en une image rectangulaire proportionnelle au format du titre physique. La méthode de correction de perspective est connue de l’homme du métier et ne sera pas détaillée. A l’issue de cette étape, quelque soit l’orientation du titre, l’image résultante est transformée en un rectangle, redressée, alignée et les déformations de perspective corrigées pour correspondre au modèle du titre physique. Après détection du titre d’identité, 25, l’application de reconnaissance 12 va afficher un premier retour visuel sur l’écran du terminal mobile, un message indiquant à l’utilisateur que des traitements sont en cours. Par exemple, un rectangle gris labélisé « CNI France » entoure le titre dans la vue du titre qui s’affiche sur l’écran en réalité augmenté, . le message indique que le titre a bien été détecté comme un titre reconnu et que sa position dans le repère en trois dimensions est connue. La technique de projection utilisée est basée sur des calculs mathématiques simples ; trigonométrie, théorème de Thalès. Les techniques utilisées pour corriger les déformations de perspective sont, par exemple, des transformations géométriques telles que Symétrie, Homothétie, rotation appliquées sur la zone de l’image contenant le titre. Le titre est lisible quel que soit son angle de rotation et supporte des angles de perspectives dépassant les 45 degrés. Le titre étant lisible, le procédé va poursuivre avec l’extraction de données : Lors d’une cinquième étape, l’application 12, va ensuite diviser l’image du titre en plusieurs sous images représentant une ou plusieurs zones d’intérêts du titre : position MRZ, les postions des différents champs du CNI « nom », « taille », « âge ». Les zones d’intérêts ou zones d’analyses particulières sont connues de l’homme du métier qui va caractériser les différentes zones d’images en fonction de la structure du titre, de la connaissance graphique des spécifications techniques du titre. Ces zones sont par exemples : des champs textes (position, taille, police et couleur attendues), des zones avec élément graphique spécifique : OVI, hologramme, gaufrage, etc. Ces zones d’analyses sont spécifiques à chacun des titres et sont définies dans un fichier de structure précisant : les coordonnées des zones d’intérêts, la nature de la zone (image ou texte) ainsi que l’information numérique qu’elle représente (nom, prénom, photo du porteur, adresse, etc.). Le fichier est, par exemple, mémorisé dans la mémoire 13 du terminal mobile intelligent. Selon la nature des zones extraites, l’application va au cours d’un sixième étape 26, améliorer l’image en appliquant, septième étape 27, un ou plusieurs filtres noirs et blancs, de renforcement de contraste et de renforcement de netteté. Ces filtres permettent soit d’obtenir une amélioration des photos, soit de permettre une lecture optique de texte. Ces filtres de traitement d’images sont supposés connus de l’homme du métier et ne seront pas détaillés. Les étapes décrites ci-dessus sont répétées, par exemple, plusieurs fois par seconde (la fréquence est déterminée par la puissance de calcul disponible sur le terminal mobile) sur un nombre d’itérations totales paramétrable dans l’application 12 (en moyenne de 10 à 20 itérations). L’application va ensuite, lors d’une huitième étape 28 vérifier les résultats d’analyse obtenue par chaque itération. Pour cela, ces résultats sont ensuite soumis à des algorithmes de comparaison de chaînes de caractères, connus de l’homme de métier afin de réduire les erreurs de reconnaissance optique de caractères. La qualité de l’image étant améliorée, l’étape suivante va consister à la présentation de données en réalité augmentée, neuvième étape. L’application 12 utilise une technique de réalité augmentée pour présenter à l’utilisateur les données extraites de l’image, ainsi que des zones d’intérêt sur le document, au travers de l’écran de son terminal mobile. Ceci permet avantageusement de contrôler des informations contenues dans un document, carte d’identité, permis de conduire, etc. sans avoir à prendre en main le document, par lecture de l’image du document au moyen, par exemple, d’un terminal mobile intelligent équipé d’un processeur matériel configuré pour exécuter les étapes détaillées précédemment. Les résultats d’analyses, par exemple, la valeur extraite des champs nom, prénom et date de naissance sont enfin présentés à l’utilisateur en trois dimensions sur un plan calqué sur la position du titre physique à l’écran. Le calcul de la position des champs dans l’espace tridimensionnel correspond au processus inversé de la dixième étape 30. Les données extraites sont utilisées pour identifier un individu de manière unique sur la base du triplet (nom, prénoms, date de naissance) dans un système d’information. Le terminal mobile intelligent peut être un téléphone mobile appartenant à l’individu ou encore à un tiers ayant une autorité de contrôle. Le procédé et le système selon l’invention présentent notamment les avantages suivants : Détecter rapidement la nature visuelle d’un titre physique Représenter les zones d’intérêts d’un titre, tels que les champs textuels et les photos d’identité, Extraire automatiquement les informations caractérisées, Ne pas contraindre l’utilisateur à des gestes particuliers. Procédé d’extraction de données contenues dans un document physique, au moyen d’un terminal mobile (1) pourvu d’une application de reconnaissance (12) configurée pour lire et extraire lesdites données, ledit terminal mobile (1) étant équipé d’un dispositif de prise de vue (10) et d’un écran (14) caractérisé en ce qu’il comporte au moins les étapes suivantes : - Détecter au moins une première face F 1 du document physique Id à l’aide du dispositif de prise de vue, (20), - Repérer le document physique Id dans un espace à trois dimensions (21), afin de déterminer la position et l’orientation dudit document physique par rapport au centre O de l’écran (14) du terminal mobile (1), et déduire une matrice d’altitude, - Calculer (22) à partir des éléments de la matrice d’altitude et du centre O, plusieurs coordonnées (C 11 , C 12 , C 13 , C 14 ) bornant le document physique dans l’espace, - Projeter lesdites coordonnées (C 11 , C 12 , C 13 , C 14 ) sur un plan en deux dimensions de l’écran du terminal mobile, pour obtenir de nouvelles coordonnées en deux dimensions (C 21 , C 22 , C 23 , C 24 ) définissant les limites du document sur ledit écran, (23), - Appliquer une correction de perspective transformant lesdites cordonnées en deux dimensions (C 21 , C 22 , C 23 , C 24 ) afin d’obtenir une image rectangulaire proportionnelle au format du document physique, (24), - Générer une information de la bonne détection du document physique, (25), sur l’écran du terminal mobile, - Diviser l’image du document physique en plusieurs sous-images définies selon des zones d’intérêts prédéfinies, (26), - Améliorer la qualité de l’image de chacune des sous-images, au moyen de filtres, (27), - Réitérer lesdites étapes et vérifier les résultats obtenus par les itérations, (28) afin de déterminer les erreurs de reconnaissance optique, - Utiliser une méthode de réalité augmentée pour présenter les données sur l’écran du terminal intelligent. Procédé selon la revendication 1 caractérisé en ce que l’on détecte le document physique en utilisant un modèle M issu d’une technique d’apprentissage automatique mise en œuvre par l’application de reconnaissance (12) et mémorisé au niveau du terminal mobile. Procédé selon l’une des revendications 1 à 2 caractérisé en ce que la correction de perspective utilise une technique de transformation géométrique. Procédé selon l’une des revendications 1 à 3 caractérisé en ce que l’étape de projection des coordonnées sur un plan en deux dimensions est réalisée à l’aide d’une matrice d’attitude, en utilisant des paramètres de roulis, tangage et lacet. Procédé selon l’une des revendications 1 à 4 caractérisé en ce que le nombre d’itérations est choisi en fonction de la puissance de calcul du processeur équipant le terminal mobile. Procédé selon l’une des revendications 1 à 5 caractérise en ce que les résultats obtenus après chaque itération sont soumis à des algorithmes de comparaison de chaînes de caractères afin de réduire les erreurs de reconnaissance optique de caractères. Procédé selon l’une des revendications 1 à 6 caractérisé en ce que la détection d’au moins une des faces du document est réalisée au moyen d’une caméra équipant le terminal mobile. Système d’extraction de données contenues dans un document physique au moyen d’un terminal mobile (1) équipé et d’un dispositif de prise de vue (10) et d’un écran (14), d’un processeur (11) configuré pour exécuter l’application de reconnaissance (12) en exécutant les étapes du procédé selon l’une des revendications 1 à 7. Système selon la revendication 8 caractérisé en ce que le terminal mobile (1) est un téléphone mobile intelligent.