Brevet FR3101988A1 — publié le 20210416

Procédé d’un objet à intérêt au sein d’une image numérique 2D dégradée dudit objet. Le procédé comprend les étapes suivantes : - détecter (11) au préalable l’objet à intérêt au sein d’une image numérique 2D et lui attribuer un label ; - reconstruire (13) un volume 3D dudit objet ainsi labellisé à partir d’une pluralité d’images (12) numériques 2D disponibles dudit objet à intérêt ; - mémoriser dans une base de données un enregistrement relatif audit objet ainsi reconstruit en 3D et labellisé ; - pour chaque enregistrement ainsi mémorisé, générer (21) une nouvelle pluralité d’images numériques 2D selon une pluralité de modes de vue à partir du volume 3D ainsi reconstruit (14) de chaque objet; entrainer (23) un réseau de neurones sur un jeu d’apprentissage composés d’un ensemble élargi d’images numériques 2D ainsi générées et en correspondance (22) avec le label de l’objet à intérêt à reconnaître; - à partir d’une image numérique 2D dégradée dudit l’objet à intérêt à reconnaitre, - utiliser (30) le réseau de neurones ainsi entrainé pour délivrer en sortie le label de l’objet et un indice de confiance lié à la reconnaissance de l’objet à intérêt. Figure pour l’abrégé : Fig. 1 Procédé de reconnaissance d’objets à représentativité augmentée DOMAINE DE L’INVENTION L’invention concerne la reconnaissance d’objets en imagerie numérique. Elle s’applique en général à la reconnaissance automatique d’objets au sein d’images numériques prises en conditions difficiles, en particulier à la reconnaissance d’êtres humains à partir d’images numériques bidimensionnelles (2D) prises aléatoirement ou d’objets à partir d’images numériques prises en conditions difficiles (brouillard, distance importante, occlusion de l’objet, angle de prise de vue, image basse résolution...). CONTEXTE DE L’INVENTION Le domaine de l’Intelligence Artificielle (IA) connait actuellement une progression exponentielle dans de multiples secteurs. Cette progression s’explique par la conjonction de trois éléments concomitants : le développement d’algorithmes d’apprentissage appelés “Machine et/ou Deep Learning”; l’apparition de larges bases de données sur internet (“big data”) et l’augmentation de la vitesse de calcul des ordinateurs permettant d’entrainer les algorithmes d’apprentissage. D’une manière générale, la reconnaissance d’objets en IA s’appuie sur des jeux de données d’apprentissage appelés encore “data set”. En pratique, chaque jeu d’apprentissage comprend des données d’entrée aboutissant à la création d’un modèle pour fournir une sortie appelée le label de l’image. Par exemple, en apprentissage supervisé (classification), on connaît la sortie et on veut que l’algorithme apprenne à répondre tout seul pour délivrer le label de l’objet ainsi reconnu dans l’image à traiter. On sait que pour entrainer un algorithme d’apprentissage supervisé, il est nécessaire de disposer d’une grande quantité de données d’entrée labellisées. Or, actuellement, les bases ou banques de données d’images numériques reposent généralement sur des images numériques d’objets labellisés dont la variabilité en termes d’angle de prise de vue est relativement limitée et/ou sommaire (transformation de l’image via des rotations, décalages, ajout/retrait de bruits…). En outre, la variabilité en reconnaissance humaine est relativement restreinte (par exemple images de la personne à reconnaitre à partir uniquement du visage de celle-ci). D’autres avantages et caractéristiques de l’invention apparaitront à l’examen de la description et des dessins dans lesquels : représente schématiquement les étapes principales du procédé de reconnaissance conforme à l’invention ; représente schématiquement les sous-étapes de l’étape de constitution d’une base de données selon le procédé conforme à l’invention ; représente schématiquement des exemples d’images 2D d’un bateau prises en infra-rouge SWIR (Short Wave InfraRed) en plan horizontal selon 9 angles différents pour la reconstruction 3D de l’objet ; représente schématiquement les sous-étapes de l’étape de génération d’une base de données élargie selon le procédé conforme à l’invention ; et représente schématiquement des exemples d’enregistrements de la base de données d’images 2D pour l’objet labellisé « bateau2E0A0 » générées à divers points de vue et distance à partir du volume 3D de l’objet reconstruit à partir des images 2D de la figure 3. En référence aux figures 1 à 5, on a représenté les trois principales étapes du procédé de reconnaissance automatique d’objets dans des conditions difficiles par une IA entrainée sur une base d’images labélisées dont l’augmentation de sa représentativité a été réalisée via des reconstructions 3D des dits objets. La première étape principale 10 a pour objet de constituer une base de données d’objets déjà identifiés et reconstruits en 3D. L’étape 10 débute par une sous étape dans laquelle on procède à la détection préalable de l’objet à intérêt 11 (par exemple un bateau) déjà identifié. Ensuite on procède à une prise rapide 12 des images 2D (visible, infrarouge, en actif ou en passif) en nombre limité mais suffisant pour réaliser une reconstruction 3D de l’objet. Dépendant du contexte de l’objet, la prise des images 2D peut être réalisée selon plusieurs scénarios tels que Scénario « sol-sol », Scénario « mer-mer », Scenario « air-sol » et Scenario « air-mer ». Pour un bateau, la prise des images peut être réalisée selon des scénarios tels que Scénario « mer-mer » et Scenario « air-mer ». Par exemple en référence à la figure 3 on a représenté des exemples d’images 2D d’un bateau prises en SWIR en plan horizontal (Scénario « mer-mer ») selon 9 angles différents pour la reconstruction 3D de l’objet. A partir des images 2D ainsi disponibles (figure 3), on procède à la reconstruction 3D 13 de l’objet à l’aide d’un procédé de reconstruction approprié (tomographie réflective, par exemple). On obtient alors un volume tridimensionnel (3D) 14 de l’objet (en voxels). En pratique, le volume tridimensionnel peut être obtenu grâce à un procédé de reconstruction par transmission ou par fluorescence (Optical Projection Tomography, imagerie nucléaire ou X-Ray Computed Tomography) ou par réflexion (rétro réflexion d'une onde laser ou par réflexion solaire dans le cas de la bande visible (entre 0,4µm et 0,7µm) ou proche infrarouge (entre 0,7µm et 1µm) ou SWIR (entre 1µm et 3µm) ou en prenant en compte l'émission thermique de l'objet (imagerie thermique entre 3µm et 5µm et entre 8µm et 12µm), ce processus de reconstruction tridimensionnelle est décrit dans le brevet « Système optronique et procédé d'élaboration d'images en trois dimensions dédiés à l'identification » (US8836762B2, EP2333481B1). On utilise l'ensemble des voxels issus d'une reconstruction tridimensionnelle avec l'intensité associée, cette reconstruction ayant de préférence été obtenue par rétro réflexion. A l’issue de la reconstruction 3D, on obtient une base des données comprenant des enregistrements relatifs aux objets déjà identifiés, soit {Volume3D_Objet(n) Label_Objet(n)}, n=1,2,..,N (N étant le nombre d’enregistrements d’objets identifiés). Il est à noter que la base de données peut être enrichie par des objets issus de modélisations ou de simulations. La deuxième étape principale 20 du procédé conforme à l’invention consiste à générer une base de données élargie des images 2D en diverses configurations et d’un apprentissage d’une IA (Intelligence Artificielle) dédiée. En pratique, pour chaque objet labélisé de la basée de données, on procède à la génération 21 d’images 2D issues (vues) du volume 3D ainsi reconstruit. Par exemple les vues issues du volume 3D sont réalisées selon divers angles (theta, phi, Phi), à différentes distances, avec différents taux d’occlusions et/ou avec différents bruits ajoutés. Pour des visages, les vues issues du volume 3D reconstruit de l’humain à identifier peuvent être de différentes natures et avec ou sans accessoires, chapeau, lunettes de vision, lunettes de soleil, barbe, etc. La pluralité d’images numériques 2D ainsi générées selon une pluralité de modes de prises de vue à partir du volume 3D de chaque objet sont ensuite associées 22 au Label de l’objet. On obtient alors les éléments suivants : Volume3D_Objet(n) {Image2D_Objet(n, theta, phi, Phi, distance, Taux_occlusion,…), Label_Objet(n)} Enfin, on procède au choix d’un réseau de neurones convolutif, par exemple de type Residual Network tel que ResNet50 pour l’entrainer 23 sur un jeu d’apprentissage composés d’un ensemble d’images numériques 2D {Images2D_Objet(n)} ainsi générées et en correspondance avec les labels {Labels_Objet(n)}, n = 1,2,3,…,N pour tous les objets N à intérêt. La troisième étape principale 30 consiste à reconnaître un objet à intérêt à partir d’une image 2D dégradée de celui-ci. Par exemple, la détection préalable d’un ObjetX à intérêt consiste en une prise d’une ou plusieurs images 2D (en visible, infrarouge, en actif ou en passif) dans des conditions opérationnelle restrictives (météo dégradée, distance importante, occlusions de l’objet, angle de prise quelconque…). Ensuite, on utilise le réseau de neurones convolutif ainsi entrainé pour délivrer en sortie le label de l’objet à intérêt et un indice de confiance (score) lié à la reconnaissance de l’objet à intérêt. Si l’indice de Confiance (Score) est élevé (supérieur à 95%, par exemple), il est prévu d’arrêter la reconnaissance. Si le degré de Confiance (Score) est faible, alors l’opérateur peut chercher d’autres éléments pour augmenter la réussite de l’identification. Au fur et à mesure que la base des objets déjà identifiés et reconstruits est importante, la fiabilité de reconnaissance de l’IA dédiée est forte et implicitement l’identification d’un quelconque objet sera une réussite. A titre d’exemple non limitatif, le procédé de reconnaissance a été appliqué à un bateau labélisé « bateau2E0A0 » à partir d’une seule image 2D provenant d’une prise de vue perpendiculaire à la surface de la mer (Scenario « air-mer »), cette image n’appartenant pas à la base de données 2D d’apprentissage. L’image a été redimensionnée à une résolution de 124 pixels x 253 pixels pour être compatible avec le processus d’interrogation de l’IA. Procédé de reconnaissance d’un objet à intérêt au sein d’une image numérique 2D dégradée dudit objet, caractérisé en ce qu’il comprend les étapes suivantes : détecter (11) au préalable l’objet à intérêt au sein d’une image numérique 2D et lui attribuer un label ; reconstruire (13) un volume 3D dudit objet ainsi labellisé à partir d’une pluralité d’images (12) numériques 2D disponibles dudit objet à intérêt ; mémoriser dans une base de données un enregistrement relatif audit objet ainsi reconstruit en 3D et labellisé ; pour chaque enregistrement ainsi mémorisé, générer (21) une nouvelle pluralité d’images numériques 2D selon une pluralité de modes de vue à partir du volume 3D ainsi reconstruit (14) de chaque objet ; entrainer (23) un réseau de neurones sur un jeu d’apprentissage composés d’un ensemble élargi d’images numériques 2D ainsi générées et en correspondance (22) avec le label de l’objet à intérêt à reconnaître ; à partir d’une image numérique 2D dégradée dudit l’objet à intérêt à reconnaitre, utiliser (30) le réseau de neurones ainsi entrainé pour délivrer en sortie le label de l’objet et un indice de confiance lié à la reconnaissance de l’objet à intérêt. Procédé selon la revendication 1 dans lequel, si l’indice de confiance est supérieur à un seuil, il est prévu d’arrêter la reconnaissance sinon rechercher d’autres éléments pour augmenter la réussite de l’identification. Procédé selon la revendication 1 ou la revendication 2, caractérisé en ce que la reconstruction (13) en volume 3D de l’objet appartient au groupe formé par tomographie réflective, tomographie par transmission. Procédé selon l’une quelconque des revendications précédentes, caractérisé en ce que la pluralité d’images 2D issues du volume 3D reconstruit de l’objet appartiennent au groupe formé par images 2D de modes de vue à partir du volume 3D prises à divers angles (theta, phi, Phi…) images prises à différentes distances ; images avec différents taux d’occlusions, images avec différents bruits. Procédé selon l’une quelconques des revendications 1 à 4, caractérisé en ce que la pluralité d’images 2D issues du volume 3D reconstruit pour des objets à intérêt, de type êtres humains, appartiennent au groupe formé par accessoires, chapeau, lunettes de vision, lunettes de soleil et barbe. Procédé selon l’une quelconque des revendications précédentes dans lequel le réseau de neurones est un réseau de neurones de convolution de type appartenant au groupe formé par ResNet50, ResNet101, ResNet152. Programme d’ordinateur comprenant des instructions de programme pour l’exécution d’un procédé selon l’une des revendications précédentes, lorsque ledit programme est exécuté sur un ordinateur.