Brevet FR3098963A1 — publié le 20210122

Description Titre de l'invention : Procédé et système de détection, de localisation et d'identification automatique d'objets dans un volume 3D DOMAINE DE L'INVENTION [0001] L'invention concerne la détection, la localisation et l'identification automatique d'objets dans un volume 3D. [0002] Elle s'applique en général au domaine de la détection de cible, au domaine médical, au domaine de la microélectronique ainsi qu'aux domaines analogues. Elle permet en particulier de répondre aux interrogations applicatives rencontrées dans de nombreuses situations, telles que la détection automatique de petits fossiles (2-3 microns) dans de grands volumes 3D reconstruits par scanner des carottages d'exploration pétrolière, l'identification d'objets camouflés dans une scène 3D complexe; l'identification de désordre pigmentaire bénin susceptible d'évoluer vers un carcinome ou un mélanome à partir d'une reconstruction tridimensionnelle cutanée ; l'identification des « anomalies cancérigènes » dans des coupes OCT (Optical Coherence Tomography), ou encore la détection, localisation et identification automatique des tumeurs cancérigènes / zones lacunaires issues des reconstructions tridimensionnelles de scanner tomographiques ou d'IRM (Imagerie par Résonance Magnétique). CONTEXTE DE L'INVENTION 100031 Actuellement, les interrogations applicatives mentionnées ci-avant sont le plus souvent traitées par l'expert métier (géophysicien, physicien, radiologue, dermatologue, ...) qui identifie les objets à intérêt dans des volumes 3D à l'aide d'outils de visualisation comme la M IP (Maximum lntensity Projection) par exemple. 100041 Cependant, le traitement par l'expert métier est difficile à mettre en place car la masse de données à traiter est très importante. De plus, le taux de réussite de l'identification par l'expert métier est limité et dépasse rarement les 90%. Résumé de l'invention [0005] Le but de la présente invention est d'améliorer la situation. [0006] A cette fin, la présente invention propose un procédé de détection, de localisation et d'identification d'objets contenus dans une scène complexe. [0007] Selon une définition générale de l'invention, le procédé comprend les étapes suivantes : - à partir d'un volume 3D en voxels de la scène complexe, obtenir k coupes 2D dans le volume 3D ; - pour chaque coupe 2D d'entrée ainsi obtenue, détecter, localiser, et identifier automatiquement des objets à intérêt par une méthode d'intelligence artificielle spécialisée 2 et agencée pour délivrer en sortie : - un label correspondant à chaque objet identifié dans la coupe 2D courante d'entrée ; - une boîte englobante de chaque objet ainsi labellisé ; - une icône 2D définie par la boîte englobante 2D ainsi extraite ; - pour chaque coupe 2D de sortie, segmenter sémantiquement chaque icône 2D définie par une boîte englobante 2D, et - concaténer les résultats de toutes les k coupes 2D de sortie afin de générer les labels consolidés des objets à intérêt, de générer des boîtes englobantes 3D ainsi que générer des icônes 3D ainsi segmentées. [0008] Ainsi l'invention permet de nettement améliorer la qualité de la détection, loca- lisation, et identification des objets dans une scène complexe grâce, à partir du volume 3D de la scène à traiter, à l'obtention de k coupes 2D dans chacune desquelles on procède à une détection, localisation et identification des objets à traiter par intelligence artificielle et segmentation sémantique et à la concaténation des résultats en 3D. TI en résulte la possibilité de détecter, localiser et identifier des objets automatiquement avec une très grande précision même lorsque les objets sont masqués les uns les autres. [0009] Suivant des modes de réalisation préférés, l'invention comprend une ou plusieurs des caractéristiques suivantes qui peuvent être utilisées séparément ou en combinaison partielles entre elles ou en combinaison totales entre elles : - la scène complexe est préalablement transformée par imagerie 3D en volume 3D ; - le procédé comprend en outre une étape d'indexation des labels pour tous les objets à intérêt de la scène complexe ; - la résolution du procédé dépend du nombre et de la nature des coupes 2D ; - la résolution du procédé dépend de la taille des boîtes englobantes 2D ; - la résolution du procédé dépend de la taille des boîtes englobantes 3D. [0010] L'invention concerne également un système pour la mise en oeuvre du procédé pré- cédemment défini. [0011] L'invention concerne en outre un programme d'ordinateur comprenant des ins- tructions de programme pour l'exécution d'un procédé tel que précédemment définie, lorsque ledit programme est exécuté sur un ordinateur. [0012] D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de la description qui suit d'un mode de réalisation préféré de l'invention, donnée à titre d'exemple et en référence aux dessins annexés. Brève description des dessins [0013] [fig.1] illustre schématiquement les principales étapes du procédé conforme à 3 l'invention ; [0014] [fig.1À] est une table d'indexation des classes d'objets à intérêt ; [0015] [fig.2] représente schématiquement les étapes d'obtention des coupes 2D ; [0016] [fig.3] représente schématiquement les étapes de détection, localisation, et identi- fication automatique des objets à intérêt dans chaque coupe 2D par une intelligence artificielle spécialisée ; [0017] [fig.4] représente une boîte englobante de l'objet détecté selon le procédé conforme à l' invention ; [0018] [fig.5] représente une icône segmentée conformément à l'invention ; [0019] [fig.6] représente un volume 3D reconstruit en voxcls conformément à l'invention ; [0020] [fig.7] représente des coupes principales dans un volume 3D reconstruit par to- mographie réceptive conformément à l'invention ; [0021] [fig.8] représente un exemple d'une coupe OCT (Optical Coherence Tomography) ; [0022] [fig.9] représente un exemple d'une scène 3D complexe contenant un objet camouflée reconstruit par tomographie réflective à partir des images 2D ; [0023] [fig.10] représente un exemple d'une coupe 2D dans la scène 3D ; [0024] [fig.1 1] représente la détection automatique et la génération de la boite englobante de l'objet camouflé dans la coupe 2D de la scène 3D ; [0025] [fig.12] représente l'identification de l'objet camouflé dans la coupe 2D de la scène 3D ; et [0026] [fig.13] représente la génération de la boite englobante et l'identification de l'objet dans la scène 3D. DESCRIPTION DETAILLEE DE L'INVENTION [0027] L'invention concerne la détection, la localisation et l'identification automatique d'objets dans une imagerie tridimensionnelle 3D formant un volume tridimensionnel 3D en voxcls (volumetric pixels). [0028[ Par exemple et de façon non limitative; l'imagerie 3D correspond à unc scène complexe dans laquelle des objets peuvent se masquer les uns les autres comme illustrés en figure 9. [0029] En pratique, le volume tridimensionnel peut être obtenu grâce à un procédé de re- construction par transmission ou par fluorescence (Optical Projection Tomography, imagerie nucléaire ou X-Ray Computed Tomography) ou par réflexion (réflexion d'une onde laser ou par réflexion solaire dans le cas de la bande visible (entre 0,4 !.tm et 0,7 pm) ou proche infrarouge (entre 0,7 pm et 1 pm ou SWIR (Sinan Wave InfraRed entre 1 pm et 3 pm) ou en prenant en compte l'émission thermique de l'objet (imagerie thermique entre 3 pm et 5 pm et entre 8µm et 12 'lm), ce processus de reconstruction tridimensionnelle est décrit dans le brevet « Système optronique et procédé d'élaboration d'images en trois dimensions dédiés à l'identification » (US8836762B2, EP2333481B 1). [0030] On utilise l'ensemble des voxels issus d'une reconstruction tridimensionnelle avec l'intensité associée, cette reconstruction ayant de préférence été obtenue par réflexion. [0031] Au préalable en référence à la figure 1 A, on procède à une indexation des classes d'objets à intérêt. [0032] Une table TAB de correspondance « Index Classe x Label Classe » pour tous les classes d'objets à intérêt est ainsi créée. Par exemple à l'issue de l'indexation on obtient les éléments suivants : Classe(n) {Index(n), Label(n)}, n = {1,2,..,N}, N étant le nombre des classes d'objets à intérêt. [0033] A titre d'exemple, l'Index(n) est à la valeur n", et l'Index(background) est à la valeur "0". [0034] Le procédé de détection, de localisation et d'identification conforme à l'invention comporte les étapes générales suivantes décrites en référence à la figure 1. [0035] Dans unc première étape référencée 10, on réalise k coupes 2D dans le volume 3D reconstruit. Volume 3D -+ {Coupe(k)}, k = { 1, 2,..,K}, K étant le nombre des coupes 2D réalisées. [0036] En référence à l'étape 20, pour chaque coupe 2D d'entrée ainsi obtenue, on procède à une détection, localisation, et identification automatique des objets à intérêt par unc méthode d'intelligence artificielle TA spécialisée. [0037] La méthode d'intelligence artificielle IA génère en sortie les éléments suivants : - Détection des Objets(k,m) dans la Coupe(k), m = {1,2,..,M(k)}, M(k) étant le nombre des objets détectés dans la Coupe(k) ; - Génération (lu Label(k,m) correspondant à chaque Objet(k,m) identifié dans la Coupe(k) ; - Génération des boites englobantes 2D, appelées encore Boundingbox2D(k,m) de chaque Objet(k,m) dans la Coupe(k) ; - Extraction, depuis la Coupe(k), des Icones2D(k,m) définies par les boîtes englobantes 2D Boundingbox2D(k,m). Ainsi on obtient les éléments suivants :Coupe(k) ->{Objet(k,m), Label(k,m), Boundingbox2D(k,m), Icone2D(k,m)}. [0038] Par exemple, la méthode d'intelligence Artificielle IA est basée sur l'apprentissage profond appelé encore Deep Learnining de type « Faster R-CNN (Regions with Convolutional Neural Network features) object classification. [0039] Ensuite, le procédé applique une segmentation sémantique de chaque Icone2D définie par une boîte englobante Boundingbox2D. [0040] En pratique, la génération d'une Icone2Dsegmentée(k,m) de même taille que l'Icone2D(k,m) a pour chaque pixel soit la valeur de l'Index(k,m) de l'Objet(k,m) identifié dans la Coupe(k), soit la valeur de l'Index(background). En sortie on a donc Icone2D(k,m) -1-cone2Dsegrnenté(k,m). [0041] Par exemple, la segmentation sémantique est réalisée par Deep Lcarning, par exemple un Mask R-CNN (Rcgions with Convolutional Neural Network) désigné pour la segmentation sémantique des images. [0042] En référence à l'étape 30, on procède enfin à la concaténation en 3D des résultats de toutes les coupes 2D. [0043] En sortie, on dispose alors des éléments suivants : Concaténation des Lahcls(k,m) -*Génération des Labels(n) consolidés Concaténation des Boundingbox2D(k,m) -*Génération des Boundinghox3D(n) Concaténation des Icones2D(k,m)segmentées -> Génération des Icones3D(n)segmentées {Objet(n), Lahcl(n), Boundinghox3D(n), Icone3Dsegmentée(k,n)I, (n) appartenant à {1,2,..,N}, N étant le nombre des classes d'objets à intérêt. [0044] Le procédé conforme à l'invention présente plusieurs précisions. [0045] La première précision, appelée encore résolution concerne le nombre et l'angle des coupes 2D, par exemple les coupes 2D appartiennent au groupe formé par coupes principales, coupes horizontales, coupes verticales, coupes obliques. Plus le nombre de coupes 2D est élevé, meilleure est la résolution de la détection. De plus, des coupes 2D de différents angles peuvent apporter des meilleurs résultats de détection et serviront dans la concaténation en 3D des résultats que l'on décrira plus en détail ci-après. [0046] La deuxième précision concerne les boîtes englobantes 2D, Boundingbox2D = [(xl,x2),(y1,y2)1. Plus la taille des boîtes englobantes 2D est petite, meilleure est la résolution (le la détection. [0047] La troisième précision concerne les boîtes englobantes 3D, Boundingbox3D = [(xl,x2),(y1,y2),(z1,z2)1. Plus la taille des boîtes englobantes 3D est petite, meilleure est la résolution de la détection. [0048] En référence à la figure 2, on a représenté les modules relatifs à réalisation des coupes 2D. [0049] Comme vu ci-avant, le choix et le nombre des coupes 2D va agir sur la résolution de la détection. [0050] A partir du volume 3D 11 (reconstruit en voxels), le module de coupe 12 génère des coupes 2D 15 (en pixels) en réponse à la commande émanant du module de choix 13. Les coupes 2D 15 (en pixels) sont gérées et indexées par le module de gestion 14 conformément à la table d'indexation TAB (figure 1A). [0051] En référence à la figure 3, on a représenté les modules relatifs à la méthode d'intelligence artificielle 1A 22 appliquée à chaque coupe 2D d'entrée 21 ainsi générée et indexée. 6 [0052] La coupe 2D de sortie 23 générée par la méthode IA 22 comprend une boîte en- globante 2D 24 entourant un objet d'intérêt 25. [0053] En référence à la figure 4, la taille de la boîte englobante 2D 24 entourant l'objet 25 est définie par ses coordonnées en abscisses X (xl et x2) et en ordonnées Y (y1 et y2). [0054] En référence à la figure 5, on a représenté une icône 2D 50 segmentée séman- tiquement conformément à l'invention. Par exemple, l'objet 25 est indexé avec la valeur « 1 » tandis que le hackground est indexé à la valeur « 0 ». [0055] En référence à la figure 6, on a représenté un volume 3D reconstruit en voxcls conformément à l'invention dans lequel l'objet d'intérêt 25 présente l'index « 1 » tandis qu'un autre objet à intérêt présente l'index « 2 »; dans un volume de hackground d'index « 0 ». [0056] Selon la figure 7, on a représenté des coupes principales 2D dans un volume 3D re- construit par tomographie réflective conformément à l'invention, ici selon XY. XZ et ZY. [0057] Selon la figure 8, on a représenté un exemple d'une coupe OCT (Optical Coherence Tomography) ; dans laquelle une zone lacunaire est à identifier. [0058] Selon la figure 9, on a représenté un exemple d'une scène 3D complexe contenant un objet camouflé reconstruite par tomographie réflective à partir des images 2D. [0059] Par exemple, la scène complexe comprend un véhicule camouflé dans les buissons. La prise de vue 2D est de type air sol avec des images 2D de 415x693 pixels. [0060] Selon la figure 10, on a représenté un exemple d'une coupe 2D (coupe YZ) dans la scène 3D de la figure 9. [0061] Selon la figure 11, on a représenté la détection automatique et la génération de la boite englobante de l'objet camouflé dans la coupe 2D de la scène 3D illustrées en figures 9 et 10. [0062] Selon la figure 12, on a représenté l'identification (le l'objet camouflé (index 1) dans la coupe 2D de la scène 3D avec les coordonnées de la boîte englobante 2D. [0063] Selon la figure 13, on a représenté la génération de la boite englobante 3D (avec ses coordonnées) et l'identification de l'objet dans la scène 3D. [0064] Les domaines d'application de l'invention sont larges, couvrant la détection, la clas- sification, la reconnaissance et l'identification d'objets à intérêt. 7 [Revendication 1] REVENDICATIONSProcédé de détection, de localisation et d'identification d'objets (25) contenus dans une scène complexe, caractérisé en ce qu'il comprend les étapes suivantes : à partir d'un volume 3D en voxels (11) de la scène complexe, obtenir k coupes 2D (15) dans le volume 3D (11) ; pour chaque coupe 2D d'entrée (21) ainsi obtenue, détecter, localiser, et identifier automatiquement des objets (25) à intérêt par une méthode d'intelligence artificielle spécialisée (23) et agencée pour délivrer en sortie : un label correspondant à chaque objet identifié dans la coupe courante d'entrée (21) ; une boîte englobante 2D (24) de chaque objet (25) ainsi labellisé ; une icône 2D définie par la boîte englobante 2D (24) ainsi extraite ; pour chaque coupe 2D de sortie (23), segmenter sémantiquement chaque icône 2D définie par une boîte englobante 2D (24), et concaténer en 3D les résultats de toutes les k coupes 2D de sortie (23) afin de générer les labels consolidés des objets à intérêt (25), de générer des boîtes englobantes en 3D ainsi que générer des icônes en 3D ainsi segmentées. [Revendication 2] Procédé selon la revendication 1, caractérisé en cc que la scène complexe est préalablement transformée par imagerie 3D en volume 3D. [Revendication 3] Procédé selon la revendication 1, caractérisé en cc qu'il comprend en outre une étape d'indexation des labels pour tous les objets à intérêt de la scène complexe. [Revendication 4] Procédé selon l'une quelconque des revendications 1 à 3, caractérisé en ce que la résolution du procédé dépend du nombre et de la nature des coupes 2D. [Revendication 5] Procédé selon l'une quelconque des revendications 1 à 3, caractérisé en ce que la résolution du procédé dépend de la taille des boîtes englobantes 2D. [Revendication 6] Procédé selon l'une quelconque des revendications 1 à 3, caractérisé en 8 [Revendication 7] [Revendication 8] [Revendication 9] ce que la résolution du procédé dépend de la taille des boîtes englobantes 3D. Procédé selon l'une quelconque des revendications 1 à 6, dans lequel la méthode d'intelligence Artificielle 1A est basée sur l'apprentissage profond appelé encore Deep Learnining de type Faster R-CNN (Regions with Convolutional Neural Network). Procédé selon l'une quelconque des revendications 1 à 7 dans lequel la segmentation sémantique est réalisée par un réseau de neurones de convolution de type Mask R-CNN (Regions with Convolutional Neural Network). Système de détection, de localisation et d'identification d'objets (25) contenus dans une scène complexe, caractérisé en ce qu'il comprend : à partir d'un volume 3D en voxels (11) de la scène complexe, un module (12) destiné à obtenir k coupes 2D (15) dans le volume 3D (11) ; un module d'intelligence artificielle (23) apte, pour chaque coupe 2D d'entrée (21) ainsi obtenue, à détecter, localiser, et identifier automatiquement des objets (25) à intérêt et agencé pour délivrer en sortie : un label correspondant à chaque objet identifié dans la coupe courante d'entrée (21) ; une boîte englobante (24) 2D de chaque objet (25) (k,m) ainsi labellisé ; une icône 2D définie par la boîte englobante 2D (24) ainsi extraite ; un module de segmentation sémantique apte, pour chaque coupe 2D de sortie (23), à segmenter sémantiquement chaque icône 2D définie par une boîte englobante 2D (24), et un module de traitement apte à concaténer les résultats en 3D de toutes les k coupes 2D de sortie (23) afin de générer les labels consolidés des objets à intérêt, de générer des boîtes englobantes en 3D ainsi que générer des icônes en 3D ainsi segmentées. [Revendication 10] Programme produit d'ordinateur comprenant des instructions de programme pour l'exécution d'un procédé selon l'une des revendications 1 à 8, lorsque ledit programme est exécuté sur un ordinateur.