Brevet FR3091380A1 — publié le 20200703

Description Titre de l'invention : Dispositif de détection hyperspectrale par fusion de capteurs Domaine technique [0001] La présente invention se rapporte à un dispositif de détection d'objets ou de parti- cularités dans le plan focal d'une scène basé sur un ensemble de capteurs d'images standards et de capteurs utilisant un procédé de compression de la scène hyperspectrale en trois dimensions en une image non homogène en deux dimensions, et un traitement de l'information afin de fusionner les différents capteurs et de détecter les particularités recherchées dans la scène. [0002] L'invention trouve une application particulièrement avantageuse pour les systèmes destinés à détecter des objets ou particularités dans une scène à partir de leur forme, leur texture et leur réflectance lumineuse. [0003] L'invention peut être appliquée à un grand nombre de domaines techniques dans lesquels une détection hyperspectrale est recherchée. De manière non exhaustive, l'invention peut être utilisée, par exemple, dans le domaine médical et dentaire, pour aider au diagnostic. Dans le domaine végétal et mycologique, l'invention peut également être utilisée pour réaliser du phénotypage, détecter des symptômes de stress ou maladie ou différencier des espèces. Dans le domaine de l'analyse chimique, l'invention peut tout autant être utilisée pour mesurer les concentrations. Dans le domaine de la lutte contre la contrefaçon, l'invention peut être utilisée pour discerner une contrefaçon. Art antérieur [0004] Au sens de l'invention, une détection à acquisition hyperspectrale correspond à la détection de particularités dans le plan focal d'une scène directement depuis un ensemble de capteurs d'images standards et de capteurs mesurant une image en deux dimensions acquise contenant un représentation des informations spatiales et spectrales du plan focal de la scène. [0005] Différentes méthodes de compression du plan focal d'une scène hyperspectrale sont décrits dans la littérature. L'objet de ces méthodes est d'acquérir le plan focal de la scène hyperspectrale en une seule acquisition sans nécessité de balayer le plan focal de la scène dans les dimensions spatiales ou spectrale. [0006] Par exemple, la thèse « Non-scanning imaging spectrometry », Descour, Michael Robert, 1994, The university of Arizona, propose une façon d'acquérir une seule image en deux dimensions de la scène observée contenant toutes les informations sur l'influence des différentes longueurs d'onde. Cette méthode, dénommee CTIS (pour « 2 Computed-Toznography Imaging Spectrometer »), propose de capturer une image diffractée du plan focal de la scène observée au moyen d'un réseau de diffraction disposé en amont d'un capteur numérique. Cette image diffractée acquise par le capteur numérique prend la forme de multiples projections pour lesquels chaque projection permet de représenter le plan focal de la scène observée et contient l'ensemble des informations spectrales du plan focal. [0007] Une autre méthode, dénommée CASSI (pour « Coded Aperture Stzapshot Spectral Imaging »), décrite dans la thèse « Compressive spectral imaging », D. Kittle, 2010, propose une façon d'acquérir une seule image encodée en deux dimensions contenant toutes les informations spatiales et spectrales. Cette méthode, propose de capturer une image diffractée, au moyen d'un prisme de diffraction, et encodée, au moyen d'un masque d'encodage, du plan focal de la scène observée. [0008] Ces méthodes, bien que satisfaisantes pour résoudre la problématique d'acquisition instantanée du plan focal de la scène hyperspectrale, nécessitent des algorithmes complexes et coûteux en ressources de calcul afin d'estimer la scène hyperspectrale non compressée. La publication « Review of snapshot spectral imaging technologies », Nathan Hagen, Michael W. Kudcnov, Optical Engineering 52(9), September 2013, présente une comparaison des méthodes d'acquisition hyperspectrales ainsi que les complexités algorithmiques associées à chacune d'elles. [0009] En effet, la méthode CTIS nécessite un processus d'estimation basé sur une matrice en deux dimensions représentant la fonction de transfert de l'optique de diffraction. Cette matrice doit être inversée pour reconstituer l'image hyperspectrale. La matrice de la fonction de transfert n'étant pas complètement définie, des méthodes d'inversion matricielle itératives et coûteuses en ressources de calcul permettent d'approcher le résultat pas à pas. [0010] La méthode CASSI et ses dérivés nécessitent également des calculs matriciels non complètement définis, et utilisent des méthodes de calcul itératives et coûteuse en ressources de calcul afin d'approcher le résultat. [0011] En outre, l'image hyperspectrale en trois dimensions reconstruite par ces méthodes de calcul ne contient pas d'information spatiales ou spectrale supplémentaires par rapport à l'image compressée en deux dimensions obtenue par ces méthodes d'acquisitions. L'estimation par le calcul de l'image hyperspectrale n'est donc pas nécessaire pour une détection directe des particularités recherchées dans le plan focal de la scène, à la condition d'utiliser une méthode de détection directe des particularités depuis l'image compressée et non homogène en deux dimensions. [0012] Des méthodes de traitement d'image dans l'objectif de détecter des particularités sont largement décrites dans la littérature scientifique. Par exemple une méthode basée sur des réseaux de neurones est décrite dans « auto-association by multilayer perceptrons 3 and singular value decomposition. » Biological cybernetics, 59(4):291-294, 1988. ISSN 0340-1200, H. Bourlard and Y. Kamp. A. [0013] De nouvelles méthodes basées sur des réseaux de neurones profonds et convolutifs sont également largement employées avec des résultats présentant des taux de fausses détections très bas. Par exemple, une telle méthode est décrite dans « Stack.ed Autoetwoders Usitzg Low-Power Accelerated Architectures for Object Recognition in Autorzornous Systems », Neural Processing Letters, vol. 43, no. 2, pp. 445-458,2016, J. Maria, J. Amaro, G. Falcao, L. A. Alexandre. [0014] Ces méthodes sont particulièrement adaptées à détecter des éléments dans une image couleur (possédant généralement 3 canaux - Rouge, Vert et Bleu) d'une scène en prenant en compte les caractéristiques de formes, de textures et de couleurs de la particularité à détecter. Ces méthodes considèrent l'image homogène, et traitent par convolution l'entièreté de l'image par le même procédé. [0015] Le traitement des images compressées en deux dimensions obtenues par les méthodes CTIS et CASSI ne peut donc pas être opéré au moyen d'un réseau de neurones profond et convolutif standard. En effet, l'image obtenue par ces méthodes ne sont pas homogènes, et contiennent des particularités non linéaires dans les dimensions soient spectrales, soit spatiales. [0016] La présente invention utilise différentes images standards et compressées d'un même plan focal hyperspectral. Une méthode de fusion d'image par réseau de neurones profond et convolutif est présentée dans « Multimodal deep learning fizr robust rgb-d object recognition. In Intelligent Robots and Systems (IROS) », Eitel, A., Springenberg, J. T., Spinello, L., Riedmiller, M., and Burgard, W. (2015) IFEE/RSJ International Conference on , pages 681#687. IEEE. Ce document présente une structure de réseau de neurones profond et convolutif utilisant deux chemins de traitement, un chemin par type d'image d'une même scène, complété par des couches fusionnant les deux chemins ; la fonction implémentée par ce réseau de neurones profond et convolutif est une classification des images. Cette structure n'est pas adaptée en l'état pour la présente invention, car non adaptée aux images compressées en deux dimensions d'un plan focal hyperspectral en trois dimensions, et ayant pour fonction la classification de la scène et non la détection de particularités dans cette scène. [0017] Le problème technique de l'invention consiste à détecter directement les particularités ou objets recherchés depuis l'acquisition d'au moins une représentation compressée, non homogène, et non linéaire en deux dimensions contenant toute l'information spatiale et spectrale d'une scène hyperspectrale en trois dimensions et l'acquisition d'au moins une représentation standard en deux dimensions de la même scène hyperspectrale au moyen d'un réseau de neurones profond et convolutif. Exposé de l'invention [0018] La présente invention se propose de répondre à ce problème technique en détectant directement les particularités recherchées au moyen d'un réseau de neurones formels profond et convolutif, dont l'architecture est adaptée à une fusion et une détection directe, appliqué sur un ensemble d'images standards ainsi qu'un ensemble (l'images compressées en deux dimensions d'une scène hyperspectrale en trois dimensions du même plan focal hyperspectral de la scène ; les ensembles d'images standards et images compressées sont ainsi fusionnées au moyen dudit réseau de neurones formels profond et convolutif en tenant compte des décalages de prises d'images des différentes sources optiques, et une détection directe desdites particularités recherchées est faite depuis l'information fusionnées au moyen de ce même réseau de neurones profond et convolutif. [0019] L'image hyperspectrale en trois dimensions ne contient pas plus d'information spatiales et spectrale que l'image compressée obtenue par les méthodes d'acquisition CTIS ou CASSI puisque l'image hyperspectrale est reconstituée à partir dc [image compressée. Ainsi l'invention propose de détecter directement dans les images compressées, auxquelles est ajouté au moins une image standard de la même scène hyperspectrale, les particularités recherchées dans le plan focal d'une scène. [0020] A cet effet, l'invention concerne un dispositif de détection directe de particularités dans le plan focal hyperspectral d'une scène, ledit dispositif comportant : un moyen d'acquisition d'au moins une image compressée et non homogène en deux dimensions d'un plan focal d'une scène hyperspectrale en trois dimensions ; et un moyen d'acquisition d'au moins une image standard du plan focal de ladite scène hyperspectrale ; et un moyen de détection directe de particularités dans ladite scène hyperspectrale à partir de l'ensemble desdites au moins une image compressée et non homogène en deux dimensions et desdites au moins une image standard. [0021] L'invention se caractérise en ce que le moyen de détection directe de particularités dans ladite scène hyperspectrale intègre un réseau de neurones profond et convolutif architecturé pour calculer une probabilité de présence de la ou les particularités recherchées dans ladite scène hyperspectrale depuis l'ensemble desdites au moins une image compressée et non homogènes et desdites au moins une image standard et générer une image pour chaque particularité recherchée dont la valeur de chaque pixel aux cordonnées x et y correspond à la probabilité de présence de ladite particularité aux mêmes coordonnées x et y du plan focal hyperspectral de la scène ; ledit réseau de neurones profond et convolutif étant architecturé de façon à prendre en compte les décalages des plans focaux des différents capteurs et intégrer la fonction homographique permettant de fusionner les informations des différents capteurs en prenant en compte les parallaxes des différentes images. [0022] Ladite au moins une image compressée obtenue par le système optique contient le plan focal de la scène non diffractée au centre, ainsi que les projections diffractées suivant les axes des différents filtres de diffractions. Ainsi, le réseau de neurone utilise, pour la détection directe des particularités recherchées, les informations de ladite au moins une image diffractée suivantes : l'intensité lumineuse dans la partie centrale et non-diffractée du plan focal de la scène aux coordonnées x et y ; et des intensités lumineuses dans chacune des diffractions de ladite image compressée dont les coordonnées x' et y' sont dépendantes des coordonnées x et y de la partie centrale non diffractée du plan focal de la scène. [0023] L'invention permet ainsi de corréler les informations contenues dans les différentes diffractions de l'image diffractée avec des informations contenues dans la partie centrale non-diffractées de l'image obtenue. [0024] Les différentes diffractions de l'image compressée contenant une information spectrale importante mais dont chaque pixel contient une somme des diffractions à différentes longueurs d'onde, l'invention peut également utiliser la partie centrale de l'image, non diffractée, et permet de rechercher dans l'image complète les caractéristiques spatiales (forme, texture, etc.) et spectrale (réflectance). [0025] En pratique, contrairement à l'état de l'art classique de la méthode CTIS, l'invention permet de détecter des particularités dans ladite scène hyperspectrale en temps réel entre deux acquisitions du plan focal hyperspectral de la scène observée. Ce faisant, il n'est plus nécessaire de différer le traitement des images compressées et il n'est plus nécessaire de stocker ces images compressées après la détection. Également il n'est plus nécessaire de reconstituer l'image hyperspectrale avant d'appliquer la méthode de détection. [0026] En variante, ladite au moins une image compressée obtenue par le système optique contient le plan focal diffracté et encodé suivant le schéma de codage d'un masque introduit dans le chemin optique avant diffraction de la scène. Ainsi, le réseau de neurone utilise, pour la détection directe des particularités recherchées, les informations suivantes : le schéma du masque d'encodage utilisé pour encoder les diffractions du plan focal de la scène ; et des intensités lumineuses dans l'image compressée et diffractée dont les coordonnées x' et y' sont dépendantes des coordonnées x et v du plan focal de la scène observée. [0027] En pratique, contrairement à l'état de l'art classique de la méthode CASSI, l'invention permet de détecter des particularités dans une scène hyperspectrale en temps réel entre deux acquisitions du plan focal hyperspectral de la scène observée. Ce faisant, il n'est plus nécessaire de différer le traitement des images compressées et il n'est plus nécessaire de stocker ces images compressées après la détection. Également il n'est plus 6 nécessaire de reconstituer l'image hyperspectralc avant d'appliquer la méthode de détection. [0028] Selon un mode de réalisation, ladite au moins une image compressée est obtenue par un capteur infrarouge. Ce mode de réalisation permet d'obtenir une information invisible à l'oeil humain. [0029] Selon un mode de réalisation, ladite au moins une image compressée est obtenue par un capteur dont la longueur d'onde est comprise entre 300 nanomètre et 2000 nanomètres. Ce mode de réalisation permet d'obtenir une information dans le domaine visible et invisible à l'oeil humain. [0030] Selon un mode de réalisation, ladite au moins une image standard est obtenue par un capteur infrarouge. Ce mode de réalisation permet d'obtenir une information invisible à l'oeil humain. [0031] Selon un mode de réalisation, ladite au moins une image standard est obtenue par un capteur dont la longueur d'onde est comprise entre 300 nanornètre et 2000 nanomètres. Ce mode de réalisation permet d'obtenir une information dans le domaine visible et invisible à l'oeil humain. [0032] Selon un mode de réalisation, ladite au une moins image standard et ladite au moins une image compressée sont obtenues par un ensemble de miroirs scrni-transparents de sorte à capter ledit plan focal hyperspectral sur plusieurs capteurs simultanément. Cc mode de réalisation permet de capter instantanément des plans identiques. [0033] Selon un mode de réalisation, ladite au moins une image compressée est obtenue par un capteur comportant : une première lentille convergente configurée pour focaliser les informations d'une scène sur une ouverture ; un collimateur configuré pour capter les rayons traversant ladite ouverture et pour transmettre ces rayons sur un réseau de diffraction ; et une seconde lentille convergente configurée pour focaliser les rayons issus du réseau de diffraction sur une surface de captation. [0034] Ce mode de réalisation est particulièrement simple à réaliser et peut être adapté sur un capteur existant. [0035] Selon un mode de réalisation, ladite au moins une image compressée est obtenue par un capteur comportant : une première lentille convergente configurée pour focaliser les informations d'une scène sur un masque ;un collimateur configuré pour capter les rayons traversant ledit masque et pour transmettre ces rayons sur un prisme ; et une seconde lentille convergente configurée pour focaliser les rayons issus du prisme sur une surface de captation. [0036] Ce mode de réalisation est particulièrement simple à réaliser et peut être adapté sur un capteur existant. [0037] En ce qui concerne la détection de particularités depuis ladite au moins une image compressée et ladite au moins une image standard, l'invention utilise une réseau de 7 neurones profond et convolutif de détermination des probabilités de présence de ces particularités. Un apprentissage dudit réseau de neurones profond et convolutif permet d'indiquer la probabilité de présence des particularités recherchées pour chaque coordonnées x et y de ladite scène hyperspectrale. Par exemple, un apprentissage par rétro-propagation du gradient ou ses dérivés à partir de données d'apprentissage peut être utilisé. [0038] Le réseau de neurones profond et convolutif servant à la détection directe depuis ladite au moins une image compressée et ladite au moins une image standard a une structure de couche d'entrée adaptée à la détection directe. L'invention dispose de plusieurs architectures des couches profondes dudit réseau de neurones. Parmi celle-ci, une architecture auto-encoder telle que décrite dans le document « SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation », Vijay Badrinarayanan, Alex Kendall, Roberto Cipolla permet d'indiquer la probabilité de présence des particularités recherchées pour chaque coordonnées x et y de la scène hyperspectrale. Par ailleurs, le document « Mu/il/nodal deep learning for rohust rgb-d ohject recognition. In Intelligent Robots and Systems (IROS) », Eitel, A., Springenberg, J. T., Spinello, L., Riedmiller, M., and Burgard, W. (2015) IEEE/RSI International Conference on , pages 681#687. IEEE, décrit une architecture de réseau de neurones convolutif adapté au traitement de différentes images d'un même plan focal. [0039] Lesdites couches d'entrées du réseau de neurones sont adaptées afin d'être remplies avec les données de ladite au moins une image compressée et ladite au moins une image standard obtenues par le moyen d'acquisition. Ainsi, chaque couche d'entrée des différents chemins de traitement des images est un tenseur d'ordre trois et possède deux dimensions spatiales de taille X M45 et Y y, et une dimension de profondeur de taille D MY - [0040] L'invention utilise la relation non linéaire.f(x ' y,, d , ) ->(x , y ) définie pour x , y, [0..Y,,A,[ et d, [0..D,,Ad permettant de calculer les coordonnées xi, et y h', du pixel de ladite au moins une image compressée dont l'intensité est copiée dans le tenseur d'ordre trois de ladite couche d'entrée du chemin de traitement des images compressées du réseau de neurones aux coordonnées (x' y' (1,). [0041] Selon un mode de réalisation, la méthode de capture comporte un moyen d'acquisition d'au moins une image compressée contenant les diffractions dudit plan focal hyperspectral obtenue avec des filtres de diffraction. Ladite image compressée obtenue contient le plan focal de la scène non diffractée au centre, ainsi que les projections diffractées suivant les axes des différents filtres de diffractions. Une couche d'entrée du réseau de neurone contient une copie des huit représentations chromatiques de la scène hyperspectrale de l'image compressée selon la relation non linéaire suivante : 8 jpjjg.=X+Xcff-çpt(fl) + À it Y; = y ±ff (n) + À .À s'ire Y MLI o. Y -n floor ri dm-4,x); -À citmoddwAx; - n compris entre 0 et 7, le nombre de diffraction de l'image compressée ; - tif t compris entre 0 et D Nt y ; - X ( compris entre 0 et X Nt ; - Y tcompris entre 0 et 1Af.4; -Dm,,x, la constante de profondeur du tenseur du troisième ordre de ladite couche d'entrée ; - À s ex, la constante du pas spectral du pixel en X de ladite image compressée ; - À 5. /tee y, la constante du pas spectral du pixel en Y de ladite image compressée ; cusetx(n)correspondant au décalage suivant l'axe X de la diffraction -Y(n)correspondant au décalage suivant l'axe Y de la diffraction f " ofset )" [0042] Selon un mode de réalisation, la méthode de capture comporte un moyen d'acquisition d'au moins une image compressée contenant une représentation en deux dimensions encodée dudit plan focal hyperspectral obtenue avec un masque et un prisme. L'image compressée obtenue contient le plan focal de la scène diffractée et encodée au centre. Une couche d'entrée du réseau de neurone contient une copie de l'image compressée selon la relation non linéaire suivante : X + X05, SiX 1 avec : nxi, yr, - di compris entre 0 et D MA ; - X r compris entre 0 et XivtAx ; - y, compris entre 0 et YT.MA .2ti ; - X 0 ffs ' txcorrespondant au décalage suivant l'axe X de la diffraction " - offs ir)correspondant au décalage suivant l'axe Y de la diffraction " ) [0043] L'architecture du réseau de neurones profond et convolutif est composé d'un encodeur par image compressée et d'un encodeur par image standard permettant de rechercher les caractéristiques élémentaires propres à la détection souhaitée, suivi d'un décodeur permettant de fusionner les caractéristiques élémentaires propres de chacune des images traitées par les encodeurs et de générer une image de probabilités de f(x,r, Y 1, dr) avec : X in, g ,MaSk (X' yr), sinon y + y case t, S ly' a-1 inask (xt, yr), sinon 9 présence des caractéristiques à détecter dans ledit plan focal hyperspectral. La structure d'encodeurs/décodeur permet de rechercher les caractéristiques élémentaires et propres à la caractéristique principale recherchée dans ledit plan focal hyperspectral. [0044] Chaque encodeur est composée d'une succession de couche de neurones de convolution en alternance avec des couches de pooling (opérateur de décimation de la couche précédente) permettant de réduire la dimension spatiale. [0045] Le décodeur est composé d'une succession de couche de neurones de déconvolution en alternance avec des couches de unpooling (opération d'interpolation de la couche précédente) permettant une augmentation de la dimension spatiale. [0046] Par exemple, une telle structure d'encodeur/décodeur est décrite dans « SegNet: A Deep Conyolutional Encoder-Decoder Architecture for Image Segmentation », Vijay Badrinarayanan, Alex Kendall, Roberto Cipolla. [0047] Par exemple, une telle structure d'encodeurs fusionnant différentes images d'un même plan focal est décrit dans « Multitnocicd deep learnitzg for robust rgb-d abject recognition. In Intelligent Robots and Systems (IROS) », Eitel, A., Springenberg, J. T., L., Riedmiller, M., and Burgard, W. (2015) IEEE/RSI International Conference on , pages 681#687. IEEE. [0048] Un ensemble de couches de neurones entièrement connectées peut être positionné entre l'encodeur et le décodeur. Description sommaire des figures [0049] La manière de réaliser l'invention ainsi que les avantages qui en découlent, res- sortiront bien du mode de réalisation qui suit, donné à titre indicatif mais non limitatif, à l'appui des figures annexées dans lesquelles les figures 1 à 5 représentent : - [fig.1] : une représentation schématique de face des éléments d'un dispositif de capture et de détection dans une scène hyperspectrale selon un mode de réalisation de l'invention ; - [fig.2] : une représentation schématique structurelle des éléments du dispositif de la Fig. 1; - [fig.3] : une représentation schématique des diffractions obtenues par le dispositif d'acquisition de la Fig. 2 ; - [fig.4] : une représentation schématique de l'architecture du réseau de neurone de la Fig. 2. - [fig.5] : une représentation schématique de la connexion de la première couche du réseau de neurone de la Fig. 2. MANIÈRE DE DÉCRIRE L'INVENTION [0050] La Fig. 1 illustre un dispositif de capture 2 d'une scène hyperspectrale 3 comportant un ensemble de capteurs permettant d'obtenir au moins une image compressée en deux dimensions 11 ou 13 et au moins une image standard 12 d'un plan focal hyperspectral 3 dune scène observée. [0051] Tel qu'illustré sur la Fig. 2, le dispositif de capture 2 comportant au moins un dispositif d'acquisition d'une image compressée comporte une première lentille convergente 21 qui focalise le plan focal 3 sur une ouverture 22. Un collimateur 23 capte les rayons traversant l'ouverture 22 et transmet ces rayons à un réseau de diffraction 24. Une seconde lentille convergente 25 focalise ces rayons issus du réseau de diffraction 24 sur une surface de captation 26. [0052] La structure de cet assemblage optique est relativement similaire à celle décrite dans la publication scientifique « Computed-tomography imaging spectrotneter : experimetztal calibration and reconstruction resuhs », publiée dans APPLIED OPTICS, volume 34(1995) nombre 22. [0053] Cette structure optique permet d'obtenir une image diffractée 11, illustrée sur la Fig. 3, présentant plusieurs diffractions RO-R7 du plan focal 3 disposées autour dune image non diffractée de petite taille C. Dans l'exemple de la Fig. 3, l'image diffractée présente huit diffractions RO-R7 distinctes obtenues avec deux axes de diffraction du réseau de diffraction 24. [0054] En variante, trois axes de diffractions peuvent être utilisés sur le réseau de diffraction 24 de sorte à obtenir une image diffractée 11 avec seize diffractions. [0055] Les surfaces de captation 26, 32 et 46 peuvent correspondre à un capteur CCD (pour « charge-coupled device » dans la littérature anglo-saxonne, c'est-à-dire un dispositif à transfert de charge), à un capteur CMOS (pour « compleinentarv metaloxide-semiconductor » dans la littérature anglo-saxonne, une technologie de fabrication de composants électroniques), ou à tout autre capteur connus. Par exemple, la publication scientifique « Practical Spectral Photography », publiée dans Eurographics, volume 31 (2012) nombre 2, propose d'associer cette structure optique à un appareil photo numérique standard pour capteur l'image diffractée. [0056] En variante, tel qu'illustré sur la Fig. 2, le dispositif de capture 1 comportant au moins un dispositif d'acquisition d'une image compressée peut comporter une première lentille convergente 41 qui focalise le plan focal 3 sur un masque 42. Un collimateur 43 capte les rayons traversant le masque 42 et transmet ces rayons à un prisme 44. Une seconde lentille convergente 45 focalise ces rayons issus du prisme 44 sur une surface de captation 46. [0057] La structure de cet assemblage optique est relativement similaire à celle décrite dans la publication scientifique « Compressive Coded Aperture Spectral Imaging », Gonzalo R. Arce, David J. Brady, Lawrence Carin, Henry Arguello, and David S. Kittle. [0058] De préférence, chaque pixel des images compressée 11, standard 12, et compressée 13 est codé sur trois couleurs rouge, vert et bleu et sur 8 bits permettant ainsi de re- 11 présenter 256 niveaux sur chaque couleur. [0059] En variante, les surfaces de captation 26.32 ou 46 peuvent être un dispositif dont les longueurs d'ondes captées ne sont pas dans la partie visible. Par exemple, le dispositif 2 peut intégrer des capteurs dont la longueur d'onde est comprise entre 300 nanomètre et 2000 nanomètres. [0060] Lorsque les images 11, 12 ou 13 du plan focal hyperspectral observé sont obtenues, le moyen de détection met en oeuvre un réseau de neurone 14 pour détecter une particularité dans la scène observée à partir des informations des images compressées 11 et 13, et de l'image standard 12. [0061] En variante, seules les images compressée 11 et standard 12 sont utilisées et traitées par le réseau de neurone 14. [0062] En variante, seules les images compressée 13 et standard 12 sont utilisées et traitées par le réseau de neurone 14. [0063] En variante, seules les images compressées 11 et 13 sont utilisées et traitées par le réseau de neurone 14. [0064] Ce réseau de neurones 14 vise à déterminer la probabilité de présence de la parti- cularité recherchée pour chaque pixel localisé aux coordonnées x et y de la scène hyperspectrale 3 observée. [0065] Pour ce faire, tel qu'illustré sur la Fig. 4, le réseau de neurones 14 comporte un encodeur 51 pour chaque image compressée et pour chaque image non compressée ; chaque encodeur possède une couche d'entrée 50, apte à extraire les informations de l'image 11, 12 ou 13. Le réseaux de neurone fusionne les informations provenant des différents encodeurs 50 au moyen de couches de convolution ou de couches entièrement connectée. Un décodeur 53 et sa couche de sortie, apte à traiter ces informations de sorte à générer une image dont l'intensité de chaque pixel à la coordonnée x et y, correspond à la probabilité de présence de la particularité aux coordonnées x et v de la scène hyperspectrale 3, est insérée suite à la fusion des informations. [0066] Tel qu'illustré sur la Fig. 5, la couche d'entrée 50 d'un encodeur 51 est remplie avec les différentes diffractions de l'image compressée 11 selon la relation non linéaire x,un g x o s? x (n) À -À sliceï e \ ± offsetOn) +.13/4 suivante : f(xt, y r, dt) liceY avec : - pool- (dt / d.7,14 -À = d lm o cl elmA\ ; -n compris entre 0 et 7, le nombre de diffraction de l'image compressée ; - Ci, compris entre Oct D mA x ; 12 - Xt compris entre 0 et ; - y, compris entre 0 et -À sherA, la constante de profondeur du tenseur du troisième ordre de ladite couche d'entrée ; -À s ic e , la constante du pas spectral du pixel en X de ladite image compressée ; - À siirey, la constante du pas spectral du pixel en Y de ladite image compressée ; - xottse tX n) correspondant au décalage suivant l'axe X de la diffraction ; -y (n)correspondant au décalage suivant l'axe Y de la diffraction 11 offset Y [0067] L'architecture dudit réseau de neurones 14 est composé d'un ensemble de couches convolutivcs telle que la couche 50 assemblée linéairement et en alternance avec des couches de décimation (pooling), ou d'interpolation (unpooling). [0068] Une couche convolutivc de profondeur d, noté CONV(d), est définie par d noyaux de convolution, chacun de ces noyaux de convolution étant appliqué au volume du tenseur d'entrée d'ordre trois et de taille X 277 pu t,Y1 in ru r, input. La couche convolutivc génère ainsi un volume de sortie, tenseur d'ordre trois, ayant une profondeur d. Une fonction d'activation ACT est appliquée sur les valeurs calculées du volume de sortie. 100691 Les paramètres de chaque noyau de convolution d'une couche convolutive sont spécifiés par la procédure d'apprentissage du réseau de neurone. [0070] Différente fonction d'activation ACT peuvent être utilisée. Par exemple cette fonction peut être une fonction RcLu, définie par l'équation suivante : Rel,u(x)-max(0,x) [0071] En alternance avec les couches convolutivc, des couches de décimation (pooling), ou couche d'interpolation (unpooling) sont insérées. [0072] Une couche de décimation permet de réduire la largeur et la hauteur du tenseur d'ordre trois en entrée pour chaque profondeur dudit tenseur d'ordre trois. Par exemple, une couche de décimation MaxPool(2,2) sélectionne la valeur maximale d'une tuile glissante sur la surface de 2x2 valeurs. Cette opération est appliquée sur l'ensemble des profondeurs du tenseur d'entrée et génère une tenseur de sortie ayant la même profondeur et une largeur divisée par deux, ainsi qu'une hauteur divisée par deux. [0073] Une architecture de réseau de neurone permettant la détection directe de parti- cularités dans la scène hyperspectral peut être la suivante : Inputl Input2 Input3 CON V(64) CON V(64) CON V(64) MaxPool(2,2) MaxPool(2,2) MaxPool(2,2) CON V(64) CON V(64) CON V(64) MaxPool(2,2) MaxPool(2,2) MaxPool(2,2) 13 CONV(64) CONV(64) MaxUnpool(2,2) CONV(64) MaxUnpool(2,2) CONV(64) MaxUnpool(2,2) CONV(1 ) Output [0074] Les poids dudit réseau de neurones 14 sont calculés au moyen d'un apprentissage. Par exemple, un apprentissage par rétro-propagation du gradient ou ses dérivés à partir de données d'apprentissage peut être utilisé pour calculer ces poids. [0075] En variante, le réseau de neurone 14 peut déterminer la probabilité de présence de plusieurs particularités distinctes au sein de la même scène observée. Dans ce cas, la dernière couche convolutive aura une profondeur correspondant au nombre de particularités distinctes à détecter. Ainsi la couche convolutive CONV(/) est remplacée par une couche convolutive CONV(v), où v correspond au nombre de particularités distinctes à détecter. 14 [Revendication 1] [Revendication 2]