Brevet FR3048800A1 — publié le 20170915

PROCEDE DE TRAITEMENT D'IMAGES L'invention concerne un procédé de traitement d'images destiné à l'analyse discriminante d'une zone donnée d'espace observée. L'analyse discriminante peut par exemple consister en une détection de menaces. Sur un terrain d'opérations, il peut être nécessaire de disposer d'outils/dispositifs de détection optique de menaces, aussi bien en journée que durant les périodes de plus faibles luminosités, en particulier pendant la nuit. On connait des dispositifs comprenant un boîtier logeant deux capteurs d'images dont un premier est apte à couvrir un premier domaine spectral et un second est apte à couvrir un second domaine spectral qui est différent du premier domaine spectral, les premier et second capteurs d'images étant aptes à former des images d'une même zone d'espace donnée, des moyens de traitement aptes à détecter une menace située dans ladite zone à partir des images issues du premier capteur et/ou du second capteur. L'utilisation de plusieurs capteurs d'images aptes à couvrir des domaines spectraux différents autorise une détection d'un grand nombre de menaces, en particulier des menaces ayant des longueurs d'ondes très différentes. Il est également possible de différencier plusieurs types de menaces, selon qu'elles sont détectées par le premier capteur et/ou par le second capteur. Toutefois, les moyens de traitement implémentés dans ce type de dispositif ne permettent pas une utilisation dans des conditions de faibles luminosités telles qu'on les rencontre la nuit, de sorte que les informations affichées par les capteurs ne s'avèrent la plupart du temps pas assez pertinentes pour un observateur. La présente invention a notamment pour but d'éviter ces inconvénients d'une façon simple, efficace et économique. A cet effet, elle propose un procédé de traitement d'images à l'aide 3048800 2 d'un dispositif comprenant au moins un boîtier comprenant au moins un premier capteur d'images apte à couvrir un premier domaine spectral et au moins un second capteur d'images apte à couvrir un second domaine spectral, différent du premier domaine spectral, les premier et second 5 capteurs étant aptes à former des images d'une même zone d'espace, le premier capteur étant apte à couvrir un domaine spectral appartenant à la gamme des longueurs d'onde du spectre visible, le procédé consistant à : a) acquérir une première image /1 de ladite zone d'espace donnée à l'aide du premier capteur d'images, 10 b) acquérir une seconde image 12 de ladite zone d'espace donnée à l'aide du second capteur d'images, c) réaliser une décomposition de la première image /1 de manière à obtenir au moins une image de luminance /IL, d) à obtenir une image If résultant de la fusion numérique de l'image de 15 luminance /1", et de la seconde image 12, e) à ajouter une information de couleur à l'image de fusion If ou lors de l'étape d) de fusion. Au contraire des procédés de traitement d'images de la technique antérieure, l'invention propose d'analyser la quantité d'information de 20 chacune des première image 11 obtenue dans le domaine visible et seconde image 12, obtenue par exemple dans le domaine infrarouge, et de les fusionner numériquement dans une nouvelle image de fusion if et d'ajouter une information de couleur. De cette manière, l'image finale obtenue permet de restituer à un utilisateur une image comprenant des 25 informations en couleurs plus facilement interprétables par un ceil humain du fait de sa forte sensibilité aux longueurs d'ondes visibles. Selon une autre caractéristique, le procédé consiste préalablement à l'étape c), à réaliser une adaptation des dimensions de celle de la première image 11 et de la seconde image 12 présentant la plus faible résolution aux 30 dimensions de l'autre de la première image et de la seconde image. Cette étape de déformation vise encore à effectuer des opérations 3048800 3 d'agrandissement, de rotation, de décalage et de correction des aberrations géométriques sur l'image présentant la plus faible résolution. Préalablement à l'étape c), le procédé consiste également à faire correspondre la dynamique de la première image avec la dynamique de la 5 seconde image. Cette adaptation de dynamique vise essentiellement à rendre comparables les première et seconde images ainsi qu'à permettre une extraction d'un maximum d'information des images lors des étapes subséquentes. 10 Selon une autre caractéristique du procédé, l'étape de fusion numérique consiste à : i. réaliser des décompositions, notées respectivement Fe et F,2, en fréquences spatiales successives n de l'image de luminance /IL, et de la seconde image '2' 15 ii. effectuer un calcul d'énergie dans au moins certaines zones des images Fe, Fz chacune associée à une composante fréquentielle n, iii. calculer une image de pondération Pe, pour chacune des images Fe, Fz associées à une composante fréquentielle n, 20 à partir de l'analyse locale réalisée à l'étape précédente, iv. pour chaque image Fe, Fz associée à une composante fréquentielle effectuer le calcul suivant : F' 72(x, y) = PnIL (x, y) ' Fr!" (x, y) + Pn2 (x, y) ' Fn2 (x, y) y. effectuer une recombinaison de toutes les images F', associées chacune à une composante fréquentielle n de 25 manière à obtenir une image fusionnée If de toutes les fréquences spatiales. Selon l'invention, la fusion numérique de l'image de luminance In, et de la seconde image 12 se base sur une analyse fréquentielle et des contrastes des images comme le fait l'oeil humain. 3048800 4 Dans une réalisation particulière du procédé, la décomposition en fréquences spatiales consiste à appliquer successivement un filtre de moyenne ou passe-bas à chacune de l'image de luminance /1", et de la seconde image /2, selon la formule suivante : ni ou 2 = G. = G. 5 OÙ = le * S S désigne un filtre passe-bas le désigne l'image d'entrée /1", ou 12 En pratique, l'image FnL Ou 2 contenant la fréquence la plus élevée est représenté par FlL '2 et celle contenant la fréquence la plus faible est 10 représentée par F?.1-L °u2 où h représente le nombre d'opérations de convolution appliquées à l'image d'entrée le. Egalement dans une réalisation pratique de l'invention, l'étape ii) consiste à calculer l'énergie selon la formulation suivante : EiliL ou 2 (x, y) = Varni- °u 2 ( qx _ 1( , x + k21 , [y _ 2 , y + 21) où kx et kyreprésentent les dimensions d'une fenêtre d'analyse. 15 Cette énergie est calculée comme une variance locale dans une fenêtre de dimension kxx ky. Les images de pondération /37,1,-, /37., peuvent être obtenues de la manière suivante : AE,Tax (x, + Pn (x, = 2 - Agmx Où : = EÀ-L(x, - E,21(x, y) et DEnax = max(AE,i(x, y)), 20 prii_ ou 2 (x, e i] Les opérateurs de pondération ainsi définis permettent de favoriser l'information provenant de la première image du spectre visible ou de la seconde image infrarouge, en fonction de leur pertinence. Si l'énergie est Pr'," (x, y) = 2 - Mg' 3,E.P'(x y) - AEn(x, y) 3048800 5 équivalente dans les deux images ni et F722, l'opérateur de pondération représentera à part équivalent l'une et l'autre des images ce qui ne sera pas le cas si les énergies s'avèrent différentes. Finalement, l'étape de recombinaison consiste à réaliser le calcul 5 suivant : h If = Fin n=1 où h représente le nombre de composantes fréquentielles. Lorsque la couleur présente un aspect critique de discrimination/identification pour l'observateur, il peut être préférable de ne pas modifier la colorimétrie de l'image finale affichée dans un oculaire 10 d'observation. A cette fin, l'étape c) consiste ainsi, de préférence, à réaliser une décomposition de la première image I1 en une image de luminance In et deux images de chrominance 114, et 114. L'étape e) consiste alors à recombiner ou resynchroniser l'image de fusion If avec les images de 15 chrominance /lcb, et /1c, . Dans une réalisation pratique, le premier capteur est apte à couvrir un domaine spectral appartenant à l'intervalle compris entre 0,4 et 1,1 pm. Selon une autre caractéristique de l'invention, le second capteur est apte à couvrir un second domaine spectral appartenant à la gamme des 20 longueurs d'onde infrarouge. Le second capteur peut être apte à couvrir un domaine spectral appartenant à l'intervalle compris entre 7,5 et 14 pm. D'autres avantages et caractéristiques de l'invention apparaîtront à la lecture de la description suivante faite à titre d'exemple non limitatif et en 25 référence aux dessins annexés dans lesquels : - la figure 1 est un organigramme des principales étapes de traitement effectuées avec le procédé selon l'invention ; - la figure 2 est un organigramme des principales étapes de traitement 3048800 6 effectuées sur lors de l'étape de fusion numérique. On se réfère tout d'abord à la figure 1 qui représente le principe d'acquisition et de traitement d'images selon l'invention. Le procédé de traitement d'images selon l'invention est destiné à être mis en oeuvre dans 5 un dispositif comportant un boîtier logeant aux moins deux capteurs d'images aptes à couvrir des domaines spectraux différents. A titre d'exemple, le boîtier comporte ainsi un premier capteur d'images couvrant un domaine spectral compris entre 0,4 et 1,1 pm situé dans le domaine visible, et un second capteur apte à couvrir un second 10 d'images couvrant un domaine spectral compris entre 7,5 et 14 pm situé dans le domaine infra-rouge. Les deux capteurs sont agencés dans le boîtier de manière à être aptes à former des images d'une même zone d'espace. Le procédé 10 selon l'invention consiste à acquérir une première 15 image /1 en 12 d'une zone donnée d'espace à l'aide du premier capteur et à acquérir une seconde image 12 en 14 de la même zone d'espace à l'aide du second capteur. Dans un premier temps, la seconde image 12 subit un recalage sur la première image /1 en 16. Ce choix résulte essentiellement des dimensions 20 des capteurs utilisés. Généralement, les capteurs infra-rouge, tels que le second capteur, présentent une résolution plus faible que les capteurs du domaine visible tels que le premier capteur. Par exemple, le premier capteur peut avoir une résolution d'image de 1280 par 1024 pixels sur 10 bits et le second capteur peut avoir une résolution d'image de 640 par 480 25 pixels sur 14 bits. Ainsi, le recalage consiste essentiellement à adapter la résolution de la seconde image obtenue avec le second capteur de manière à ce qu'elle corresponde à la résolution de la première image obtenue avec le premier capteur de manière à conserver intacte la résolution du premier capteur le mieux défini. 30 Cette étape de recalage consiste également à réaliser une déformation complète de l'image de manière à prendre en compte 3048800 7 l'agrandissement à réaliser, la rotation, le décalage et les aberrations géométriques. Pour effectuer le recalage, il est possible d'utiliser des informations a priori telles que le positionnement quasi parallèles des axes optiques des systèmes optiques des premier et second capteurs. Il est de 5 plus possible de faire l'hypothèse que les corrections à apporter à la seconde image 12 sont minimes. Dans une autre étape 18 qui peut être réalisée immédiatement après l'acquisition de la première image 11, on réalise une décomposition de la première image 11 en une image de luminance In et deux images de 10 chrominance 114, et 114. Dans une étape subséquente 20, le procédé consiste à effectuer une adaptation de la dynamique de l'image /u, avec la seconde image 12. Comme cela a été évoqué précédemment, les première et seconde images ne sont pas acquises avec une même dynamique, 10 bits par exemple pour 15 la première image et 14 bits pour la seconde image. Il est donc important de ramener les première et seconde images sur une même échelle qui permette d'obtenir des informations sur chacune des première et seconde images pouvant être comparées. En pratique, l'adaptation de la dynamique permet d'adapter la dynamique des images de luminance /1", et des deux 20 images de chrominance /14, /1c, avec la seconde image 12. Dans une étape ultérieure 22, on réalise la fusion de l'image de luminance /lcb avec la seconde image 12, ce qui permet d'obtenir l'image If. Enfin, dans une ou deux dernières étapes 24 on ajoute une information de couleur à l'image de fusion if de manière à obtenir en 30 25 une image finale fusionnée comportant une information de couleur. L'étape de fusion 22 proprement dite sera maintenant décrite en détails en référence à la figure 2. Pour pouvoir appréhender le contenu de chacune des images de luminance /1", et de la seconde image 12 de manière locale, c'est-à-dire au 30 niveau du pixel analysé, on effectue une décomposition en fréquence 3048800 8 spatiales. Ainsi, la décomposition en fréquences spatiales est effectuée pour l'image de luminance in, et la seconde image /2. Il est ici fait référence aux images in et '2 qui sont les images obtenues après recalage et adaptation de la dynamique. 5 De manière générale, pour obtenir la première fréquence spatiale F1 (la fréquence la plus élevée), on filtre tout d'abord l'image par convolution avec un filtre K de moyenne ou « passe-bas » qui peut prendre la forme d'une simple moyenne locale dans une fenêtre de m par m pixels, soit la forme d'une gaussienne qui pondère alors les pixels de cette même fenêtre 10 de calcul par des coefficients décrivant une gaussienne. On obtient ainsi une image G1 « filtrée » sous-entendu « filtrée passe-bas » : G1 = le * S Cette image filtrée est soustraite de l'image d'origine. On obtient alors une image F1 ne contenant que des hautes fréquences : F1=Ie-G1=Ie-(Ie*S) La seconde fréquence spatiale F2 est obtenue en reproduisant le 15 schéma précédent mais en utilisant comme image d'entrée, l'image filtrée précédente F1. Cette image filtrée est donc de nouveau filtrée avec le même filtre passe-bas que précédemment et on obtient par différence une image F2 : F2 = G1 - G2 = G1 - (G1 Par récurrence, on obtient 20 Gn+1 = (G, * S) et F,+1 = G, - (G,* S) La dernière fréquence h sera représentée par la dernière convolution et représentera également le niveau moyen local de l'image : Fh - Gh - Gh_i * S Ainsi, on notera FIL = Gn_1* S avec G1 = I1L * S et F?, = Gn_1* S avec G1 = 12 * S. 25 Dans une seconde étape de traitement, on effectue un calcul d'énergie dans au moins certaines zones des images de chacune des composantes fréquentielles FIL et F. On choisit ici d'effectuer une analyse 3048800 9 compatible avec un traitement temps réel permettant une restitution instantanée d'une information à un observateur. Pour cela, on effectue une analyse par comparaison des énergies de chacune des images FP- et F. Cette analyse consiste à calculer la variance locale dans une fenêtre de 5 dimensions kx x ky centrée sur le pixel analysé ce qui donne : et, E.-,L(x, y) = Var (F.-,L 2x x 2x] _k kb Ei2.,(x, y) = Var (F,2., - 2 x + 2x] kx [Y LY 2y Y 2Y 2y Y + 2Y Dans une étape ultérieure, le procédé consiste à calculer une image de pondération Pe, pour chacune des images Fe, FZ associées à une composante fréquentielle n, à partir de l'analyse locale d'énergie réalisée à 10 l'étape précédente. Pour cela, on réalise la différence de ces énergies : AE,i(x, y) = (x, - En (x, y) Puis, on en calcule le maximum : Wax = max(AE,i(x, y)) On calcule ensuite une image de pondération pour chaque composante fréquentielle, ces pondérations étant telles que : Wax + AE,i(x, y) 131-L (X' = 2 . Annax AE,Tax - AE,i(x, y) Pr (x' Y) 2 - AErx avec Pr, (x, y) E [0,1] 15 Les images de pondération pour chaque fréquence spatiale PiNx, y) et Pi (x, y) sont ensuite appliquées aux images respectives FP- et F?, et enfin sommé selon la formule suivante : F',i(x, y) = Pr'," (x, y) - ni. (x, y) + Pi(x, y) - F,21(x, y) L'image synthétique F'n(x, y) pour la fréquence spatiale n se rapproche ainsi, du fait de la pondération appliquée, de l'image FP- ou F?, 20 qui contient le plus d'information. 3048800 10 La recomposition des fréquences spatiales est le processus inverse de l'étape 1. On commence donc par la fréquence h la plus basse, c'est-à-dire la dernière issue de la décomposition décrite précédemment, ce qui donne : Gih = Fih 5 Puis on recompose avec les fréquences spatiales précédentes : Gih-1 = Fih-1 Gih Si If est le résultat de la recombinaison alors : h = Go = F', n=1 où h représente le nombre de composantes fréquentielles. Après l'obtention de l'image de fusion /1., le procédé consiste à ajouter une information de couleur à l'image de fusion If. 10 Ainsi, le procédé consiste à d'utiliser la couleur du premier capteur. Pour cela l'ajout de l'information de couleur s'effectue en sommant ou resynchronisant l'image de fusion If avec les images de chrominance /14, et /1c, dont les dynamiques ont été adaptées comme évoqués précédemment. 15 En pratique, on comprend que ce type d'ajout d'information couleur s'avéra de moins en moins pertinent au fur et à mesure que le niveau de luminosité de la zone observé diminue. En effet, l'information de couleur provenant des images de chrominance sera au fur et à mesure de plus en plus réduite. 20 Il est rappelé que les niveaux de nuit sont depuis longtemps standardisés selon le tableau suivant qui est rappelé à titre informatif et est bien connu de l'état de la technique. 25 3048800 11 Les unités indiquées dans le tableau ci-dessus sont en lux qui est unité dérivé du système international, tel que 1 lux=1 cd-sr-m-2. Ce tableau indique les valeurs de niveau de nuit en fonction de l'éclairement lumineux, 5 un type de ciel étant associé à chaque niveau de nuit. 0.7 REVENDICATIONS1. Procédé (10) de traitement d'images à l'aide d'un dispositif comprenant au moins un boîtier comprenant au moins un premier capteur d'images apte à couvrir un premier domaine spectral et au moins un second capteur d'images apte à couvrir un second domaine spectral, différent du premier domaine spectral, les premier et second capteurs étant aptes à former des images d'une même zone d'espace, le premier capteur étant apte à couvrir un domaine spectral appartenant à la gamme des longueurs d'onde du spectre visible le procédé consistant à : a) acquérir (12) une première image /1 de ladite zone d'espace donnée à l'aide du premier capteur d'images, b) acquérir (14) une seconde image 12 de ladite zone d'espace donnée à l'aide du second capteur d'images, c) réaliser une décomposition de la première image /1 de manière à obtenir au moins une image de luminance /IL, d) à obtenir une image If résultant de la fusion numérique (22) de l'image de luminance /1", et de la seconde image 12, e) à ajouter une information de couleur à l'image de fusion If. 2. Procédé selon la revendication 1, caractérisé en ce qu'il consiste, préalablement à l'étape c), à réaliser une adaptation (16) des dimensions de celle de la première image /1 et de la seconde image 12 présentant la plus faible résolution aux dimensions de l'autre de la première image et de la seconde image. 3. Procédé selon la revendication 1 ou 2, caractérisé en ce qu'il consiste, préalablement à l'étape c), à faire correspondre la dynamique (20) de la première image /1 avec la dynamique de la seconde image 12. 4. Procédé selon l'une des revendications 1 à 3, caractérisé en ce que la fusion numérique consiste à : 3048800 13 i. réaliser des décompositions, notées respectivement Fe et F,2, en fréquences spatiales successives n de l'image de luminance /IL, et de la seconde image I2, ii. effectuer un calcul d'énergie dans au moins certaines zones 5 des images Fe, F2 chacune associée à une composante fréquentielle n, iii. calculer une image de pondération Pe, pour chacune des images Fe, F2 associées à une composante fréquentielle n, à partir de l'analyse locale réalisée à l'étape précédente, 10 iv. pour chaque image Fe, F2 associée à une composante fréquentielle effectuer le calcul suivant : (x, y) = Pri L (x, y) - ni. (x, y) + Pri (x, y) - Fiî (x, y) y. effectuer une recombinaison de toutes les images F'n associées chacune à une composante fréquentielle n de manière à obtenir une image fusionnée If de toutes les 15 fréquences spatiales. 5. Procédé selon la revendication 4, caractérisé en ce que la décomposition en fréquences spatiales consiste à appliquer successivement un filtre de moyenne ou passe-bas à chacune de l'image de luminance /1", et de la seconde image 12, selon la formule suivante : ni ou 2 = Gn = Gn * S 20 OÙ = * S S désigne un filtre passe-bas I, désigne l'image d'entrée /1", ou 12 6. Procédé selon la revendication 4 ou 5, caractérisé en ce que l'étape ii) consiste à calculer l'énergie selon la formulation suivante : ou 2 - kx kx] ky kyb _ EÀ_L, =Var Var °u 2 [X - -2 x 2 [Y 2 Y 2 (x, ni. 25 où kx et ky représentent les dimensions d'une fenêtre d'analyse. 3048800 14 7. Procédé selon la revendication 6, caractérisé en ce que les images de pondération /3,1, /37., sont obtenues de la manière suivante : AE,T"(x, + AE,i(x, prp, (x, = 2 - AErx AE,Tax(x, - AE,i(x, Pn (x, = 2 - AErx Où : = - y) et DEnax = max(AE,i(x, y)) 8. Procédé selon l'une des revendications 4 à 7, caractérisé en ce que 5 l'étape de recombinaison consiste à réaliser le calcul suivant : h If = Fin n=i où h représente le nombre de composantes fréquentielles. 9. Procédé selon l'une des revendications 1 à 8, caractérisé en ce que l'étape c) consiste à réaliser une décomposition de la première image /1 en une image de luminance /1", et deux images de chrominance /14, et /1cr. 10 10. Procédé selon la revendication 9, caractérisé en ce que l'étape e) consiste à sommer l'image de fusion If avec les images de chrominance I1Cb, et /1c, . 11. Procédé selon l'une des revendications précédentes, caractérisé en ce que le premier capteur est apte à couvrir un domaine spectral 15 appartenant à l'intervalle compris entre 0,4 et 1,1 pm. 12. Procédé selon l'une des revendications précédentes, caractérisé en ce que le second capteur est apte à couvrir un second domaine spectral appartenant à la gamme des longueurs d'onde infrarouge. 13. Procédé selon la revendication 12, caractérisé en ce que le second 20 capteur est apte à couvrir un domaine spectral appartenant à l'intervalle compris entre 7,5 et 14 pm.