Brevet FR2683928A1 — publié le 19930521

PROCEDE ET DISPOSITIF DE FORMATION D'IMAGES PAR TRAITEMENT DES DONNEES FOURNIES PAR DES CAPTEURS OPTRONIQUES La présente invention concerne les procédés et dispositifs de formation d'images à partir de signaux fournis par des capteurs optroniques. On cherche, pour beaucoup d'applications, à accroitre le plus possible la résolution fournie par une prise de vue, afin de pouvoir distinguer des détails de plus en plus petits. On peut citer, à titre d'exemple, la photographie à partir d'avion et de satellite, où une définition élevée est requise pour identifier les structures terrestres de petite taille, telles que les routes et les mobiles. Classiquement, on utilise, pour la prise de vue depuis un avion ou un satellite, un dispositif comprenant une optique à lentille et/ou à miroir et un détecteur matriciel ou linéaire (barrette de capteurs à transfert de charges). La taille du pixel d'image est liée au pas de répartition des capteurs. Des motifs de coût ou des raisons technologiques limitent la finesse des barrettes et la réduction du pas de répartition des capteurs. Plus- le capteur est petit, moins il reçoit de photons et plus le signal risque d'être bruité. La présente invention vise à fournir un procédé et un dispositif d'amélioration de la résolution que permet d'atteindre l'utilisation d'un détecteur ayant un pas de répartition donné des capteurs. L'invention propose dans ce but un procédé selon lequel on prend plusieurs vues de la meme zone, sous forme de p matrices de pixels dont une valeur radiométrique est représentée par un signal numérisé, les matrices étant décalées dans deux directions orthogonales ; on soumet les signaux numérisés à une transformation de passage du domaine spatial au domaine fréquentiel à deux dimensions ; on effectue une combinaison linéaire des transformées dans le domaine fréquentiel ; et on soumet le résultat à la transformée inverse pour obtenir des valeurs radiométriques correspondant à une résolution #p fois plus élevée. Ce procédé permet d'écarter ou du moins de réduire très considérablement les facteurs qui rendraient totalement vaine une tentative consistant simplement à juxtaposer les pixels, pour reconstituer une image composite à haute résolution à partir de plusieurs images à plus basse résolution. Ces facteurs sont notamment le fait que chaque capteur integre non seulement un flux lumineux qui correspond au pixel centré en son barycentre, mais aussi un flux correspondant à des pixels adjacents dans l'image à haute définition reconstituée du fait des imperfections de l'optique et la dimension physique des capteurs. Le coût supplémentaire provoqué par l'utilisation de plusieurs barrettes et de moyens de calcul permettant d'effectuer la transformée (transformée de Fourier en général) et la transformée inverse est très inférieur au supplément de prix qu'impliquerait une barrette de détecteurs de qualité accrue, dépourvue de tout défaut. Au surplus, elle permet une meilleure intégration du flux lumineux en provenance de la zone observée. L'invention propose également un dispositif optronique de formation d'images comprenant : une pluralité p de réseaux de capteurs fournissant p images d'une même zone, chacune sous forme d'une matrice de pixels ayant la même répartition dans toutes les matrices, les matrices étant décalées suivant deux directions dans le plan de l'image, chaque réseau fournissant, pour chaque capteur, une valeur radiométrique sous forme d'un signal numérisé ; des moyens pour effectuer une transformée de l'image par passage du domaine spatial au domaine fréquentiel en deux dimensions des moyens pour faire une combinaison linéaire des p transformées ; et des moyens pour former la transformée inverse. Les moyens de transformation et de combinaison linéaire peuvent être logiciels et implémentés sur un calculateur d'usage général ; ils peuvent également être matériels (logique câblée) lorsqu'on recherche une vitesse élevée. L'invention est susceptible d'être mise en oeuvre quelles que soient la nature et la constitution des détecteurs. Elle peut en particulier être mise en oeuvre avec des détecteurs de type "barrette" utilisés couramment pour la prise de vue à partir d'un satellite par la technique de balayage au sol dite "push-broom" ; elle est également applicable avec des détecteurs matriciels, à transfert par ligne ou par trame. L'invention sera mieux comprise à la lecture de la description qui suit d'un mode particulier de réalisation, donné à titre d'exemple non limitatif. La description se réfère aux dessins qui l'accompagnent, dans lesquels - la figure 1 est un schéma de principe montrant une répartition matérielle possible des détecteurs dans un dispositif ; - la figure 2 montre une répartition possible des pixels fournis par p = 4 détecteurs, le décalage entre chaque pixel et les pixels adjacents fournis par d'autres détecteurs étant égal à la moitié d'un pas de répartition - la figure 3 est un synoptique de principe du dispositif. La figure 1 montre, à titre d'exemple un dispositif utilisant des capteurs appartenant à deux barrettes parallèles 101 et 102 portées par le même support et sur lesquels l'image d'une zone Z est formée, au cours du balayage, par une même optique 11. Ce montage est favorable en ce qui concerne les erreurs de parallaxe, car les détecteurs sont proches les uns des autres. Mais il nécessite la réalisation de détecteurs spéciaux. L'emploi de deux supports distincts écarte ce problème, mais augmente la parallaxe. Il est possible d'utiliser deux détecteurs séparés sans augmenter la parallaxe en plaçant une lame semiréfléchissante derrière l'optique, mais le flux reçu par les capteurs est alors reduit. Enfin l'emploi d'optiques en nombre égal à celui des détecteurs permet de réduire la parallaxe, mais au prix d'une complexité accrue et de la nécessité d'une précision élevée dans la prise de vues. La limite théorique d'amélioration de la résolution pour p détecteurs est Pour que la résolution puisse être améliorée par reconstruction à partir de p images, la fréquence de coupure spatiale fc de l'optique 10 doit être supérieure à fie/2 ou f e est la fréquence d'échantillonnage spatial, qu'on supposera être la même en abscisses et en ordonnées, c'està-dire selon deux directions orthogonales x (direction des barrettes de capteurs dans le cas de la figure 1) et y (direction du balayage). Pour qu'il soit possible de doubler la résolution, à supposer que p > 2, il faut fc > La figure 2 montre la répartition idéale de 8x8 pixels appartenant à quatre images 1, 2, 3 et 4 fournies chacune par un détecteur. Les intervalles entre pixels sont théoriquement égaux, aussi bien en abscisses qu'en ordonnées. Dans la pratique, cette répartition idéale n'est pas respectée et le traitement doit en tenir compte. Il est seulement essentiel que les décalages soient constants ils sont connus a priori ou calculables, par exemple par une opération d'intercorrélation entre les images. Dans le cas où le traitement de l'image s'effectue à bord d'un véhicule (satellite ou avion) on traitera généralement une scène complète bloc par bloc, chaque bloc correspondant par exemple à quatre images de 4x4 pixels ou de 8x8 pixels. On dispose en effet de calculateurs programmés ou câblés de faible consommation et de faible encombrement, disponibles dans le commerce, permettant d'effectuer des transformées à deux dimensions d'une telle taille. Lorsque le traitement s'effectue au sol, en temps différé, il est possible de traiter globalement la scène avec des moyens de calcul plus puissants. Les opérations successives effectuées sur les images sont schématisées sur la figure 3. Chaque image (bloc ou scène complète), représentée par une matrice de données numériques, par exemple 1, 2, 3 ou 4, chaque donnée représentant un pixel, est soumise tout d'abord à une transformation 12 de passage du domaine spatial au domaine fréquentiel. Ce sera en général une transformée de Fourier discrète ou TFD. L'opération est effectuée pour les fréquences spatiales #Kfe K'fe# (f,f') = , N N Ke CO,N-11 K'# [O,N-1] où N est la taille du bloc. On dispose ainsi, dans des mémoires 14, des coefficients des quatre transformées, correspondant aux quatre images. Le filtre de reconstruction 16 effectue la reconstruction d'une image haute résolution par combinaison linéaire des p images à basse résolution, dans le domaine spectral. Le filtre de reconstruction 16 fournit donc l'ensemble 1HR des coefficients de la transformée de l'image haute résolution, à partir des p ensembles IBR de coefficients de la transformée en deux dimensions des p images à basse résolution, c'est-à-dire, pour l'image d'ordre n: n I (f,f'), avec n e El,p] BR La combinaison linéaire peut s'écrire Cette reconstruction s'effectue en tenant compte : - des décalages en x et y, connus a priori ou calculés ; - de la fonction de transfert de modulation ; et/ou - du bruit. Les décalages sont en théorie d'un demi-pixel dans le cas de la figure 2 entre les images basse résolution. Ces décalages ne sont pas limitatifs. Ils peuvent être quelconques, mais à condition d'être constants dans le bloc. Si le décalage est connu, par exemple mesuré une fois pour toutes, il peut être affiché en 18. Dans le cas contraire, les divers décalages entre images peuvent être calculés par un corrélateur 20. Les coefficients an de la combinaison linéaire sont en conséquence déterminés par un calcul d'optimisation consistant à minimiser le critère J sérance et cela pour toutes les fréquences discrètes f,f' dans l'image, de 0 à fe. Kfe K'fe (f,f') = N N où N est la taille du bloc et K ou K' eL0,Nl. Cette formulation fait apparaître trois termes dans J, correspondant aux facteurs ci-dessus - une erreur de reconstruction, due à la méthode - un bruit de repliement de spectre, - un bruit d'origine physique, dû notamment aux détecteurs et au bruit au sol. Le calcul d'optimisation conduit à déterminer le vecteur A de coefficients de pondération a1 a2 A = . aD Il montre que le vecteur A optimal est donné par : A = (DT WT HT H W D + #)-1 DT WT HT Y (1) formule (1) : - D est une matrice de compensation des décalages en en abscisses et #y en ordonnées pour les E détecteurs ; - W est une matrice d'information, à quatre lignes dans le cas d'un doublement de la résolution, faisant intervenir la fréquence d'échantillonnage spatial è - H est une matrice faisant intervenir la fonction de transfert de modulation de l'ensemble optique-détecteurs pour tenir notamment compte de la contribution, à chaque valeur de pixel, de points qui seraient, en l'absence d'aberration, représentés uniquement par des pixels adjacents à ce pixel - l'exposant T désigne la transposée conjuguée, 0 Y = 0 dans le cas d'un réseau O rectangulaire de pixels - r représente la contribution du bruit (des détecteurs du sol) pour chaque image. r a une forme qui diffère selon la nature estimée du bruit. La matrice D se limite à la matrice diagonale (2) : e 2iir(J8:1+f'8) o ) O e2çX(Xa +y ... o D=fc2 (2): 0 O e 2i*(f6f+f'6) k k où # et # sont les décalages en x et en y de l'image k, x y Il y aura une matrice diagonale D particulière pour chacune des fréquences de calcul. La matrice d'information W fait intervenir non plus les fréquences pour lesquelles le calcul est effectué, mais uniquement la fréquence d'échantillonnage fe et les décalages. W est représentable par une matrice à quatre lignes et p colonnes (3) dans le cas d'une amélioration par un facteur 2, de la forme i i I exp Cz;*f.s: pir/c63 mise xpDisfes '1 exifeS2 exp (3) exp 2txf1 ... crtHtsfe(Jis +7geYP0itfe(s +2 > J > eXF EiTff (6z +;3 La matrice H représente la contribution de la fonc- tion de transfert de l'optique et des détecteurs et elle prend une valeur différente pour chacune des fréquences f et f' : Hc( f, f') O O O 0 Hc(f- fe, f') 0 0 H= (4) 0 0 Hc(#,#' - fe) 0 O O O Hc(f - fe, f'- fe) Elle peut être soit mesurée, soit donnée par le constructeur. Enfin, comme on l'a indiqué plus haut, le facteur r est choisi en fonction des connaissances que l'on a du bruit de la scène. Dans le cas fréquent d'un bruit blanc gaussien, r2 est représentable par la matrice diagonale (5) ry E(lbld(ff311) 0 E(JXc(fiiI)2) 0 5 & f,?) o r2 = o o est le rapport bruit à signal dans l'image d'ordre k, avec kE1,p]. r peut être connue - soit empiriquement en cherchant r qui donne la meilleure résolution ; - soit à titre de donnée fournie par le constructeur. r2 peut être considéré comme le rapport des densités spectrales du bruit et du signal au sol, qui est exprimé en luminance équivalente. On obtient ainsi, en sortie du filtre, les coefficients représentant le spectre à haute résolution de l'image sur l'intervalle E0,f]*(0,fj Le reste du spectre de l'image haute résolution (deux fois plus grande) sur [0,2fe]*0,2fe]-[O,fe] est obtenu soit par symétrie hermitienne, soit par un calcul analogue. Ces coefficients peuvent être stockés dans une mémoire tampon 22. Une transformée 24 inverse de celle pratiquée sur les images à basse résolution (par exemple une TFD-1) permet de retrouver en sortie une image haute résolution 26 comportant, dans le cas de quatre images d'entrée, les valeurs radiométriques pour des pixels répartis à un pas moitié de celui du pas dans chacune des images d'entrée. REVENDICATIONS 1. Procédé de formation d'image à partir de signaux fournis par des capteurs optroniques, selon lequel on prend plusieurs vues de la même zone, sous forme de E matrices de pixels dont une valeur radiométrique est représentée par un signal numérisé, les matrices étant décalées dans deux directions orthogonales, caractérisé en ce que : on soumet les signaux numérisés à une transformation de passage du domaine spatial au domaine fréquentiel à deux dimensions ; on effectue une combinaison linéaire des transformées dans le domaine fréquentiel ; et on soumet le résultat de la combinaison à la transformée inverse pour obtenir des valeurs radiométriques correspondant à une résoîutionrp fois plus élevée. 2. Procédé selon la revendication 1, caractérisé en ce que la transformée est une transformée de Fourier discrète. 3. Procédé selon la revendication 1 ou 2, caractérisé en ce que la combinaison linéaire est de la forme où f et f' sont les fréquences spatiales pour lesquelles le calcul est effectué dans deux directions orthogonales (x,y), IBR est l'ensemble des coefficients de chaque transformée, 1HR est le résultat de la combinaison, et an sont les coefficients de la combinaison, choisis pour minimiser le critère J J = Espérance pour toutes les fréquences discrètes f, f' dans l'image, de 0 à la fréquence d'échantillonnage spatial fe. 4. Procédé selon la revendication 3, caractérisé en ce que a est choisi en tenant compte - des décalages ; - de la fonction de transfert de modulation ; et/ou - du bruit. 5. Procédé selon la revendication 3 ou 4, caracté risé en ce que l'on donne à la matrice A des coefficients an ou n (l,p) la valeur A = (DT WT HT H W D + 2)-1 DT WT HT y où - D est une matrice de compensation des décalages en en abscisses et a y en ordonnées pour les p détecteurs - W est une matrice d'information, à quatre lignes dans le cas d'un doublement de la résolution, faisant in tervenir la fréquence d'échantillonnage spatial fe ; - H est une matrice faisant intervenir la fonction de transfert de modulation de l'ensemble optique-détecteurs pour tenir notamment compte de la contribution, à chaque valeur de pixel, de points qui seraient, en l'absence d'aberration, représentés uniquement par des pixels adjacents à ce pixel - l'exposant T désigne la transposée conjuguée, dans Y = 0 dans le cas d'un réseau 0 rectangulaire de pixels - r représente la contribution du bruit pour chaque image. 6. Procédé selon la revendication 5, caractérisé e ce que, dans le cas où p=4, on donne à W la valeur r 1 1 cx; L21r!cg1] exP;lf.lj '- W = ISZi6:7 62ir,6 exp 2ii! exp -------- es[2X/ spC-ilf,(6i+1 #x et #y sont les décalages dans les deux direc- tions orthogonales. 7. Procédé selon la revendication 5 ou 6, caractérisé en ce qu'on donne à r la valeur correspondante à un bruit blanc gaussien. 8. Dispositif optronique de formation d'images comprenant : une pluralité p de réseaux de capteurs (101,102) fournissant p images d'une même zone (BR1, BR2, BR3, BR4), chacune sous forme d'une matrice de pixels ayant la même répartition dans toutes les matrices, les matrices étant décalées suivant deux directions (x,y) dans le plan de l'image, chaque réseau fournissant, pou chaque capteur, une valeur radiomêtrique sous forme d'un signal numérisé ; des moyens (12) pour effectuer une transformée de l'image par passage du domaine spatial au domaine fréquentiel en deux dimensions , des moyens (16) pour faire une combinaison linéaire des p transformées ; et des moyens (24) pour former la transformée inverse.