FR 2840996 A1 20031219 FR 0207235 A 20020612 supervision des barques de sang. 1 2840996 PROCEDE ET DISPOSITIF D'EXTRACTION DE SIGNATURE SPECTRALE D'UNE CIBLE PONCTUELLE La presente invention concerne ['extraction de signature spectrale d'une cible ponctuelle apparaissant comme une tache ayant une radiometrie differente de celle du fond dans au moins une image d'une scene fournie par un capteur dans une bande spectrale generalement unique. On qualifiera de "ponctuelle" une cible qui appara^t dans ['image fournie par un detecteur matriciel dtinstrument d'observation comme une tache dont l'energie radiometrique est en majeure partie concentree sur une surface equivalente a celle d'un pixel et s'etend sur quelques pixels mutuellement adjacents du fait de la diffraction de ['instrument. L'invention trouve une application particulierement importante dans ['extraction, ou la restitution, de la signature d'une cible ponctuelle fixe ou mobile dans une image a une ou plus frequemment a deux dimensions fournie par un capteur mono bande porte par un avion ou un satellite. La signature spectrale d'une cible peut etre representee par un vecteur d'etat et, suivant le cas, on cherchera a obtenir l'ordre zero du vecteur d'etat, c'est-a-dire la radiometrie moyenne de la cible, I'ordre 1, 2 0 c'est-a-dire la morphologic du spectre de la cible, pouvant etre representee par une pente, voire meme des ordres superieurs. L'extraction de signature et sa caracterisation presentent de nombreuses applications dans les domaines civils et militaires. Wile peut etre combinee a une recherche de localisation de la cible, effectuee 2 5 sur une image unique, eVou a une restitution de trajectoire a partir d'images multiples successives fournies par un meme capteur. On conna^'t deja divers procedes d'extraction de signature d'une cible ponctuelle fixe ou mobile a partir d'une ou de plusieurs images fournies par un capteur aeroporte. 3 o En particulier, on conna^t un procede qui exige de disposer d'une image dans deux bandes spectrales distinctes. II est alors possible de deduire la signature de la cible par des calculs, par exemple par calcul d'un rapport de radiometrie dans les deux bandes. Ce procede 2 2840996 peut etre mis en couvre en utilisant, comme capteur, un ensemble de deux instruments mono-bandes, travaillant dans des bandes spectrales differentes. Mais la mise en ceuvre simultanee des deux instruments impose des conditions diffcilement realisables sur avion ou satellite. Les deux instruments doivent etre alignes. Les instruments et leurs electroniques de detection dolvent faire ['objet d'une calibration differentielle. Une seconde solution consiste a utiliser un instrument assurant ['observation dans deux bandes, mais ['instrument est alors complexe et couteux. Un autre procede deja utilise utilise la correlation entre des imagettes pour rechercher le maximum de la fonction d'intercorrelation. On peut ainsi obtenir la relation d'etalement du point representatif de la cible ou PSF (d'apres la formulation anglo-saxonne Point Spread Function) en fonction de la longueur d'onde. Pour arriver a ce resultat, il faut tout d'abord realiser une discretisation en longueur d'onde pour obtenir les imagettes successives. Ce procede, dont les performances vent d'autant plus elevees que la discretisation est fine, conduit a constituer des bases d'imagettes de volume tres important. II 2 o exige des calculs lourds et peu compatibles d'un fonctionnement en temps reel. De plus, I'evaluation de la pertinence des ordres restitues du vecteur d'etat n'est obtenue qu'a ['issue des calculs. II n'est pas possible de limiter a priori le nombre d'ordres du vecteur d'etat que l'on souhaite restituer. La presente invention vise a fournir un procede repondant mieux que ceux anterieurement connus aux exigences de la pratique, notamment en permettant ['extraction de signature en temps reel avec une approximation directe immediate et simultanee des differents ordres, et cela sur une image fournie par un capteur mono-bande dont la realisation technique est simple. Dans ce but, I'invention propose notamment un procede d'extraction de signature spectrale d'une cible ponctuelle apparaissant comme une tache de radiometrie differente de celle du fond dans au moins une image, formee d'une matrice de pixels, d'une scene obtenue 3 2840996 dans une bande spectrale unique, suivant lequel, apres une etape eventuelle de suppression de fond, - on effectue une detection et une extraction d'une imagette contenant la cible, par exemple par seuillage radiometrique, - on effectue sur l'imagette un traitement d'extraction de signature et de localisation du centre de la tache dans l'imagette, - on effectue une decomposition spectrale par projection des don nees rad iometriq u es d es pixels representant la tache sur une base de fonctions (U), puis une projection orthogonale vers une nouvelle base (V) faisant appara^tre des ordres successifs du vecteur d'etat de la signature. Dans le cas frequent ou ['image est fournie par un capteur monte sur un porteur mobile(tel qu'un avion ou un satellite) le capteur de formation de ['image sera generalement associe a des moyens externes fournissant des informations de datation, de position et d'attitude du capteur par rapport a la scene, notamment en vue de permettre de recaler des images successives les unes par rapport aux autres. On peut citer, a titre d'exemple de mise en ceuvre de ['invention, I'extraction d'une signature de cible dans une image ou des 2 o images successives fournies par un capteur infrarouge mono-bande, travaillant dans une bande de transparence atmospherique, par exemple entre 3 et 5 m ou entre 8 et 12 m. Toutefois, I'invention est egalement applicable dans d'autres bandes spectrales. L'invention peut egalement etre utilisee pour extraire la signature d'une cible en partant d'images fournies par un capteur multi bandes, bien que son interet soit alors plus faible. Un tel procede permet notamment de decoupler les ordres successifs du vecteur d'etat les uns par rapport aux autres, d'obtenir de fa,con directe immediate et simultanee une approximation des ordres successifs de la decomposition du spectre et eventuellement de restituer de fa,con precise tous ces ordres de decomposition en mettant en couvre le couplage entre la position de la cible et sa radiometrie. Dans un mode particulier de realisation, le procede 4 2840996 suivant ['invention permet de restituer egalement la position d'une cible ponctuelle a partir d'une image, done d'une observation, unique, en mettant en aeuvre une estimation du centre de la tache formee par la cible dans ['image avec une precision inferieure a la taille d'un pixel, puis la decomposition spectrale et la projection orthogonale mentionnee plus haut. Les ordres successifs du vecteur d'etat peuvent alors etre estimes directement et simultanement. Dans beaucoup de cas il suffira de rechercher les ordres O et 1. Dans le cas ou l'on dispose de plusieurs images successives, c'est-a-dire d'observations multiples, le procede permet au surplus de reconstituer la trajectoire de la cible ponctuelle. La base de fonctions servant a la decomposition spectrale de la radiometrie de la cible peut etre de natures diverges. Wile peut etre constituee de fonctions orthogonales, telles que des fonctions trigonometriques, notamment sinus, ou de type dichotomique. La base peut egalement etre constituee de certaines fonctions non orthogonales, choisies de fa,con a assurer une compatibilite optimale avec la projection orthogonale constituent l'etape ulterieure. Le procede suivant ['invention presente egalement une grande souplesse d'adaptation a differents cas particuliers. Dans le cas ou on recherche une approximation directe, simultanee et rapide, en temps reel, une resolution directe par approximation suffira. Dans le cas ou on recherche une restitution avec une precision elevee des differents ordres successifs de la decomposition du spectre, on mettra en aeuvre un processus de resolution iterative du probleme inverse qui sera defini plus loin, cela en quelques iterations tenant compte du couplage entre la position et la radiometrie de la cible. Cette inversion peut etre effectuee par une methode classique des moindres carres ou par une methode de convergence sous contraintes evoluees, par exemple de type gradients reduits generalises ou Powell. II est possible de realiser une analyse multi modeles, c'est-a-dire utilisant plusieurs families differentes de fonctions de la base de decomposition du spectre. L'invention propose egalement un dispositif permettant de 2840996 mettre en ceuvre le procede defini ci-dessus. Ce dispositif comportera generalement, en plus d'un capteur permettant d'obtenir des images sous forme d'une matrice a deux dimensions de pixels codes sous forme numerique, des moyens de calcul programmes de fagon a mettre en ceuvre les etapes definies plus haut, associes a une memoire stockant les bases de fonctions requises pour la decomposition. Les caracteristiques ci-dessus ainsi que d'autres appara^'tront mieux a la lecture de la description qui suit de modes particuliers de realisation, donnes a titre d'exemples non limitatifs. La description se refere aux dessins qui l'accompagnent, dans lesquels: - la figure 1 est un synoptique simplifie d'un mode de mise en ceuvre du procede; - la figure 2 illustre les fonctions mises en ceuvre pour ['extraction de signature et eventuellement de position ou de trajectoire; - la figure 3 est un diagramme montrant un mode de decomposition spectrale utilisant une base de fonction dichotomique; - la figure 4 est un schema detaille montrant la sequence des operations d'extraction avec plus de detail que la figure 2; Un dispositif de mise en ceuvre de ['invention peut avoir la constitution de principe montree en figure 1. Ses differents elements seront successivement decrits. Capteur Le dispositif 10 comporte un capteur constitue par un 2 5 instrument optronique 11 ayant une optique 1 2 et un detecteur de formation d'une image 14 de type matriciel, associe a un amplificateur 16 et un convertisseur analogique-numerique 18. Le detecteur fournira en general directement une image a deux dimensions. On peut cependant utiliser un detecteur a une seule dimension lorsque le dispositif est monte sur un porteur faisant defiler la scene observee (mode dit de balayage ou push-broom). Le detecteur fournit, lors de sa mise en ceuvre, des images successives 14. Le capteur peut avoir une bande unique large ou etroite, 6 2840996 continue ou fragmentee. La resolution du capteur sera pratiquement toujours proche de la limite de diffraction. Lorsque le procede n'est mis en ceuvre que pour effectuer une extraction de signature et eventuellement une localisation de cible, cheque sequence d'operations peut n'etre effectuee que sur une seule image d'une scene 20 fournie par le capteur et contenant la cible 22. En revanche, une identification de trajectoire necessite d'effectuer des calculs sur plusieurs images successives de la meme scene contenant la cible 22. 0 Le detecteur fournit ainsi, sur la sortie 24, des images successives qui vent utilisees par une chane de traitements destinee a: - observer la cible, limiter la recherche a une imagette (ou des imagettes) de surface plus reduite que celle des images, - eventuellement effectuer une suppression de fond, - detecter la cible et caracteriser sa signature. Les donnees brutes apparaissant sur la sortie 24 component, sauf lorsque l'on ne cherche pas a localiser la cible dans un repere absolu, en plus de la radiometrie de chaque pixel code sur N bits, 2 0 des informations de contexte permettant de dater chaque image et d'indiquer la position du porteur et son attitude dans le cas d'un capteur monte sur un tel porteur mobile. Ces derrieres informations peuvent etre explicites ou implicites. Dans ce dernier cas la prise en compte de la position et de ['attitude du porteur, fournies par exemple par un systeme 2 5 SCAO du porteur interviennent a un stade posterieur. Chane image: suppression de fond Dans le mode de realisation montre en figure 1, les images brutes vent traitees par une chane image de suppression de fond 26 pouvant egalement effectuer une correction radiometrique. Cette chane image pourra etre omise lorsqu'il y a peu ou pas de fond structure, ctest-a-dire dans un contexte favorable a ['observation. Wile sera prevue lorsqu'il existe un fond structure. La chane image 26 permettant de supprimer le fond peut 7 2840996 etre de type classique et notamment purement spatial, purement temporel ou spatio-temporel. Toutefois on utilisera avantageusement l'un des procedes decrits dans la demande de brevet francais n 01 14934, a laquelle on pourra se reporter. La partie correction radiometrique des images brutes permet de reduire les non-uniformites differentielles de reponse des detecteurs. Les lois de correction utilisees vent classiques de type lineeire, polynomiale ou encore logarithmique. Wiles peuvent etre implantees dans des calculateurs specialises ou d'usage general ou correspondre a une table de correction applicable a chaque pixel. En sortie de cette correction, les pixels de ['image vent codes sur Nc bits. La correction peut etre suivie d'un filtrage pour extraire les informations utiles de ['image. Ce filtrage peut etre de type temporel, spatial ou spatio-temporel, comme indique ci-dessus. Enfin des traitements lies aux problemes de repliement et de stabilisation de visee, peuvent etre ceux decrits dans la demande FR 01 1 4934. 2 0 Chame de detection et d'extraction des imagettes Cette chane effectue deux operations. Apres suppression des fonds, le procede effectue une detection des "plots" contenant la cible, par des techniques classiques de type seuillage, fixe ou evolutif. La taille des plots depend essentiellement de ltetalement dO a la diffraction, lorsqu'on utilise un instrument qui n'est limite que par la diffraction. Souvent la taille retenue sera celle d'un carre de 3 a 5 pixels de cote. Wile correspond a des longueurs d'onde et un diametre pupillaire que lton utilise souvent pour des observations depuis l'espace. II est necessaire de reduire la taille de ['image d'origine afin de n'appliquer les traitements d'extraction de signature que sur une partie utile de ['image, autour de la cible. La taille de l'imagette sera d'un nombre M'x Nc de pixels ( M' lignes x Nc colonnes) choisi pour contenir tous les pixels concernes par la cible, 8 2840996 c'est-a-dire les plots detectes. Cette fonction est realisee de fa,con numerique par des calculateurs specialises ou un calculateur general. Pour tenir compte de ce qu'une cible peut n'etre pas centree sur un pixel, on peut etre amene a aller jusquta M x Nc = 7x7. Lorsqu'on souhaite ulterieurement faire une trajectographie (cas de ['extraction 30 montree en fig 2), la chane doit fournir une sequence dtimagettes et il est necessaire de disposer dtinformations de datation et d'attitude du porteur pour recaler les images successives les unes par rapport aux autres :10 Trajectographie La recherche de barycentrage 32 ( procede appele egalement "centroding") appliquee a l'imagette ou a la sequence dtimagettes est un prealable necessaire a l'initialisation de la reconnaissance. En effet, I'introduction des coordonnees du centre de la tache dans la resolution du probleme est necessaire a ['extraction de la signature. Si on ne dispose que d'une seule imagette, on ntobtiendra que la restitution de la position de la cible, avec une precision de calcul limitee par des biais et bruits. Si on dispose d'une sequence d'imagettes, on pourra obtenir une restitution de la trajectoire de la cible, associee a un bilan d'erreur. Decomposition spectrale: projection sur une base de fonctions (U); La decomposition 34 du spectre de la cible se fait par projection sur une base de fonctions U. Cette base de decomposition peut etre realisee: avec des fonctions orthogonales, telles que des fonctions de type sinus ou de type dichotomique, - avec des fonctions non orthogonales, telles que des fonctions polynomiales par exemple. L'equation (1) explicite la relation entre ['image Im (i,j) definie dans un repere pixel (i,j), la fonction d'etalement de point ou PSF instrumentale et le spectre de la cible (?). La PSF est fonction de la position du pixel ligne et colonne (i,j), 9 2840996 de la position sub-pixellique du centre de la tache: (x0,y0) et de la longueur d'onde; la base U de decomposition. La decomposition pour des fonctions polynomiales et dichotomiques est donnee respectivement par les equations (3) et (4) ci 2 0 dessous, uniquement a titre d'illustration: e() = eO + e.i + e2.42 +.... + ei e() = EoDo() + EDi() + EoDo() + EiD() + EoooDooo() + EooDoo() ou Do() a D() peuvent avoir la representation graphique donnee a la figure 3. 2. On peut alors exprimer ['image dans l'espace image sous la forme indiquee par ['equation (5). II y a separation des notions de spectre et de PSF. 2840996 La relation (5) permet de mettre en evidence le besoin de la i caracteristique PSF de ['instrument en fonction de la longueur d'onde. Im (i, j) = úkúk J ek () À PSF {[(x - xo) - i], [(y - yo)-j],;,} dxdyd; X,Y,2 (5) ' %, Base U Caract de la PSF en La base U. exprimee en fonction de la longueur d'onde peut alors s'exprimer dans ltespace image par ltequation (6), ce qui permettra la generation de la matrice des vecteurs U dans ltespace image. Im (ú) ek Uk) j ÀUk() k (6) Projection orthogonale (figures 2 et 4) La projection orthogonale 36 de la base U est un processus permettant de generer une base orthonormee V, constituee de vecteurs V'..., V'. La methode de generation de la matrice des vecteurs V' a partir de la decomposition du spectre de la cible selon la base U est la suivante: 2 0 V = Ul /||ul || v2 = (U2 - (U2.V)V)/llU2 - (U2.V) V3 = (U3 - (U3-V)V(U3V2)V2) / ||U3 - (U3-V)V-(U3 -v2)v2 V = (Ui-(UiV)V-(UiV2)V2 - -(Ui-Vk) Vk)/lIUi-(UiV)V-(UiV2)V2 - -(Ui-Vk)VkIIi La matrice de passage de la base U vers la base orthonormee V est: UO ko O ko,1. ko, _ O k1 1... kl,i x... -ui O.. O k k V r 11 2340996 K etant le dernier ordre retenu. La projection orthonormee de la base U vers la base V permet: (i) de decoupler les ordres du vecteur d'etat, c'est a dire de rendre les comportements des ordres independents les uns par rapport aux autres. On fait ainsi dispara^'tre toute pollution d'un ordre sur ses voisins. C'est ce qu'exprime la relation (7) pour une imagette de taille i x j pixels. Le symbole vectoriel n'est pas indique pour plus de clarte.. o,1 K,...Vk, Posx. = V0,2 K,2...Vk,2 X Etat Im,xj Vo zxjK zxj Vk zxj Etatk (7) Projection 1 (U=> V) Vecteur d'etat (ii) d'approximer de facon immediate, par resolution directe, tous les ordres du spectre simultanement, si on suppose que la position de la cible fournie par le barycentrage effectue sur l'imagette n'est pas remise en 1 5 cause. En effet, il suffit dtinverser la matrice des vecteurs de la base V (equation 8) pour obtenir immediatement une approximation de tous les ordres du spectre que l'on souhaite retenir (vecteur d'etat) suivant la o formule (8) ci-dessous EtatO Vo, K,...Vk,,1 ImO = Vo 2 Y,2 Vk 2 x Etat k Vo,ixiK,ixj...Vk,ixi Im iXj _ Vecteur d'etat Matrice V inversee :S k designe le dernier ordre auquel on limite la decomposition. On constate que l'on ne se heurte pas a un des problemes des solutions anterieurement connues, a savoir que l'on doit conna^'tre un ordre 12 2340996 posterieur pour verifier qu'un ordre donne est correct. En effet on genere simultanement tous les ordres dont on souhaite disposer et, par analyse des covariances, comme indique ci-dessous, on determine immediatement a quel ordre il suffit de s'arreter lorsque la covariance depasse un seuil. Dans la pratique on ne depassera generalement pas l'ordre 4. (iii) de calculer de fa,con precise, en quelques iterations multi-axes (avec la covariance associee a chacun des ordres du vecteur d'etat) tous les elements pertinents du vecteur d'etat. La pertinence des ordres peut etre vue: - soit a travers la restitution de tous les ordres du vecteur d'etat precedemment explicite, soit a travers une analyse de covariance effectuee sur la matrice de la base V. On peut choisir parmi les methodes iterative de resolution du probleme inverse disponibles. On peut utiliser la methode des moindres carres classique dans le cas d'un modele sans erreur. On peut utiliser une methode de convergence plus evoluee (Powell, Gradient Reduit Generalise) dans le cas ou on peut utiliser le modele n'est pas parfaitement connu. ImrefO Imo 1 Vo K, Vk, Posx,y Corrx, _ t= V0,2 K,2 Vk,2 x EtatO - corrO l Imref ix; Imxj J Vo xqK; xi V'xJ l Etatk Corrk J (g) - Iteration 0 ? La figure 4 donne une representation simplifiee des etapes ci-dessus. Apres extraction d'imagette (ou d'une sequence si on veut effectuer une identification de trajectoire) une decomposition est effectuee dans l'espace spectral, sur une base U qui peut etre celle de la formule (3). Toujours dans l'espace image, on effectue separement une estimation du centre de la tache cible avec une definition sub-pixel fournissant les valeurs (xO,yO) qui est utilisee pour fournir une ex249I6de 1'image constituee des i x j pixels a partir de la base de vecteurs U. L'image devient alors une fonction lineaire dans U. Les operations ulterieures correspondent aux equations (7) a (9) ci-dessus. L'operation peut etre arretee a 1'approximation immediate de 1'ensemble des ordres retenus. Wile peut etre poursuivie jusqu'a l'obtention de la signature et eventuellement de la position ou de la trajectoire en effectuant un calcul complet des ordres retenus (generalement au moins O et 1) par inversion de matrice et iterations arretees au moyen d'un test sur un critere de fin 1 o d'evolution. 14 2840996 REVENDICATIONS 1. Procede d'extraction de signature spectrale d'une cible ponctuelle apparaissant comme une tache de radiometrie differente de celle du fond dans au moins une image, formee d'une matrice de pixels, d'une scene obtenue dans une bande spectrale unique, suivant lequel, apres une etape eventuelle de suppression de fond, on effectue une detection et une extraction d'une imagette contenant la cible, par - exemple par seuillage radiometrique, on effectue sur l'imagette un traitement d'extraction de signature et de localisation du centre de la tache dans l'imagette, et on effectue une decomposition spectrale par projection des donnees radiometriques des pixels representant la tache sur une base de fonctions (U), puis une projection orthogonale vers une nouvelle base (V) faisant appara'^tre des ordres successifs du vecteur d'etat de la signature. 2. Procede suivant la revendication 1, dans lequel on restitue egalement la position de la cible a partir d'une image unique, en mettant en ceuvre une estimation du centre de la tache formee par la cible dans ['image avec une precision inferieure a la taille d'un pixel, puis les cites decomposition spectrale et projection orthogonale. 3. Procede suivant la revendication 1, dans lequel, I'image etant fournie par un capteur monte sur un porteur mobile, on fournit au capteur de formation de ['image des informations de datation, de position et d'attitude du porteur. 4. Procede suivant la revendication 1, suivant lequel, pour obtenir une restitution avec une precision elevee des differents ordres successifs de la decomposition du spectre, on met en couvre un processus de resolution iterative de probleme inverse par iterations tenant compte du couplage entre la position et la radiometrie de la cible. 2840996 5. Procede suivant la revendication 4, suivant lequel on effectue 1'inversion par la methods des moindres carres ou par une methode de convergence sous contraintes evoluee, par exemple de type gradients reduits generalises ou Powell.