FR 2953086 A1 20110527 FR 0905652 A 20091125 5 10 15 20 25 30 35 40 45 4 2953086 Titre : Procédé pour réaliser une correction de non uniformité de réponse des détecteurs photosensibles. Résumé : L'invention proposée permet de faire une correction de la non uniformité des détecteurs matriciels des caméras thermiques en continu et sur un fond de paysage, que la caméra soit en mouvement (sur un porteur, en rotation pour une veille panoramique, ...) ou non. Elle est applicable à tous les détecteurs, refroidis ou non. Une électronique simple, de type logique câblée, réalise la détection des erreurs de réponse de l'ensemble des pixels de l'image par comparaison avec la valeur des pixels voisins. Une détection de type extremum local est réalisée. Un principe de statistique, basée sur la probabilité d'avoir un pixel, d'un niveau strictement supérieur ou inférieur à ses voisins, en fonction de la bande passante spatiale de l'ensemble caméra (MRTD : Minimum Resolvable Temperature Difference) permet de corriger une fraction de l'erreur (d'offset) détectée sur ce pixel. La valeur de correction, mémorisée dans une mémoire, est alors ajustée. Le phénomène statistique se mettant en place au cours du flux des images, les défauts d'homogénéité des différents pixels sont alors progressivement corrigés. Une détection de la zone de dynamique du pixel corrigé (point chaud ou point froid) et une mémorisation des corrections précédentes permet de faire également une correction sur le gain du pixel. Ce procédé permet également de détecter les pixels "morts" du détecteur et d'y apporter une correction "classique" par remplacement par un pixel voisin fonctionnant correctement. Cette méthode ne nécessite pas de réglage et fonctionne sans seuil ce qui la rend très robuste. Domaine technique : L'invention concerne les traitements de base des images thermiques. Ces traitements sont généralement réalisés par les fabricants de caméras thermiques, mais peuvent également être réalisés par des systèmes de détection, automatique ou non, ou par des systèmes de visualisation ou de présentation des images (pré ou post traitements). L'ensemble des technologies des détecteurs thermiques est concerné, refroidie ou non. Même si les erreurs d'homogénéité sont différentes suivant les détecteurs, le procédé, étant auto adaptatif, peut être utilisé efficacement. Etat de l'art : Actuellement les correction de non uniformité des capteurs (thermiques) sont généralement réalisées par mesure d'une source uniforme placée devant le détecteur (obturateur ou source de référence, ou défocalisation de l'image par l'objectif). Le procédé consiste à exposer le capteur à une source la plus homogène possible, de mesurer le résultat et de mémoriser les écarts afin d'apporter ensuite une correction inverse. 2953086 2. 1 Certaines méthodes proposent également des corrections à partir d'analyse de flux vidéo sur des images réalisées avec des fonds de paysage (sans source de référence). Il s'agit alors de faire une analyse de l'évolution d'une intensité rayonnée par une portion de la scène en cas de déplacement dans l'image. Ces méthodes, beaucoup plus complexes que le dispositif objet de l'invention, suppose en général des restrictions sur la nature de la scène observée (stationnarité dans le temps, ...). La réponse des pixels du détecteur peut être modélisée approximativement par une droite : Ru = G,l xu + O Ou Gij est le gain du pixel situé aux coordonnées i et j dans la matrice de détecteur, O;j étant l'offset de ce même pixel. L'erreur intrinsèque au détecteur est alors pour le pixel ij la différence Rij-PPj L'exposition à un seul niveau de température ne permet pas de faire la correction due au terme Gij. Mais par ailleurs, ce terme Gy est généralement beaucoup plus stable dans le temps, et donc ne nécessite que peu de variation de correction. La correction du gain GGj est réalisée en faisant deux expositions du détecteur à deux températures différentes. Un calcul de type régression linéaire permet alors d'estimer l'ensemble des deux paramètres. La variation clans le temps du paramètre Oij dépend de la technologie du détecteur utilisé, mais oblige dans tous les cas à faire cette correction relativement souvent (à chaque démarrage, et environ toutes les heures en fonction des variations thermiques de l'environnement du détecteur) Cette opération perturbe la prise d'image qui est interrompue pendant la mesure des réponses des détecteurs élémentaires. De plus les bruits électroniques et thermiques perturbent la mesure de réponse des pixels réalisée sur la source homogène. Ces mesures sont donc réalisées sur plusieurs images afin de moyenner les mesures et de minimiser ces bruits. Ce procédé est consommateur de temps. Enfin "la source homogène" n'est pas parfaite et génère avec ce procédé des erreurs de correction (à basse fréquence spatiale) qui peuvent être dommageables à la qualité de l'image. Les sources (ou références) externes à la caméra, voir les systèmes d'obturateurs internes, sont volumineux et coûteux. L'invention qui permet de supprimer ce besoin permet donc des gains de place et de coût sur la caméra. Exposé de l'invention L'invention concerne un dispositif de correction en temps réel de non homogénéité des images 45 thermiques, caractérisé en ce qu'il comprend : • Un détecteur matriciel (de toute technologie, refroidie ou non), placé derrière une optique adaptée, • Un système de digitalisation qui fournit une image numérique à deux dimensions spatiales et une valeur représentative de la température détectée 50 20 25 30 35 40 3 2953086 1 • Une électronique câblée (ou éventuellement un calculateur programmé classique) qui comporte un dispositif de comparaison de valeurs de pixels voisins, des opérateurs de calcul, des mémoires de paramètres associées à chaque pixel. • Eventuellement une mémoire non volatile pour mémoriser les corrections en cas de 5 coupure de tension. L'invention concerne également un procédé d'analyse des images qui comporte les étapes suivantes : 1. le calcul de correction de l'image en fonction des tables de correction calculées et mémorisées 2. la mesure des extremums locaux dans l'image (comparaison stricte avec les proches voisins) 3. la modification d'un pas de la valeur d'offset du pixel extremum (détecté par l'étape 2) dans le sens inverse à son écart par rapport aux voisins 4. la mémorisation de la valeur du pixel, ainsi que la correction effectuée 5. l'analyse des différentes corrections effectuées dans le passé et la recherche d'erreur sur le gain du pixel 6. la modification éventuelle (en fonction de l'étape 5) d'un pas de la valeur de gain du pixel dans le sens identifié. Puis la remise à zéro éventuelle des mémoires des corrections effectuées sur ce pixel. 7. l'analyse de la fréquence de correction du pixel, ou des niveaux d'erreur d'offset, et caractérisation du pixel comme "pixel mort". Puis la correction de ce pixel. (Voir schéma 3 : Organigramme) Ce procédé est effectué en temps réel sur les images. La correction étant progressive, l'optimum n'est obtenue qu'après un certain temps, dépendant de la scène observée. On peut observer que l'exposition à une scène homogène (méthode classique) permet d'accélérer la convergence de la correction, mais n'est plus nécessaire, grâce à cette invention. A l'extinction de la caméra les tableaux de correction d'Offset et de Gain par pixel peuvent être mémorisés, afin d'être réutilisés instantanément au prochain démarrage, augmentant ainsi la vitesse de convergence et donc la production d'images corrigées de qualité. La correction effectuée sur l'Offset du pixel est d'un pas, soit la plus petite unité mesurable par le système. Ce niveau, inférieur au bruit électronique et au bruit thermique des images permet de faire une correction qui aboutit donc à une correction meilleure que ces bruits. Dans le cas d'une source homogène, si l'on considère la correction stabilisée dans le temps, ce sont les bruits qui, additionnés au signal, vont déterminer les pixels "extremum locaux". Un pixel vu comme trop brillant par le dispositif verra son offset diminué d'un pas. Statistiquement, si cette correction était abusive, le pixel apparaîtra dans un temps indéterminé comme trop sombre, et bénéficiera d'une correction inverse. L'erreur de correction sera donc au maximum d'un pas, donc inférieure aux bruits. L'invention revient donc à moyenner les corrections dans le temps, alors que la méthode traditionnelle moyenne au préalable les images pour éliminer le bruit, et effectue une correction par la suite. Si la source n'est pas homogène, le fonctionnement de l'invention est identique, sauf pour les sources qui apparaissent ponctuelle flans l'image. Si la caméra et la source ponctuelle (cible) sont parfaitement fixes dans le temps, l'Offset du pixel considéré risque de subir une 10 15 20 25 30 35 40 45 50 4 2953086 correction abusive jusqu'à la valeur des pixels du voisinage les plus proches. Ce cas est très rare pour la raison suivante : la résolution des détecteurs modernes est généralement plus importante que la stabilisation de la ligne de visée et la source ponctuelle n'est pas visualisée toujours au même endroit. De plus ce risque de dégradation de l'image finale n'est pas très important car dans ce cas nous sommes à la limite de résolution de l'image. Dans le cas d'observation dans une direction stabilisée par un moyen extérieur (gyrostabilisation par 5 exemple) une variante de l'invention permet de minimiser le risque d'apparition de ce défaut au prix d'une augmentation du temps de convergence du filtrage. Il s'agit d'interposer une étape 2 bis au procédé qui consiste à vérifier que le pixel est extremum (de même sens) dans deux images successives. 10 (Voir schéma 1 : Pixel « statistiquement trop brillant ») La détection d'un Gain incorrect est réalisée si un pixel sur une source sombre (objet froid) est détecté trop sombre et si ce même pixel sur un objet clair (source chaude) est détecté trop claire ou inversement. C'est donc la variation naturelle du paysage visualisé qui permet cette 15 correction très lente. Cette lenteur est légitime, car la variation du Gain intrinsèque d'un pixel est faible et très lente dans le temps. Le dispositif de traitement caractérise donc les pixels comme sombres ou clairs en fonction d'un seuil arbitraire et non significatif. Les pixels supérieurs à 2/3 de la dynamique de l'image seront considérés comme clairs, les pixels inférieurs à 1/3 de la dynamique seront considérés comme sombres. Les autres pixels (compris en 1/3 et 2/3) ne seront pas considérés. Chaque pixel comporte une mémoire de correction claire (CC) et une mémoire de correction sombre (CS). Ces mémoires sont initialisées au démarrage par des zéros. Si une correction d'offset est détectée pour un pixel, la mémoire correspondante à son niveau est initialisée à +1 si l'Offset est augmenté, et -1 si il est diminué. Si une configuration CS = +1 et CC = -1 est détectée, le Gain du pixel est diminué d'un pas et les mémoires CS et CC sont réinitialisées à 0. Si une configuration CS = -1 et CC = +1 est détectée, le Gain du pixel est augmenté d'un pas et les mémoires CS et CC sont réinitialisées à 0. (Voir schéma 2 : Correction de l'offset puis correction du gain) Les pixels morts, c'est-à-dire ayant une réponse constante dans le temps, vont être détectés par le dispositif comme étant des extremums locaux à une fréquence beaucoup plus importante que les autres. Le dispositif comporte donc un système classique de compteur (incrémenté par les corrections et décrémenté régulièrement) ou un autre système de mesure de fréquence traditionnelle en électronique ou en traitement du signal pour détecter ces pixels. Une mémoire spécifique sera alors basculée dans un état mémorisant cette détection. La valeur du pixel sera alors remplacée par la valeur du dernier pixel traité n'ayant pas de défaut. Les avantages de cette invention sont qu'elle permet une détection des erreurs de non uniformité sans réglage (sans seuil) et sans outillage ou moyen externe (sources homogènes). En outre la correction est réalisée en temps réel et sans perturber le flux d'image qui peux être utilisé en permanence pour de la visualisation ou pour des traitements autres (poursuite de cibles, détection automatique, ...). Ce procédé peut également être utilisé à posteriori sur une séquence d'image enregistrée. Une première passe sur les images (ou une partie des images) permettant de générer une table de 5 2953086 1 correction des offsets et éventuellement des gains de chaque pixel. Cette table étant ensuite utilisée pour corriger la séquence ou le film en entier. Cette méthode permet donc de corriger des images à posteriori, même si une évaluation des défauts de non uniformité du capteur n'a pas été réalisée avant la prise d'image. Ces corrections à posteriori n'étant pas réalisables dans 5 le cas de correction de Non Uniformité classique par visualisation d'une scène homogène de référence. 10 15 20 25 30 35 40 45 50 6 Revendications1 1. Procédé de correction de non uniformité des détecteurs matriciels utilisés pour faire des images thermiques caractérisé en ce qu'il consiste à effectuer en temps réel au moins les étapes suivantes : a. Correction des non uniformité de chaque pixel par sommation avec une table 5 de correction d'offset. b. Détection des pixels extremum locaux par comparaison de leur valeur par rapport à la valeur des pixels voisins proches. c. Modification d'un pas dans le sens inverse de l'écart par rapport aux voisins, de la valeur d'offset du pixel extremum déterminé à l'étape b et sauvegarde de 10 cette valeur dans la table de correction d'offset. 2. Procédé selon la revendication 1 permettant la correction des défauts de gain de chaque pixel caractérisé en ce qu'il comprend en outre au moins les étapes suivantes effectuées en temps réel : 15 d. Mémorisation des corrections successives de la valeur d'offset d'un pixel extremum dans deux tables de correction de gain, une table pour les pixels clairs dite table claire et une autre pour les pixels sombres, dite table sombre ; e. Détection des corrections opposées de la valeur d'offset par comparaison de la table claire et de la table sombre ; 20 f. Si des corrections sont opposées, modification de la valeur du gain du pixel par augmentation ou diminution d'un pas de cette valeur de gain, augmentation du gain si offset augmenté dans la table sombre et offset diminué dans la table claire, diminution du gain dans le cas contraire. g. Réinitialisation à zéro des tables de correction claire et sombre pour ce pixel. 25 3. Procédé selon la revendication 1 permettant de détecter les pixels insensibles au paysage, dit «pixels morts » caractérisé en ce qu'il comprend en outre une étape de mesure de la fréquence de correction des pixels en temps réel au moyen d'un compteur ou d'un système de mesure de fréquence ; si la fréquence de correction d'un 30 pixel est anormalement élevée, le pixel considéré est un pixel mort. 4. Procédé selon la revendication 1 permettant d'accélérer la convergence des valeurs d'offsets vers les valeurs de la structure fixe du capteur sans faire disparaître d'éventuels détails de la scène dans une image fixe (caméra immobile) caractérisé en ce que la valeur de correction de l'offset des pixels appliquée dans l'étape c selon la 35 revendication 1 est déterminée en fonction du temps (la valeur sera plus importante pour les premières images) et en fonction du balayage du fond (la valeur sera plus importante pour les images en mouvement), détecté par mouvement dans l'image ou par un capteur externe. 5. Procédé selon la revendication 1 permettant une correction rapide dès les premières 40 images caractérisé en ce qu'il comprend en outre une étape d'initialisation des valeurs de correction d'offset par des valeurs mémorisées lors de corlbetions antérieures. 6. Procédé selon la revendication 1 permettant de réaliser la correction a posteriori sur une séquence d'image caractérisé en ce que la table des valeurs de correction d'offset et éventuellement les tables de correction de gain suivant la revendication 2 sont 45 appliquées à l'ensemble des images. 7. Dispositif de correction de la non uniformité des détecteurs matriciels des caméras thermiques caractérisé en ce qu'il comprend des circuits électroniques basés sur des fonctions simples (comparateurs, mémoires, additionneurs,...) ou un circuit intégré de type FPGA pour la mise en oeuvre du procédé selon les revendications 1 à 5. & Dispositif selon la revendication 7, caractérisé en ce qu'il comprend une mémoire électronique non volatile de la taille du nombre de pixel dans les images pour la mise en oeuvre du procédé selon la revendication 6 et pour conserver dans le temps et même après extinction de l'alimentation de la camera, les données de correction, et en ce que les correction d'offset sont initialisées par la mémoire au démarrage, après une mise sous tension. 9. Produit programme d'ordinateur comprenant des portions/moyens/instructions de code de programme pour l'exécution des étapes du procédé selon les revendications 1 à 6 lorsque ledit programme est exécuté sur un ordinateur. 20 25 30 35 40 45