Brevet FR3038194A1 — publié le 20161230

B14175FR 1 CORRECTION DE PIXELS PARASITES DANS UN CAPTEUR D'IMAGE INFRAROUGE Domaine La présente description concerne le domaine des dispositifs de capture d'image en infrarouge, et en particulier un procédé et un dispositif pour corriger des pixels parasites dans une image capturée par un réseau de pixels sensible à la lumière infrarouge. Exposé de l'art antérieur Les dispositifs de capture d'image en infrarouge (IR), comme les micro-bolomètres ou les dispositifs de capture d'image IR refroidis, comprennent un réseau de détecteurs sensibles au rayonnement infrarouge formant un réseau de pixels. Pour corriger les non-uniformités spatiales entre les pixels d'un tel réseau de pixels, une correction de décalage et de gain est en général appliquée à chaque signal de pixel (ou "valeur de pixel") d'une image capturée avant qu'elle soit affichée. Les valeurs de décalage et de gain sont générées pendant one phase d'étalonnage préliminaire en usine du dispositif en utilisant des sources émettrices uniformes (corps noirs) à des températures contrôlées, et sont mémorisées par le dispositif de capture d'image. De telles non-uniformités spatiales varient non seulemént dans le temps mais aussi en fonction de la température B14175FR des composants optiques, mécaniques et électroniques du dispositif de capture d'image, et par conséquent un obturateur mécanique interne est souvent utilisé dans le dispositif de capture d'image pour faciliter la correction d'image. Cela implique de capturer périodiquement une image pendant que l'obturateur est fermé afin d'obtenir une image de référence d'une scène relativement uniforme qui peut ensuite être utilisée pour l'étalonnage. Il est courant que, à la suite du processus de 10 fabrication de tels dispositifs de capture d'image infrarouge, un ou plusieurs pixels du réseau de pixels soient déclarés non fonctionnels à la fin de la phase d'étalonnage initiale du fabricant. De tels pixels sont en général connus dans le technique sous le nom de "mauvais pixels", et ils sont 15 identifiés dans une carte d'opérabilité mémorisée par le dispositif de capture d'image. Les valeurs de pixels générées par les mauvais pixels ne peuvent pas habituellement être considérées comme fiables, et par conséquent leurs valeurs de sont remplacées par une valeur générée sur la base de voisins dans l'image. En outre on a découvert que pendant la durée de vie de pixels 20 pixels tels dispositifs de capture d'image, le comportement en signal d'un ou plusieurs pixels initialement fonctionnels ne pouvait plus être décrit de façon acceptable par leurs paramètres d'étalonnage initiaux. Cela peut provenir de diverses modifications physiques ou même de dommages mécaniques provoqués par de minuscules particules mobiles internes laissées ou libérées dans le boitier du capteur par exemple. Ces pixels seront appelés ici pixels parasites. De tels pixels ne sont pas listés dans la carte d'opérabilité initiale, et ils peuvent dégrader la qualité de l'image. Dans le cas de dispositifs de capture d'image équipés d'un obturateur, la demande de brevet français publiée sous le numéro FR3009388 décrit un procédé d'identification de tels 35 pixels parasites pendant une période de fermeture d'Obturateur 3038194 B14175FR 3 quelconque, donnant des moyens pour mettre à jour de façon récurrente la carte d'opérabilité. Cependant, il y a plusieurs inconvénients dans l'utilisation d'un obturateur, comme le poids et le coût 5 supplémentaires et la fragilité de ce composant. En outre, dans certaines applications, l'utilisation d'un obturateur est inacceptable en raison du temps perdu pendant que l'obturateur est fermé et que l'étalonnage a lieu. Pendant cette période d'étalonnage, aucune image de la scène ne peut être capturée. 10 Dans un dispositif de capture d'image sans obturateur, il y a une difficulté technique pour l'identification de tels pixels parasites dans la scène d'image, en particulier si les valeurs de pixels sont dans une zone texturée d'une image capturée. 15 En supposant que les pixels parasites puissent être identifiés, de tels pixels parasites pourraient simplement être ajoutés à la liste des mauvais pixels. Toutefois, si le dispositif de capture d'image reçoit par exemple de multiples chocs pendant sa durée de vie à un point tel que la densité de 20 pixels parasites dans l'image ne peut plus rester négligeable, une dégradation d'image pourrait se produire. Il existe donc un besoin dans la technique, en particulier pour la capture d'images en infrarouge sans obturateur, d'un dispositif et d'un procédé pour détecter des 25 pixels parasites, au moins_ pour mettre à jour la carte d'opérabilité, mais aussi pour ré-étalonner les pixels parasites particuliers qui seraient devenus mal étalonnés. Résumé Un objet de modes de réalisation de la présente 30 description est de résoudre au moins partiellement un ou plusieurs besoins de l'art intérieur. Selon un aspect, on prévoit un procédé de correction de pixels parasites d'un réseau de pixels d'un dispositif de capture d'image sensible au rayonnement infrarouge, le .procédé 35 comprenant : recevoir, par un dispositif de traitement du dispo- 3038194 B14175FR 4 sitif de capture d'image, une première image d'entrée capturée par le réseau de pixels, et corriger la première image d'entrée en appliquant des valeurs de gain et de décalage à des valeurs de pixels dans la première image d'entrée ; détecter dans la 5 première image d'entrée corrigée au moins un pixel parasite, et ajouter ledit au moins un pixel parasite à une liste de pixels parasites ; recevoir, par le dispositif de traitement, une deuxième image d'entrée capturée par le réseau de pixels et corriger la deuxième image d'entrée en appliquant les valeurs de 10 gain et de décalage à des valeurs de pixels dans la deuxième image d'entrée ; et calculer des valeurs de correction de gain et de décalage pour ledit au moins un pixel parasite sur la base des première et deuxième images d'entrée corrigées. Par exemple le fait de corriger les première et deuxième images d'entrée 15 comprend de corriger des valeurs de pixels pour des pixels aux mêmes emplacements dans les première et deuxième images d'entrée. Selon un mode de réalisation, le procédé comprend en outre une validation des valeurs de correction de gain et de 20 décalage en les appliquant pour corriger les valeurs dudit au moins un pixel parasite dans une troisième image capturée par le réseau de pixels et en détectant si ledit au moins un pixel parasite est encore détecté comme pixel parasite dans la troisième image. 25 Selon un mode de réalisation, la troisième image d'entrée est capturée à une température du réseau de pixels différente de celle de chacune des première et deuxième images d'entrée. Selon un mode de réalisation, le procédé comprend en 30 outre, avant le calcul des valeurs de correction de gain et de décalage, l'ajout dudit au moins un pixel parasite détecté à une liste de mauvais pixels, et le retrait dudit au moins un pixel parasite détecté de la liste de mauvaispixels si les valeurs de correction de gain et de décalage sont validées pendant l'étape de validation. 3038194 B14175FR Selon un mode de réalisation, le réseau de pixels comprend des colonnes de pixels, chaque colonne étant associée à un pixel de référence correspondant, et, la correction des première et deuxième images d'entrée comprend : déterminer, sur 5 la base de l'image d'entrée et d'un vecteur de composante de colonne représentant un écart de colonne introduit par -les pixels de référence du réseau de pixels, un premier facteur d'échelle en estimant un niveau de l'écart de colonne présent dans l'image d'entrée ; générer des valeurs de décalage de 10 colonne sur la base du produit du premier facteur d'échelle par les valeurs du vecteur de composante de colonne ; déterminer, sur la base de l'image d'entrée et d'une matrice de dispersion 2D représentant la dispersion 2D introduite par le réseau de pixels, un deuxième facteur d'échelle en estimant un niveau de 15 la dispersion 2D présente dans l'image d'entrée ; générer des valeurs de décalage de pixel sur la base du produit du deuxième facteur d'échelle par les valeurs de la matrice de dispersion 2D ; et générer l'image corrigée en appliquant les valeurs de décalage de colonne et de pixels. 20 Selon un mode de réalisation, l'image corrigée est générée sur la base de l'équation : CORKx, = GAIN(x, y) x (RAW (x, y) - a. OFF'coL(x, y) - [3. OFFDIsp(x, y) - y) où RAW est l'image d'entrée, a et p sont des facteurs d'échelle, y est une valeur de correction de gain, GAIN(x, y) est une 25 valeur de gain, OFFoeL(x,y) et OFFDIsp(x,y) sont des valeurs de décalage, OFFCOL étant une matrice comprenant, dans chacune de ses rangées, le vecteur de colonne VCOL, OFFDIsp étant la matrice de dispersion de référence. Selon un mode de réalisation, le calcul des valeurs de 30 correction de gain et de décalage pour ledit au moins un pixel parasite sur la base des première et deuxième images d'entrée corrigées comprend : estimer, sur la base de pixels voisins dans la première image d'entrée, une première valeur de pixel attendue de chacun desdits au moins un pixel parasite ; estimer, 35 sur la base de pixels voisins dans la deuxième image d'entrée, 3038194 B14175FR une deuxième valeur de pixel attendue de chacun desdits au moins un pixel parasite ; et calculer les valeurs de correction de gain et de décalage sur la base des première et deuxième valeurs de pixels attendues estimées. 5 Selon un mode de réalisation, la détection dudit au moins un pixel parasite comprend : calculer un score pour une pluralité de pixels cibles comprenant au moins certains des pixels de la première image d'entrée, le score pour chaque pixel cible étant généré sur la base de k pixels voisins connectés de 10 l'image d'entrée dans une fenêtre de H par H pixels autour du pixel cible, H étant un entier impair égal ou supérieur à 3, et k étant un entier compris entre 2 et 5, dans lequel chacun des pixels voisins connectés partage une frontière ou un coin avec au moins un autre des pixels voisins connectés et/ou avec le 15 pixel cible et dans lequel au moins l'un des pixels voisins connectés partage une frontière ou un coin avec le pixel cible ; et détecter qu'au moins l'un des pixels est un pixel parasite sur la base des scores calculés. Selon un mode de réalisation, la détection dudit au 20 moins un pixel parasite comprend la comparaison d'au moins certains des scores à une valeur de seuil. Selon un mode de réalisation, la comparaison d'au moins certains des scores à une valeur de seuil implique la comparaison d'un sous-ensemble des scores à la valeur de seuil, 25 le sous-ensemble comprenant plusieurs des scores les plus élevés, et la valeur de seuil est calculée sur la base de l'équation suivante : thrspuR = Q3 + xEI > 0. Sa fonction de distribution est F(x)==1--e-1.x. Le paramètre À de l'exponentielle peut être estimé en estimant la moyenne, sur la base de la moyenne de 35 l'échantillon, et en prenant l'inverse de cette moyenne : 3038194 B14175R 27 À= n -11 En 1161 où n est le nombre de pixels dans l'image. En appelant le seuil throutlier, ce seuil est par exemple calculé sur la base de Â en utilisant l'équation 5 suivante : ln(4) ln(3) -12 throutiier 1.5 x - Plutôt que de calculer le seuil en utilisant cette équation, une alternative consisterait à simplement choisir un seuil qui élimine par filtrage un certain pourcentage des 10 scores, comme 95% des scores. Toutefois, un avantage d'un filtrage utilisant le seuil comme décrit ci-avant sur la base de la distribution de Laplace est que cela évite des problèmes introduits par le bruit. En effet, si un pourcentage fixe des scores est sélectionné, le nombre de pixels sélectionnés va être 15 le même pour une même image avec ou sans bruit. Toutefois, le seuil déterminé sur la base de la distribution de Laplace va varier en fonction du niveau de bruit dans l'image. L'opération 603 de la figure 6 implique par exemple l'identification de pixels parasites parmi les pixels aberrants 20 identifiés dans l'opération 602. Cela est par exemple obtenu en sélectionnant des scores au-dessus d'un niveau de seuil calculé sur la base des scores des pixels aberrants. Le seuil thrspuR est par exemple déterminé en utilisant l'équation suivante thrspuR = Q3 + xEI x (Q3 - Q1) -13 25 où xEI est un paramètre choisi par exemple entre 1,0 et 5,0 et par exemple égal à 1,5, et Q1 et Q3 sont les premier et troisième quartiles des pixels aberrants identifiés dans l'opération 602, respectivement. Dans certains modes de réalisation, pour éviter de 30 fausses alertes, un pixel n'est considéré comme pixel parasite que si son score dépasse le seuil thrspuR et son score est supérieur à un seuil minimum thr scoramin égal à une valeur fixe. 3038194 B14175FR 28 Un avantage des modes de réalisation décrits ici est qu'on peut détecter des pixels parasites en utilisant un procédé relativement simple et efficace. En outre, le procédé de correction de pixels parasites signifie que, plutôt que d'être 5 classés comme mauvais pixels, des valeurs de pixels, portant des informations de la scène, provenant de certains pixels peuvent continuer à être utilisées pour générer des pixels de l'image. Avec la description ainsi faite d'au moins un mode de réalisation illustratif, diverses altérations, modifications, et 10 améliorations apparaitront à l'homme de l'art. Par exemple, bien qu'on ait décrit un exemple spécifique de micro-bolomètre en relation avec les figures 1 et 2, il apparaitra clairement à l'homme de l'art que les procédés décrits ici pourraient être appliqués à diverses autres mises en 15 oeuvre d'un micro-bolomètre, où à d'autres types de dispositifs de capture d'image en infrarouge. En outre, il apparaitra clairement à l'homme de l'art que les diverses opérations décrites en relation avec les divers modes de réalisations pourraient être réalisées, dans des 20 variantes de réalisation, dans des ordres différents sans impacter leur efficacité. REVENDICATIONS1. Procédé de correction de pixels parasites d'un réseau de pixels (102) d'un dispositif de capture d'image sensible au rayonnement infrarouge, le procédé comprenant : recevoir, par un dispositif de traitement (202) du dispositif de capture d'image, une première image d'entrée (RAW) capturée par le réseau de pixels (102), et corriger la première image d'entrée en appliquant des valeurs de gain et de décalage à des valeurs de pixels dans la première image d'entrée ; détecter dans la première image d'entrée corrigée au 10 moins un pixel parasite, et ajouter ledit au moins un pixel parasite à une liste (LSPUR) de pixels parasites ; recevoir, par le dispositif de traitement (202), une deuxième image d'entrée (RAW) capturée par le réseau de pixels (102) et corriger la deuxième image d'entrée en appliquant les 15 valeurs de gain et de décalage à des valeurs de pixels dans la deuxième image d'entrée ; et calculer des valeurs de correction de gain et de décalage (soff, sGain) pour ledit au moins un pixel parasite sur la base des première et deuxième images d'entrée corrigées. 20 2. Procédé selon la revendication 1, comprenant en outre une validation des valeurs de correction de gain et de décalage (soif, sGain) en les appliquant pour corriger les valeurs dudit au moins un pixel parasite dans une troisième image capturée par le réseau de pixels (102) et en détectant si 25 ledit au moins un pixel parasite est encore détecté comme pixel parasite dans la troisième image. 3. Procédé selon la revendication 2, dans lequel la troisième image d'entrée est capturée à une température du réseau de pixels différente de celle de chacune des première et 30 deuxième images d'entrée. 4. Procédé selon la revendication 2 ou 3, comprenant en outre, avant le calcul des valeurs de correction de gain et de décalage, l'ajout dudit au moins un pixel parasite détecté à une liste de mauvais pixels, et le retrait dudit au 3038194 B14175R 30 moins un pixel parasite détecté de la liste de mauvais pixels si les valeurs de correction de gain et de décalage sont validées pendant l'étape de validation. 5. Procédé selon l'une quelconque des revendi5 cations 1 à 4, dans lequel le réseau de pixels comprend des colonnes de pixels, chaque colonne étant associée à un pixel de référence correspondant, et dans lequel la correction des première et deuxième images d'entrée comprend : déterminer, sur la base de l'image d'entrée et d'un 10 vecteur de composante de colonne (VCOL) représentant un écart de colonne introduit par les pixels de référence du réseau de pixels, un premier facteur d'échelle (a) en estimant un niveau de l'écart de colonne présent dans l'image d'entrée ; générer des valeurs de décalage de colonne (aVoeL(x)) 15 sur la base du produit du premier facteur d'échelle par les valeurs du vecteur de composante de colonne (VCOL) ; déterminer, sur la base de l'image d'entrée et d'une matrice de dispersion 2D (OFFDISP) représentant la dispersion 2D introduite par le réseau de pixels, un deuxième facteur 20 d'échelle ((3) en estimant un niveau de la dispersion 2D présente dans l'image d'entrée ; générer des valeurs de décalage de pixel ((3OFFDISP(x,Y)) sur la base du produit du deuxième facteur d'échelle par les valeurs de la matrice de dispersion 2D 25 (OFFDISP) ; et générer l'image corrigée (CORR) en appliquant les valeurs de décalage de colonne et de pixels. 6. Procédé selon l'une quelconque des revendications 1 à 5 dans lequel l'image corrigée (CORR) est générée sur la base 30 de l'équation : CORKx, y) = GAIN(x, y) x (RAW(x, - a. OFFcmfx, y) - OFFDisp(x, y) - y) où RAW est l'image d'entrée, a et p sont des facteurs d'échelle, y est une valeur de correction de gain, GAIN(x, y) est une valeur de gain, OFFoeL(x,y) et OFFDIsp(x,y) sont des valeurs de 35 décalage, OFFan étant une matrice comprenant, dans chacune de 3038194 314175R 31 ses rangées, le vecteur de colonne VCOL, OFFDISP étant matrice de dispersion de référence. 7. Procédé selon l'une quelconque des revendications 1 à 6, dans lequel le calcul des valeurs de correction de gain et 5 de décalage (soff, sGain) pour ledit au moins un pixel parasite sur la base des première et deuxième images d'entrée corrigées comprend : estimer, sur la base de pixels voisins dans la première image d'entrée, une première valeur de pixel attendue 10(PEXP1) de chacun desdits au moins un pixel parasite ; estimer, sur la base de pixels voisins dans la deuxième image d'entrée, une deuxième valeur de pixel attendue (PEXP2) de chacun desdits au moins un pixel parasite ; et calculer les valeurs de correction de gain et de 15 décalage (soff, SGain) sur la base des première et deuxième valeurs de pixels attendues estimées. 8. Procédé selon l'une quelconque des revendications 1 à 7, dans lequel la détection dudit au moins un pixel parasite comprend : 20 calculer un score pour une pluralité de pixels cibles comprenant au moins certains des pixels de la première image d'entrée, le score pour chaque pixel cible étant généré sur la base de k pixels voisins connectés de l'image d'entrée dans une fenêtre de H par H pixels autour du pixel cible, H étant un 25 entier impair égal ou supérieur à 3, et k étant un entier compris entre 2 et 5, chacun des pixels voisins connectés partageant une frontière ou un coin avec au moins un autre des pixels voisins connectés et/ou avec le pixel cible et au moins l'un des pixels voisins connectés partageant une frontière ou un 30 coin avec le pixel cible ; et détecter qu'au moins l'un des pixels est un pixel parasite sur la base des scores calculés. 9. Procédé selon la revendication 8, dans lequel la détection dudit au moins un pixel parasite comprend la 3038194 B14175FR 32 comparaison d'au moins certains des scores à une valeur de seuil (thrSPUR)- 10. Procédé selon la revendication 9, dans lequel la comparaison d'au moins certains des scores à une valeur de seuil implique la comparaison d'un sous-ensemble des scores à la valeur de seuil, le sous-ensemble comprenant plusieurs des scores les plus élevés, et dans lequel la valeur de seuil est calculée sur la base de l'équation suivante : thrspuR = Q3 + xE/ x (Q3 - Q1) 10 où XEI est un paramètre égal à au moins 1,0 et Q1 et Q3 sont les premier et troisième quartiles respectivement du sous-ensemble. 11. Procédé selon la revendication 9 ou 10, dans lequel lesdits au moins certains scores sont sélectionnés en appliquant 15 un autre seuil (thr outlier) aux scores calculés. 12. Procédé selon la revendication 11, dans lequel l'autre seuil est calculé sur la base d'une supposition que les valeurs de pixels dans l'image ont une distribution de probabilités basée sur la distribution de Laplace. 20 13. Procédé selon la revendication 12, dans lequel l'autre seuil est calculé sur la base de l'équation suivante : ln(4) ln(3) = + 1.5 x où Â est une estimation du paramètre de la distribution exponentielle f(x)==Âe-I' correspondant à la valeur absolue ( KSI) 25 des scores calculés. 14. Support de stockage lisible par ordinateur mémorisant des instructions pour mettre en oeuvre le procédé de l'une quelconque des revendications 1 à 13 lorsqu'elles sont exécutées par un dispositif de traitement. 30 15. Dispositif de traitement d'image comprenant : une mémoire (206) mémorisant des valeurs de décalage et de gain (208, 201) et une liste (LSPUR) de pixels parasites (212) ; un dispositif de traitement (302) adapté à : throutlier recevoir une première image d'entrée (RAW) capturée par un réseau de pixels (102) d'un dispositif de capture d'image sensible au rayonnement infrarouge, et corriger la première d'iMàge d'entrée en appliquant les valeurs de gain et de décalage à des valeurs de pixels dans la première image d'entrée ; détecter dans la première image d'entrée corrigée (RAW) au moins un pixel parasite, et ajouter ledit au moins un pixel parasite à la liste (LSPUR) de pixels parasites ; recevoir une deuxième image d'entrée (RAW) capturée par le réseau de pixels (102) et corriger la deuxième image d'entrée (RAW) en appliquant les valeurs de gain et de décalage à des valeurs de pixel dans la deuxième image d'entrée ; et calculer des valeurs de correction de gain et de 15 décalage ( ,sOff, sGain) pour ledit au moins un pixel parasite sur la base des première et deuxième images d'entrée corrigées. 16. Dispositif de traitement selon la revendication 15, dans lequel le dispositif de traitement est en outre adapté à valider les valeurs de correction de gain et de décalage (soff, 20 sGain) en les appliquant pour corriger les valeurs dudit au moins un pixel parasite dans une troisième image d'entrée capturée par le réseau de pixels (102) et en détectant si ledit au moins un pixel parasite est encore détecté comme pixel parasite dans la troisième image. B14175X 3038194 33