Brevet FR3135155A1 — publié le 20231103

L’invention propose un procédé de démosaïquage appliqué à une image initiale pour l’obtention d’une image démosaïquée permettant un démosaïquage amélioré grâce au fait qu'il comprend : une transformation de stabilisation de la variance du bruit, pour chaque patch de référence: une détermination (310) d’un ensemble de patchs similaires une détermination (320) d’une matrice de covariance dudit ensemble de patchs similaires et pour chaque patch similaire, un calcul d’estimatifs des bandes spectrales interpolées, fonction d’une décomposition en bloc de la matrice de covariance (340) fonction du phasage, une détermination des bandes spectrales interpolées par une agrégation (350) des estimatifs des bandes spectrales interpolées, et une transformation inverse de la transformation de stabilisation. Fig.2a Procédé de démosaïquage non-local d’une image et dispositif associé La présente demande concerne un procédé de démosaïquage d’une image. Le procédé s’applique notamment au démosaïquage d’images dont les composantes sont disposées selon un motif de Bayer dans le domaine RVB. Une image obtenue par un capteur matriciel multi-spectral est généralement mosaïquée. Une image est par exemple acquise sous la forme de pixels à une composante de couleur ou « single color luminescence » en anglais et transformée par démosaïquage en pixels à plusieurs bandes spectrales ou « multiple color luminescence » en anglais. L’image initiale est ainsi formée d’un ensemble de pixels où chaque pixel de l’image ne correspond qu’à une bande spectrale parmi les bandes spectrales pouvant être acquises sur d’autres pixels du capteur matriciel multi-spectral, chaque pixel du capteur matriciel multi-spectral n’acquérant qu’une partie de l’information multi-spectrale. Un cas typique est celui des capteurs organisés selon la matrice de Bayer, qui est composée de filtres verts à 50% et de filtres rouges et bleus à 25% chacun. Dans une matrice de Bayer, chaque groupe carré de quatre pixels comprend deux pixels verts en diagonale, et un pixel rouge et un bleu sur l’autre diagonale. Dans cet exemple, le démosaïquage vise donc à interpoler les deux valeurs manquantes parmi le rouge, le vert, et le bleu, pour chaque pixel de l’image initiale. Diverses techniques de démosaïquage ont déjà été proposées. On connaît notamment la méthode, dite de Hamilton-Adams, décrite dans la publication de J. Hamilton Jr et J. Adams Jr., « Adaptive color plan interpolation in single sensor color-electronic camera, 1997 », correspondant au brevet US 5,629,734. On connaît également la publication de A. Buades et al., « Self-similarity Driven Demosaicking », in Image Processing on Line, 2011-06-01, ISSN 2105-1232. Cependant, les méthodes proposées ne permettent généralement d’obtenir qu’une qualité d’image limitée et insuffisante notamment pour des applications spatiales telles que l’observation de la Terre. Résumé Compte-tenu de ce qui précède, l’invention a pour but de proposer un procédé de démosaïquage d’images amélioré par rapport à l’état de la technique. A cet égard, l’invention propose un procédé de démosaïquage appliqué à une image initiale présentant des pixels correspondants chacun à une bande spectrale initiale pour l’obtention d’une image démosaïquée à plusieurs bandes spectrales présentant des pixels correspondants chacun à ladite bande spectrale initiale ou à une bande spectrale interpolée, caractérisé en ce qu’il comprend : une transformation de stabilisation de la variance du bruit, appliquée aux pixels des bandes spectrales initiales, sur la base d’une pluralité de patchs de référence prédéterminés et pour chaque patch de référence parmi la pluralité de patchs de référence : une détermination d’un ensemble de patchs similaires audit patch de référence, en exploitant les pixels d’au moins une des bandes spectrales initiales transformées une détermination d’une matrice de covariance dudit ensemble de patchs similaires et pour chaque patch similaire dudit ensemble de patchs similaires, un calcul d’estimatifs des bandes spectrales interpolées, fonction d’une décomposition en bloc de la matrice de covariance, où la décomposition en quatre blocs est fonction du phasage de chaque patch similaire, une détermination des bandes spectrales interpolées par une agrégation des estimatifs des bandes spectrales interpolées, où on agrège les estimatifs des bandes spectrales interpolées pour chaque pixel et une transformation inverse de la transformation de stabilisation, appliquée aux pixels des bandes spectrales initiales transformées. Selon une particularité de l’invention, la transformation de stabilisation de la variance du bruit est réalisée en fonction d’un modèle de bruit propre au détecteur. Selon une autre particularité de l’invention, les patches de référence prédéterminés sont répartis de façon à couvrir une proportion déterminée de l’image. Selon une autre particularité de l’invention, lors de la détermination de la matrice de covariance de l’ensemble des patchs similaires, les patchs similaires comprennent des bandes spectrales initiales transformées et des bandes spectrales intermédiaires, ces bandes spectrales intermédiaires étant issues d’un démosaïquage préalable par interpolation linéaire appliqué à l’image initiale stabilisée. Selon une autre particularité de l’invention, la détermination dudit ensemble de patchs similaires à chaque patch de référence est déterminée par une fonction de similitude appliquée à une image intermédiaire résultant du démosaïquage préalable par interpolation linéaire de l’image initiale stabilisée, la fonction de similitude utilisant une ou plusieurs des bandes spectrales de l’image intermédiaire. Selon une autre particularité de l’invention, lors de la détermination de la matrice de covariance de l’ensemble des patchs similaires, les patchs similaires comprennent des bandes spectrales initiales transformées et des bandes spectrales intermédiaires, ces bandes spectrales intermédiaires étant issues d’un démosaïquage préalable par interpolation linéaire et d’un débruitage préalable appliqués à l’image initiale stabilisée. Selon une autre particularité de l’invention, la détermination dudit ensemble de patchs similaires à chaque patch de référence est déterminée par une fonction de similitude appliquée à une image intermédiaire résultant du démosaïquage préalable par interpolation linéaire et du débruitage préalable de l’image initiale stabilisée, la fonction de similitude utilisant une ou plusieurs des bandes spectrales de l’image intermédiaire. Selon une autre particularité de l’invention, le débruitage consiste en une fonction de débruitage local appliquée à chaque patch et fonction dudit ensemble de patches similaires au patch considéré. Selon une autre particularité de l’invention, les bandes spectrales correspondent à l’espace colorimétrique RGB ou YUV. Selon une autre particularité de l’invention, les bandes spectrales correspondent à l’espace colorimétrique RGB et les pixels de l’image initiale stabilisée sont organisés selon un motif de Bayer. Selon une autre particularité de l’invention, l’agrégation des estimatifs des bandes spectrales interpolées est réalisée par un calcul d’une moyenne de ces estimatifs de bandes spectrales interpolées. Selon une autre particularité de l’invention, la décomposition en quatre blocs fonction du phasage dudit patch similaire, est fonction du couple (L,C) correspondant au L ième pixel et au C ième pixel dudit patch similaire, chaque valeur de la matrice à la ligne L et à la colonne C, étant, selon qu’il s’agisse de : - un pixel L correspondant à une bande spectrale initiale transformée et un pixel C correspondant à une bande spectrale initiale transformée, attribuée à un premier bloc - un pixel L ne correspondant pas à une bande spectrale initiale et un pixel C correspondant à une bande spectrale initiale transformée, attribuée à un deuxième bloc - un pixel L correspondant à une bande spectrale initiale transformée et un pixel C ne correspondant pas à une bande spectrale initiale, attribuée à un troisième bloc ou - un pixel L ne correspondant pas à une bande spectrale initiale et un pixel C ne correspondant pas à une bande spectrale initiale, attribuée à un quatrième bloc . Selon une autre particularité de l’invention, pour chaque patch similaire dans ledit ensemble de patchs similaires, le calcul des estimatifs des bandes spectrales interpolées est réalisé comme suit : Où : est le vecteur des estimatifs des bandes spectrales interpolées dudit patch similaire, est le vecteur des valeurs moyennes des pixels des patches dudit ensemble de patchs similaires, où on considère les pixels ne correspondant pas à une bande spectrale initiale, est le vecteur des pixels correspondant à une bande spectrale initiale transformée dans ledit patch similaire, est le vecteur des valeurs moyennes des pixels des patches dudit ensemble de patchs similaires, où on considère les pixels correspondant à une bande spectrale initiale transformée, est la matrice inverse du premier bloc et est le deuxième bloc. Selon une autre particularité de l’invention, lors du calcul des estimatifs des bandes spectrales interpolées pour des patchs similaires présentant un même phasage, intervient une même décomposition de la matrice de covariance en blocs qui sont mémorisés et réutilisés pour tous ces patchs similaires présentant le même phasage. La présente divulgation a également pour objet un produit programme d’ordinateur, comprenant des instructions de code pour la mise en œuvre du procédé selon la description qui précède, lorsqu’il est exécuté par un calculateur. La présente divulgation a également pour objet un dispositif de traitement d’images comprenant un calculateur, caractérisé en ce qu’il est configuré pour mettre en œuvre le procédé selon la description qui précède. Avantageusement, cette méthode permet d’obtenir des résultats améliorés en termes de qualité de restitution et de robustesse au bruit. La méthode selon l’invention permet notamment une diminution voire une suppression d’imprécisions du type irisations. Avantageusement encore, l’utilisation d’une transformation à régularisation de la variance de l’image permet d’améliorer l’estimation du bruit local lors du débruitage. La transformation à régularisation de la variance de l’image permet également d’améliorer la qualité finale de l’image grâce à une amélioration dans l’estimation du calcul de similitude prenant en compte, de manière conjointe, l’ensemble des bandes spectrales disponibles d’un capteur multi-spectral, comme par exemple un filtre Bayer. La méthode décrite permet en outre de tenir compte la distribution spatiale dans la variation de précision, qui n’est pas nécessairement isotrope, grâce à la matrice de covariance. La méthode est en effet avantageusement non-locale et s’appuie sur les similarités entre un patch de pixels de l’image et un ensemble de patches similaires, pouvant présenter des positions proches ou éloignées dans l’image initiale. D’autres caractéristiques, détails et avantages apparaîtront à la lecture de la description détaillée ci-après faite en référence aux figures données à titre d’exemple, sur lesquelles : Fig. 1 représente un exemple de patch d’une image initiale où les pixels sont organisés selon un motif de Bayer. Fig. 2a représente schématiquement les principales étapes du procédé de démosaïquage selon un exemple de réalisation de l’invention. Fig. 2b représente schématiquement les principales étapes du procédé de démosaïquage selon un autre exemple de réalisation de l’invention. Fig. 3a représente un exemple de vecteur obtenu à partir d’un patch d’une image avant démosaïquage. Fig. 3b représente un exemple de vecteur obtenu à partir d’un patch d’une image avant démosaïquage, le patch correspondant à un phasage différent de celui représenté en . Fig. 4 représente schématiquement une décomposition par blocs d’une matrice de covariance d’un ensemble de patches similaires à un patch considéré. Fig. 5 représente schématiquement un exemple de dispositif de traitement d’images adapté pour mettre en œuvre le procédé de démosaïquage. Procédé de démosaïquage appliqué à une image initiale présentant des pixels correspondants chacun à une bande spectrale initiale pour l’obtention d’une image démosaïquée à plusieurs bandes spectrales présentant des pixels correspondants chacun à ladite bande spectrale initiale ou à une bande spectrale interpolée, caractérisé en ce qu’il comprend : une transformation de stabilisation de la variance du bruit, appliquée aux pixels des bandes spectrales initiales, sur la base d’une pluralité de patchs de référence prédéterminés et pour chaque patch de référence parmi la pluralité de patchs de référence : une détermination (310) d’un ensemble de patchs similaires audit patch de référence, en exploitant les pixels d’au moins une des bandes spectrales initiales transformées une détermination (320) d’une matrice de covariance dudit ensemble de patchs similaires et pour chaque patch similaire dudit ensemble de patchs similaires, un calcul d’estimatifs des bandes spectrales interpolées, fonction d’une décomposition en bloc de la matrice de covariance (340), où la décomposition en quatre blocs est fonction du phasage de chaque patch similaire, une détermination des bandes spectrales interpolées par une agrégation (350) des estimatifs des bandes spectrales interpolées, où on agrège les estimatifs des bandes spectrales interpolées pour chaque pixel et une transformation inverse de la transformation de stabilisation, appliquée aux pixels des bandes spectrales initiales transformées. Procédé de démosaïquage selon la revendication 1, dans lequel la transformation de stabilisation de la variance du bruit est réalisée en fonction d’un modèle de bruit propre au détecteur. Procédé selon la revendication 1 ou 2, dans lequel les patches de référence prédéterminés sont répartis de façon à couvrir une proportion déterminée de l’image. Procédé selon l’une des revendications 1 à 3, dans lequel lors de la détermination de la matrice de covariance de l’ensemble des patchs similaires, les patchs similaires comprennent des bandes spectrales initiales transformées et des bandes spectrales intermédiaires, ces bandes spectrales intermédiaires étant issues d’un démosaïquage préalable par interpolation linéaire appliqué à l’image initiale stabilisée. Procédé selon la revendication précédente, dans lequel la détermination (310) dudit ensemble de patchs similaires à chaque patch de référence est déterminée par une fonction de similitude appliquée à une image intermédiaire résultant du démosaïquage préalable par interpolation linéaire de l’image initiale stabilisée, la fonction de similitude utilisant une ou plusieurs des bandes spectrales de l’image intermédiaire. Procédé selon l’une des revendications 1 à 3, dans lequel lors de la détermination de la matrice de covariance de l’ensemble des patchs similaires, les patchs similaires comprennent des bandes spectrales initiales transformées et des bandes spectrales intermédiaires, ces bandes spectrales intermédiaires étant issues d’un démosaïquage préalable par interpolation linéaire et d’un débruitage préalable appliqués à l’image initiale stabilisée. Procédé selon la revendication précédente, dans lequel la détermination (310) dudit ensemble de patchs similaires à chaque patch de référence est déterminée par une fonction de similitude appliquée à une image intermédiaire résultant du démosaïquage préalable par interpolation linéaire (100) et du débruitage préalable de l’image initiale stabilisée, la fonction de similitude utilisant une ou plusieurs des bandes spectrales de l’image intermédiaire. Procédé selon la revendication 6 ou 7, dans lequel le débruitage consiste en une fonction de débruitage local appliquée à chaque patch et fonction dudit ensemble de patches similaires au patch considéré. Procédé selon l’une des revendications 1 à 8, dans lequel les bandes spectrales correspondent à l’espace colorimétrique RGB ou YUV. Procédé selon l’une des revendications 1 à 9, dans lequel les bandes spectrales correspondent à l’espace colorimétrique RGB et les pixels de l’image initiale stabilisée sont organisés selon un motif de Bayer. Procédé selon l’une des revendications précédentes, dans lequel l’agrégation (350) des estimatifs des bandes spectrales interpolées est réalisée par un calcul d’une moyenne de ces estimatifs de bandes spectrales interpolées. Procédé selon l’une des revendications précédentes, dans lequel la décomposition en quatre blocs fonction du phasage dudit patch similaire, est fonction du couple (L,C) correspondant au L ième pixel et au C ième pixel dudit patch similaire, chaque valeur de la matrice à la ligne L et à la colonne C, étant, selon qu’il s’agisse de : - un pixel L correspondant à une bande spectrale initiale transformée et un pixel C correspondant à une bande spectrale initiale transformée, attribuée à un premier bloc - un pixel L ne correspondant pas à une bande spectrale initiale et un pixel C correspondant à une bande spectrale initiale transformée, attribuée à un deuxième bloc - un pixel L correspondant à une bande spectrale initiale transformée et un pixel C ne correspondant pas à une bande spectrale initiale, attribuée à un troisième bloc ou - un pixel L ne correspondant pas à une bande spectrale initiale et un pixel C ne correspondant pas à une bande spectrale initiale, attribuée à un quatrième bloc . Procédé selon la revendication précédente, dans lequel, pour chaque patch similaire dans ledit ensemble de patchs similaires, le calcul des estimatifs des bandes spectrales interpolées est réalisé comme suit : où : est le vecteur des estimatifs des bandes spectrales interpolées dudit patch similaire, est le vecteur des valeurs moyennes des pixels des patches dudit ensemble de patchs similaires, où on considère les pixels ne correspondant pas à une bande spectrale initiale, est le vecteur des pixels correspondant à une bande spectrale initiale transformée dans ledit patch similaire, est le vecteur des valeurs moyennes des pixels des patches dudit ensemble de patchs similaires, où on considère les pixels correspondant à une bande spectrale initiale transformée, est la matrice inverse du premier bloc et est le deuxième bloc. Procédé selon la revendication précédente, dans lequel lors du calcul des estimatifs des bandes spectrales interpolées pour des patchs similaires présentant un même phasage, intervient une même décomposition de la matrice de covariance en blocs qui sont mémorisés et réutilisés pour tous ces patchs similaires présentant le même phasage. Produit programme d’ordinateur, comprenant des instructions de code pour la mise en œuvre du procédé selon l’une des revendications précédentes, lorsqu’il est exécuté par un calculateur. Dispositif de traitement d’images comprenant un calculateur (11), caractérisé en ce qu’il est configuré pour mettre en œuvre le procédé selon l’une des revendications 1 à 14.