Brevet FR2832528A1 — publié le 20030523

images préal a bl ement reg istrées form ant des N-u pl ets non d égénérés. DETERMlNATION D'UN ILLUMINANT D'UNE IMAGE NUMERIQUE EN COULEUR PAR SEGMENTATION ET FILTRAGE La présente invention appartient au domaine technique de l'analyse et du traitement des images en couleur numérisées. Elle concerne plus spécifiquement la détermination de la chromaticité d'un illuminant (référence de blanc) d'une image en couleur représentant une scène naturelle d'objets ou d'entités. L'illuminant est caractérisé par la distribution spectrale d'une source de lumière éclairant ou illuminant la scène de l'image en couleur. La détermination de la chromaticité de l'illuminant d'une image est 0 déjà connue dans l'état de la technique. La détermination de la chromaticité d'un illuminant d'une image en couleur permet notamment d'améliorer les performances des moyens d'analyse et de reconnaissance des formes dans une image. La connaissance de l'illuminant permet aussi d'indexer automatiquement des images en couleur, en fonction des conditions d'éclairage. L'indexation automatique des t5 images permet par exemple de classer les images en fonction des conditions météorologiques liées aux scènes respectives des images: ensoleillement, couverture nuageuse, etc. Le brevet US 4 685 071 décrit une méthode pour déterminer l'illuminant d'une scène dans une image comprenant une pluralité de couleurs, à partir de la détection des spécularités dans l'image couleur. La lumière provenant d'une réflexion spéculaire est considérée comme ayant une chromaticité similaire à celle de la lumière de la source directe (l'illuminant). La lumière provenant de la réflexion spéculaire n'est pas filtrée par les pigments du matériau inhomogène recevant cette lumière. Des exemples de surfaces inhomogènes en couleurs sont des scènes représentant la peau d'un visage, des feuillages, etc.. Pour ces surfaces inhomogènes, la composante spéculaire de lumière réfléchie a par conséquent une distribution d'énergie spectrale très proche de celle de la lumière incidente. Et de ce fait, la couleur de la composante spéculaire est très proche de la couleur de la lumière source illuminant la surface. On en déduit ainsi, à partir de la composante spéculaire, la couleur de l'illuminant de la surface de l'image. Le brevet US 5 495 428 décrit une méthode électronique de calcul statistique utilisant l'analyse des chrominances (signaux contenant des informations de couleurs) d'une image numérique représentant une scène naturelle comprenant une pluralité de couleurs. Cette méthode permet de mesurer la distribution des couleurs de 1'image, de représenter des ensembles de pixels de couleurs voisines, et de déterminer le point de convergence chromatique qui permet d'obtenir la chromaticité de l'illuminant. Dans les deux brevets précédemment cités, l'image couleur est analysée uniquement dans le diagramme chromatique. Il n'est pas fait référence au o plan spatial de l'image, dans lequel des relations spatiales peuvent étre prises en compte. La publication intitulée Solving for Colour Constancy using a Constrained Dichromatic Reflection Model, de Finlayson et Schaeffer, parue en mai 2001, dans International Journal of Computer Vision 42(3), pages 127-144, aux Editions Kluwer Academic Publishers, décrit une méthode pour estimer un illuminant en combinant des données physiques émanant des données de chrominance de l'image, et des données statistiques d'illuminants. Cependant, les relations spatiales ne sont pas prises en compte. En effet, la recherche de la convergence chromatique s' effectue sur l' ensemble d es pixel s de l'image rep ortés dans le plan chromatique. Toutefois, ce type de méthode a des limites, en ce sens qu'il n'est pas d'une grande robustesse et ne trouve pas toujours une solution pour une image inhomogène qui présente une diversité importante de couleurs, comme c'est le cas par exemple dans une image naturelle représentant un paysage comprenant des zones d'ombres et/ou de ciel. Cette méthode est également sensible 2s au contenu de l'image. La présente invention a pour objet un procédé permettant de déterminer l'illuminant d'une image numérique en couleur représentant une scène naturelle (exemple: un paysage naturel) comprenant des entités ou objets, quel que soit le contenu géométrique et spectral de la scène représentée dans l'image. La présente invention, à l'instar des deux brevets US 4 685 071 et US 5 495 428, utilise le principe de constance de couleur dichromatique, mais elle utilise en plus une segmentation couleur spatiale de l'image et un filtrage, pour sélectionner les régions de l'image à analyser. La segmentation spatiale de l'image permet de découper l'image analysée en régions spatialement homogènes en couleurs. En segmentant l'image spatialement, la méthode de la présente invention s permet d'obtenir des segments qui correspondent strictement à une entité ou un objet homogène d'une scène de ladite image. L'homogénéité concerne généralement la réflectance spectrale de l'image. Ceci, par opposition à une analyse d'image dans l'espace couleur qui regroupe en un seul ensemble tous les pixels d'une méme couleur, rendant ainsi l'analyse moins précise. o Par rapport à la technique antérieure, la présente invention met en outre en _uvre, après l'étape de segmentation spatiale de l'image, un filtrage qui permet une extraction des régions analysées non conformes au modèle de réflexion dichromatique. Cette sélection des régions est opérée en fonction de leur signal couleur (chrominance) et de leur identification comme région de ciel ou région d'ombre. Par rapport au brevet US 4 685 071 qui utilise un modèle dichromatique de réflexion qui ne peut s'appliquer qu' à des surfaces éclairées et réfléchissantes d'une image, la présente invention présente l'avantage d'exclure de la recherche, des parties de la scène de l'image qui comprennent des régions d'ombre, et/ou de ciel, et/ou des régions achromatiques (sans couleur). La méthode de la présente invention est donc robuste, quel que soit le contenu de l'image. D'autres caractéristiques et avantages appara^tront à la lecture de la description qui suit, faite en référence aux dessins des différentes figures. La figure 1 représente des composantes spéculaires et diffuses de la réflexion lumineuse produite par un matériau inhomogène. La figure 2 représente un plan dichromatique défini par des vecteurs couleurs réfléchis par une surface inhomogène. La figure 3 représente le diagramme chromatique de la C.I.E., dans lequel est représenté le diagramme des illuminants diurnes, et une droite correspondant à la convergence chromatique d'un objet dans l'image. La figure 4 représente un diagramme fonctionnel des principales étapes du procédé de l'invention. La figure S représente un exemple d'image d'origine en couleur. La figure 6 représente un exemple de l'image d'origine préfiltrée. La figure 7 représente un exemple de l'image d'origine préfiltrée et segmentée. La figure 8 représente un exemple d'image comprenant des régions sélectionnées pour analyse par le procédé de l'invention. La figure 9 représente un ensemble des droites de régression linéaire des régions sélectionnées, dans le plan dichromatique comprenant le diagramme des illuminants diurnes. o La figure 10 représente des points de convergence les plus probables correspondant à des illuminants de l'image analysée. La description suivante est une description détaillée des principaux modes de réalisation de l'invention, en rétérence aux dessins, dans lesquels des références numériques différentes identifient des éléments différents dans chacune des figures. Le procédé de l'invention est mis en _uvre dans un environnement qui permet de retrouver et de visualiser des images numériques en couleur préalablement enregistrées et mémorisées. Ces images en couleur sont par exemple des images numériques fixes ou animées, qui ont été enregistrées en utilisant des appareils d'acquisition d'images numériques. L' objet de la présente invention est un procédé pour déterrniner les coordonnées chromatiques d'un illuminant d'une image numérique en couleur. La détermination de cet illuminant permet de faire de l'analyse sémantique des images dont on a déterminé l'illuminant. Ceci, pour pouvoir indexer par exemple automatiquement une base de données d'images en s couleur. L'indexation permet notamment de classer les images en fonction de caractéristiques liées aux illuminants respectifs desdites images. Cet iiluminant correspond à des conditions d'éclairage différentes: par exemple, éclairage au tungstène, lumière naturelle diffuse ou directe, etc. La figure 1 représente un matériau 1 comprenant une surface 2, le matériau 1 comprenant des pigments 9 qui colorent ledit matériau 1. Le matériau 1 est un matériau dit "inhomogène", car pigmenté. Des rayons de lumière incidente 3, 4 sont réfléchis par le matériau 1 suivant deux types de réflexion: d'une part une réflexion spéculaire 7, 8, et d'autre part une réflexion diffuse 10. La réflexion spéculaire 7, 8 se produit à la surface 2 du matériau 1, selon un angle symétrique, par rapport à la normale 5, 6 à ladite surface 2, à l'angle formé par le rayon incident 3, 4 avec ladite normale 5, 6. La réflexion diffuse appelée aussi réflexion de corps , se produit dans le matériau 1, et adopte une direction variable selon les pigments de couleur 9 rencontrés à l'intérieur dudit matériau 1. Le modèle mathématique qui formalise le processus de réflexion représenté par la figure 1, est le modèle de réflexion dichromatique. o La figure 2 représente un cube 14 de l'espace couleurd'un système d'acquisition, dans lequel deux vecteurs 12 et 13 représentent respectivement la réflexion spéculaire et la réflexion diffuse de la surface 2. Le système d'acquisition est un appareil permettant de produire une image numérique: par exemple un appareil photo numérique ou un scanner. Les vecteurs 12, 13 forment le plan dichromatique 11. Suivant la figure 3, le plan dichromatique 11 est représenté par une droite 16, dans le diagramme chromatique 15 de la CIE (Comrnission Internationale dclairage). Le diagramme des illuminants diurnes 17 coupe la droite 16 au point I. Les coordonnées du point I correspondent aux coordonnées chromatiques de l'illuminant. Le diagramme des illuminants diurnes est par exemple déterminé par l'équation Yd = -3 Xd2 + 2,87 Xd - 0,275, dans laquelle Xd et Yd représentent les coordonnées chromatiques. La figure 4 représente un diagramme fonctionnel des opérations de l'algorithme qui permet la mise en _uvre automatique des étap es du pro cédé de l'invention de la revendication 1. Selon un mode de réalisation prétérentiel de l'invention, l'algorithrne permet, à partir d'une image d'origine 50 suivant la figure 5, de préfiltrer l'image 50, pour éliminer le bruit de ladite image 50. L'opération de préfiltrage 18 homogénéise l'image, en remplaçant les pixels de l'image par une valeur de pixel de leur voisinage, valeur la plus proche de la valeur médiane dudit voisinage. La valeur médiane d'un voisinage de pixels est par exemple déterminée en se référant au centre de gravité du nuage de points formé par lesdits pixels du voisinage dans l'espace couleur de l'image. Selon une variante du mode de réalisation préférentiel, l'étape de préfiltrage est complétée par exemple, en simplifiant le gradient de l'image, calculé dans l'espace couleur CIE-Lab par la distance euclidienne. Les valeurs de l'image correspondant à un minima de gradient sont utilisées pour étiqueter les régions associées au bassin versant du gradient de s ladite image. On obtient ainsi, suivant la figure 6, une image préfiltrée 60 dite image-mosaïque. Après l'étape de préfiltrage 18 conduisant à l'imagemosaïque 60, le procédé de l'invention opère la segmentation 19 de l'image 60. La segmentation permet de découper l'image en régions connexes et homogènes en couleur 71, 72. 0 Les limites de ces régions sont différentes des limites des voisinages de l'étape de préfiltrage. Le procédé de l'invention permet de segmenter l'image en régions de chrominance homogène dans le cas de la segmentation d'une région de couleur. Le procédé de l'invention permet de segmenter l'image en régions de luminance homogène dans le cas de la segmentation d'une région de gris. Selon un mode de 1 5 réalisation p articulier de la segmentation, l' algo rithme du pro cédé de l'invention utilise la méthode dite "ligne de partage des eaux". Cette méthode dite "ligne de partage des eaux", connue de l'homme du métier, permet une segmentation spatiale. Selon un mode de réalisation particulier, la méthode de ligne de partage des eaux est appliquée au gradient de l'image couleur, exprimé dans l'espace CIE-Lab. Le gradient est calculé par la distance euclidienne maximale rencontrée entre deux pixels d'une région donnée. La distance euclidienne dans l'espace CIE-Lab est donnée par la formule: E L* a* b* = [(L* - L2*)2 + (a* - a2*)2 + (b* - b2*)] Ce mode de réalisation, utilisant la ligne de partage des eaux, permet d'obtenir par exemple l'image segmentée 70 de la figure 7. L' étap e de segmentation est suivie p ar l' étap e 2 0 d' extraction des régions non conformes. Ces régions sont non conformes aux hypothèses liées au modèle de réflexion dichromatique dont le principe physique correspond à la figure 1. Les hypothèses liées au modèle de réflexion dichromatique intègrent notamment l'inhomogénéité du matériau 1, la capacité de réflexion du matériau 1, et l'illumination dudit matériau 1. Les rayons incidents de la source de lumière (l'illumination), relativement au matériau, sont orientés, c'est-à-dire correspondent aux rayons d'une source de lumière non diffuse. Selon un mode de réalisation préférentiel de l'extraction des régions non conformes, le pro cédé de l'invention p ermet d' extraire par exemple, suivant la s figure 8, l'ensemble des régions ombragées 24, des régions de ciel 23, et des régions achromatiques (sans couleur) 25, de l'image. L'étape 20 est mise en _uvre en utilisant par exemple l'extraction des régions ombragées décrite dans la demande de brevet français 0108907. L'étape 20 est mise en _uvre en utilisant par exemple l'extraction des régions de ciel décrite dans la demande de brevet francais 0108912. o L'extraction des régions achromatiques, sans couleurs, est opérée par un seuillage de la saturation des couleurs. Selon un mode de réalisation particulier, l'image seuillée est représentée dans l'espace couleur HLS (Hue Luminance Saturation), et la valeur numérique de seuil est par exemple égale à " 12". Après l'exécution de l'opération d'extraction, on obtient par exemple, suivant la figure 8,1'image 80, dont sont extraites les régions de ciel 23, d'ombres 24, et achromatiques 25. Dans l'exemple de l'image d'origine 50, la région achromatique 25 correspond par exemple à un ruhan gris de bitume. A partir de l'image 80, pour chaque région 30 non extraite de l'image , le procédé de l'invention détermine la direction (droite) de la convergence chromatique, à partir des coordonnées chromatiques des pixels formant ladite région 30. Après l'extraction des régions non conformes de l'image et selon le mode de réalisation préféré de l'invention représenté sur le diagramme fonctionnel de la figure 4, le procédé de l'invention opère, par région non extraite 30, une régression linéaire sur les coordonnées chromatiques des pixels formant ladite région 30. Le 2s pro cédé de l'invention p ermet ainsi d' obtenir les valeurs de pentes et d' ordonnées à l'origine des équations des droites qui caractérisent la convergence chromatique des régions non extraites. La figure 9 représente, dans un repère correspondant au diagramme chromatique de la CIE, un exemple d'un ensemble 27 des droites de régression so linéaire des régions non extraites 30, et le diagramme des illuminants diurnes 26. La figure 10 représente les points de convergence les plus probables placés sur le diagramme des illuminants diurnes. Le point de convergence le plus probable 28 déterminé par le procédé de l'invention, est placé à l'intersection du faisceau 27 qui représente l'ensemble des droites 27 et du diagramme des illuminants diurnes 26. Le point de convergence le plus probable 28 est le point du diagrarnme des illuminants diurnes 26 par lequel passe un maximum (le point le plus fréquenté par les droites) de droites formant le faisceau 27. Les coordonnées du point de convergence 28 correspondent aux coordonnées chromatiques qui caractérisent la chrominance (couleur) de l'illuminant de l'image d'origine 50. s %:- RE VEND I C ATI ON S 1 - Procédé automatique de détermination d'un illuminant d'une image numérique en couleur comprenant les étapes suivantes: a) segmenter l'image en régions de couleur homogène (71, 72); s b) extraire les régions (23, 24, 25) de l'image segmentée non conformes au modèle de réflexion dichromatique; c) pour chaque région (30) non extraite de l'image, déterminer à partir des coordonnées chromatiques des pixels formant ladite région, la droite représentant la direction de la convergence chromatique; o d) déterminer le point de convergence le plus probable (28) de l'ensemble (27) des droites obtenues à l'étape c); e) déterminer les coordonnées chromatiques du point de convergènce le plus probable (28) obtenu à l'étape d) et représentant l'illuminant de l'image couleur. 2 - Procédé selon la revendication 1, comprenant en outre une étape préliminaire de préfiltrage de liimage d'origine (50), juste avant l'étape de segmentation de l'image en régions de couleur homogène (71, 72). 3 - Procédé selon l'une quelcouque des revendications lou 2, dans lequel la segmentation de l'image découpe spatialement ladite image en régions de couleur homogène. 4 - Procédé selon l'une quelconque des revendications précédentes, dans lequel la segmentation de l'image est opérée en appliquant la ligne de partage des eaux au gradient de l'image en couleur d'origine, ledit gradient étant calculé en utilisant la distance euclidienne dans l'espace C I E-L a b. - Procédé selon l'une quelconque des revendications 1 à 4, dans lequel les régions de couleur homogène sont des régions de chrominance homogène. 6 - Procédé selon l'une quelconque des revendications 1 à 4, dans lequel les régions de couleur homogène sont des régions de luminance homogène. 7 - Procédé selon l'une quelconque des revendications 1 à 6, dans lequel les régions extraites lors de l'étape b) de la revendication 1, sont les régions ombragées (24) de 1'image. 8 - Procédé selon l'une quelconque des revendications 1 à 7, dans lequel les régions i extraites lors de l'étape b) de la revendication 1, sont les régions de ciel (23) de o l'image. 9 - Procédé selon l'une quelconque des revendications 1 à 8, dans lequel les régions extraites lors de l'étape b) de la revendication 1, sont les régions achromatiques (25) de l'image. - Procédé selon l'une quelconque des revendications 1 à 9, dans lequel pour chaque région non extraite (30) de 1'image, la droite représentant la direction de la convergence chromatique est déterminée par une régression linéaire à partir des coordonnées chromatiques des pixels formant ladite région. 11 - Procédé selon l'une quelconque des revendications 1 à 10, dans lequel le point de convergence le plus probable (28) est le point du diagramme chromatique par lequel passent un maximum de droites obtenues à l'étape c) de la revendication 1. 2s 12 - Procédé selon l'une quelconque des revendications 1 à 9, dans lequel le point de convergence le plus probable (28) est le point du diagramme des illuminants diurnes (26) par lequel passent un maximum de droites obtenues à 1'étape c) de