Brevet FR2985856A1 — publié le 20130719

CAPTEUR D'IMAGE COMPRENANT DES PIXELS A BANDE SPECTRALE ETROITE POUR ANALYSE COLORIMETRIQUE Domaine technique de l'invention L'invention est relative aux capteurs d'image, et plus particulièrement aux techniques de correction colorimétrique pouvant être utilisées sur les images produites par les capteurs d'image. État de la technique La perception des couleurs d'une image dépend de la composition colorimétrique de la lumière, ou de l'illuminant, qui éclaire la scène. Si l'oeil humain est capable de compenser les composantes dominantes de l'illuminant pour que l'image semble éclairée sous une lumière neutre, un capteur d'image ou une pellicule argentique n'est pas capable de le faire. Pour les pellicules argentiques, de telles compensations ne pouvaient être faites que par l'utilisation de filtres adaptés à la nature de l'illuminant. Pour les capteurs d'image numériques, la compensation est généralement faite par un traitement d'image embarqué. Ce traitement peut être paramétré manuellement par l'utilisateur, ou bien configuré dans un mode automatique couramment appelé « balance du blanc automatique » ou AWB (de l'anglais « Automatic White Balance »). A la base des algorithmes AWB on calcule la moyenne des valeurs des pixels sur chaque canal (généralement rouge, vert et bleu) de l'image capturée et on applique une correction globale aux canaux. On cherche à faire tendre l'image moyenne vers un gris neutre. Cette méthode suppose que l'image est équilibrée quant aux composantes colorimétriques - elle trouve ses limites lorsque l'image elle-même comporte une couleur dominante, par exemple un grand pan de ciel bleu. Il existe ainsi diverses variantes, plus ou moins complexes, de l'algorithme AWB pour tenir compte des cas particuliers les plus courants. Dans certains appareils photo haut de gamme, par exemple les modèles Nikon® de la série D2, on a prévu un capteur de lumière ambiante dédié agencé pour mesurer la lumière ambiante à travers un filtre de diffusion. Comme le capteur matriciel principal, ce capteur dédié est également formé de pixels rouges, verts et bleus, mais en nombre réduit. La composition colorimétrique mesurée par ce capteur dédié détermine les corrections globales à apporter à l'image saisie par le capteur principal. Un tel système perd en efficacité lorsque l'appareil photo est placé dans des conditions d'éclairage différentes de celles du sujet photographié. La figure lA illustre les spectres de densité de puissance des illuminants standard A, B et C, normalisés à la valeur 100 pour une longueur d'onde de 560 nm. L'illuminant A correspond à une ampoule à filament tungstène et à une température de couleur d'environ 3000 K. L'illuminant B correspond à la lumière du soleil au zénith et à une température de couleur d'environ 5000 K. L'illuminant C correspond à la lumière du jour moyenne (à l'ombre) et à une température de couleur d'environ 7000 K. Ces courbes évoluent de manière plutôt régulière en fonction de la longueur d'onde. La figure 1B illustre le spectre de densité de puissance de l'illuminant standard FL11, correspondant à un type courant de lampe fluorescente. Ce spectre évolue de manière 10 irrégulière et comporte plusieurs pics, le pic dominant étant dans le vert. L'oeil humain est capable de percevoir un objet éclairé par un illuminant quelconque comme s'il était éclairé par le soleil, c'est-à-dire de compenser le spectre de l'illuminant pour le faire tendre vers le spectre de la lumière du soleil (illuminant B). C'est ce que cherchent à mimer les algorithmes de balance du blanc. 15 Pour estimer le spectre de l'illuminant, on dispose des pixels rouge, vert et bleu de la matrice de pixels du capteur principal ou, le cas échéant, du capteur dédié à la lumière ambiante. Il s'avère qu'un tel capteur, même s'il est dédié à la lumière ambiante et n'est donc pas affecté par une couleur dominante de la scène, fournit une estimation insatisfaisante 20 dans certaines configurations d'éclairage. Résumé de l'invention Ainsi, on souhaite disposer d'un capteur d'image pouvant fournir des informations supplémentaires sur les conditions d'éclairage de la scène. De préférence, le capteur d'image est de structure simple, permettant son utilisation 25 dans des appareils bas de gamme. On tend à satisfaire ces besoins en prévoyant un capteur d'image comprenant une matrice de pixels individuellement sensibles aux couleurs d'une combinaison de couleurs primaires, selon des spectres de sensibilité larges se chevauchant pour couvrir l'ensemble du spectre visible. Le capteur comprend un pixel dédié sensible, selon un 30 spectre de sensibilité étroit, à une longueur d'onde caractéristique d'un illuminant à identifier. Selon un mode de réalisation, le capteur comprend un groupe de pixels dédiés sensibles à des longueurs d'onde distinctes caractéristiques d'un jeu d'illuminants de référence. Selon un mode de réalisation, le capteur comprend plusieurs pixels dédiés agencés dans des rangées ou des colonnes en bordure de la matrice. Selon un mode de réalisation, le capteur comprend plusieurs pixels dédiés dispersés dans la matrice. Selon un mode de réalisation, les pixels de la matrice sont organisés selon le motif de Bayer, et les pixels dédiés remplacent des pixels verts de la matrice. On prévoit également un système comprenant un capteur du type susmentionné, 10 configuré pour corriger la colorimétrie de l'image saisie par la matrice de pixels en fonction des signaux délivrés par les pixels dédiés. Selon un mode de réalisation, le système comprend un objectif commandé par un mécanisme de mise au point automatique de l'image, configuré pour flouter l'image pendant un échantillonnage des signaux des pixels dédiés. 15 Lorsque les pixels dédiés sont dispersés dans la matrice, le système peut être configuré pour corriger la colorimétrie de l'image saisie par la matrice de pixels en fonction des signaux délivrés par les pixels dédiés, et pour compenser le signal de chaque pixel dédié en fonction des signaux délivrés par les pixels de la matrice entourant le pixel dédié. Selon un mode de réalisation, le système est configuré pour stocker des caractéristiques 20 spectrales des illuminants de référence et identifier un illuminant en comparant les signaux des pixels dédiés aux caractéristiques correspondantes stockées pour chaque illuminant de référence. Description sommaire des dessins Des modes de réalisation seront exposés dans la description suivante, faite à titre non 25 limitatif en relation avec les figures jointes parmi lesquelles : - les figures 1 A et 1B, précédemment décrites, représentent des spectres de distribution de puissance d'illuminants standard ; - les figures 2A et 2B représentent les spectres de sensibilité des pixels rouge, vert et bleu d'un capteur classique, et deux exemples de conditions de mesure 30 ambiguës ; - la figure 3 illustre des spectres de sensibilité de pixels d'un capteur classique et de pixels d'un capteur multispectral ; - la figure 4 représente un premier exemple de mise en ouvre d'un capteur multispectral ; et - la figure 5 représente un deuxième exemple de mise en ouvre d'un capteur multispectral. Description d'un mode de réalisation préféré de l'invention Les figures 2A et 2B illustrent des spectres de sensibilité typiques respectifs des pixels rouges (R), verts (G) et bleus (B) d'un capteur d'image classique. Ces spectres de 10 sensibilité sont obtenus, par exemple, avec des filtres en résine. Ils sont larges et se chevauchent pour couvrir l'ensemble du spectre visible. La figure 2A représente par ailleurs un exemple théorique de spectre de densité de puissance d'une scène, servant à expliquer une limitation des capteurs classiques dans l'analyse colorimétrique. Le spectre de densité s'étend généreusement dans le bleu et le 15 vert, et mord à peine dans le rouge. Les canaux bleu et vert du capteur renvoient un signal moyen important, tandis que le canal rouge renvoie un signal moyen faible. Un algorithme de correction colorimétrique pourra en déduire que l'image de la scène manque de rouge et amplifier les signaux des pixels rouges. Cette correction pourrait s'avérer bien adaptée dans l'exemple de la figure 2A. 20 A la figure 2B on a représenté un autre exemple théorique de spectre de densité de puissance d'une scène. Ce spectre de densité est majoritairement dans le bleu et le vert, mais comporte une composante étroite éloignée dans le rouge, de forte amplitude. Les canaux rouge, vert, et bleu du capteur renvoient les mêmes valeurs moyennes que dans le cas de la figure 2A, et l'algorithme de correction proposera également d'amplifier le 25 canal rouge. Or une telle correction est très certainement inadaptée dans le cas de la figure 2B. En effet, le fait qu'on trouve un pic de relativement forte amplitude dans le rouge, éloigné du vert, signifie que le rouge est bien représenté dans l'illuminant de la scène, et que le trou de puissance dans le spectre entre le vert et le pic rouge est dû à la composition 30 colorimétrique de la scène plutôt qu'à son éclairage. En d'autres termes, la scène comporte une couleur dominante qui absorbe les longueurs d'onde entre le vert et le pic rouge. Il n'y a probablement aucune correction à apporter. Ces éléments d'analyse sont basés sur le fait qu'on analyse les valeurs moyennes des canaux rouge, vert et bleu mesurées par le capteur, ce qui correspond aux réalisations plus économiques n'utilisant pas de capteur dédié à la lumière ambiante. Pour éviter l'écueil de la figure 2B, on a recours classiquement à des algorithmes plus complexes qui procèdent à des analyses par zones de l'image, et à un calcul de probabilité par rapport à des scènes types. L'augmentation de la complexité des algorithmes augmente le temps de traitement de chaque image à puissance de calcul constante de l'appareil photo. Cette augmentation du temps de traitement peut être pénalisante dans les appareils bas de gamme disposant de peu de puissance de calcul. Afin de simplifier les algorithmes d'analyse colorimétrique, et même d'améliorer la précision de l'analyse, on propose d'associer à la matrice de pixels d'un capteur d'image classique un groupe de pixels dédiés, sensibles à des bandes spectrales spécifiques étroites par rapport aux spectres de sensibilité des pixels classiques. De préférence, ce groupe de pixels forme un capteur multispectral à plusieurs bandes spectrales étroites qui se raccordent et couvrent l'ensemble du spectre visible. On pourra trouver avantage à prévoir en outre des bandes dans le domaine non-visible (ultra-violet ou proche infrarouge). La figure 3 illustre comparativement les traditionnels spectres de sensibilité rouge, vert et bleu, et un exemple de spectres de sensibilité d'un capteur multispectral. Dans cette figure, le capteur multispectral comprend une série de dix pixels associés respectivement à dix longueurs d'onde régulièrement réparties entre 400 et 700 nm. Comme cela est représenté, chacun des pixels du capteur multispectral a un spectre de sensibilité étroit, de manière à permettre des mesures indépendantes de plusieurs longueurs d'onde distinctes dans chacun des spectres rouge, vert et bleu traditionnels. De préférence, pour réduire les coûts de mise en oeuvre, les pixels du capteur multispectral sont réalisés dans la même technologie que les pixels de la matrice, et font partie de cette matrice. La figure 4 représente un exemple de matrice réalisée selon cette préférence. Le coeur de la matrice, ou matrice principale, est classique et comporte des pixels organisés, par exemple, selon le motif de Bayer, c'est-à-dire qu'on alterne une rangée formée de la répétition du motif RG (rouge, vert) avec une rangée formée de la répétition du motif GB (vert, bleu). Ces pixels sont recouverts de filtres colorés rouge, vert et bleu classiques, par exemple en résine. Le capteur multispectral est réalisé à l'aide de pixels situés sur un bord de la matrice, par exemple dans des rangées adjacentes du bord supérieur, qui ne font pas partie de la zone d'image utile. On a représenté des pixels sensibles à dix longueurs d'onde différentes, numérotées de 1 à 10. Les pixels eux-mêmes peuvent être réalisés dans la même technologie que les pixels de la matrice principale, avec les mêmes étapes de fabrication. Les spectres de sensibilité étroits de ces pixels peuvent être obtenus par des filtres en résines colorées adaptées, des filtres interférentiels en couches minces, des filtres semi-réflectifs, des filtres à gradient d'indice, ou encore par des couches nanostructurées. Tel qu'il est représenté, le capteur multispectral mesure une bande de l'image qui n'est pas forcément représentative du reste de l'image. Toutefois, dans de nombreuses situations, la partie supérieure de l'image est représentative de la source d'éclairage de la scène - on peut y trouver un pan de ciel ou un plafond recevant la lumière ambiante réfléchie. Dans ce cas, les informations délivrées par le capteur multispectral peuvent être utilisées sans traitement particulier pour identifier l'illuminant, en comparant le spectre mesuré à ceux de plusieurs illuminants de référence, pour déduire les corrections à apporter aux canaux rouge, vert et bleu. En outre, la bande supérieure de la matrice est susceptible de contenir plusieurs séries de dix pixels, de sorte qu'on peut établir une mesure moyenne par longueur d'onde pour compenser les variations des conditions lumineuses de la portion d'image de la bande supérieure. Cette technique simple n'est toutefois pas adaptée à toutes les conditions de prise de vue. Une meilleure technique est possible si l'appareil comprend un objectif commandé par un mécanisme de mise au point automatique de l'image. Dans ce cas, ce mécanisme peut être configure pour, juste avant ou après la prise de vue définitive, dérégler brièvement la mise au point pendant que les signaux du capteur multispectral sont échantillonnés. Le flou occasionné par le dérèglement de la mise au point provoque une diffusion de l'image, propice à mesurer les conditions moyennes d'éclairage de celle-ci. De préférence, pour ne pas nuire à la réactivité de l'appareil, la mesure multispectrale est faite plutôt après la prise de vue. Cette solution permet, à l'aide d'un capteur d'image unique, d'obtenir des informations précises sur les conditions d'éclairage d'une scène, notamment de différencier les situations des figures 2A et 2B. Ces informations seront utilisées dans les processus d'aide à la décision simplifiant ainsi les algorithmes d'estimation de l'illuminant tout en réduisant l'erreur. Les résultats obtenus sont comparables à ceux d'un système haut de gamme utilisant un capteur dédié séparé pour mesurer la lumière ambiante à travers un filtre de diffusion. En outre, la présente solution a, par rapport au système à capteur séparé, l'avantage de mesurer les conditions d'éclairage de la scène telle qu'elle est saisie et non les conditions d'éclairage de l'emplacement de l'appareil de prise de vue. La figure 5 représente un mode de réalisation de matrice de capteur d'image permettant 5 une mesure multispectrale précise sans avoir recours à un système de mise au point automatique. Ce mode de réalisation est donc adapté aux appareils à mise au point fixe. Dans ce mode de réalisation, les pixels du capteur multispectral sont dispersés dans la matrice principale, et remplacent des pixels traditionnels. De préférence, ils remplacent des pixels verts (G), car ceux-ci sont deux fois plus nombreux dans un motif de Bayer 10 que les pixels rouges ou bleus. Cela permet de conserver localement, au niveau de chaque pixel remplacé, suffisamment d'informations rouge, vert et bleu. Comme cela est représenté, on peut prévoir un pixel du capteur multispectral tous les deux pixels verts d'une rangée, et cela toutes les deux rangées. Les pixels du capteur multispectral se trouvent alors répartis de manière régulière dans la matrice. On peut 15 prévoir une telle distribution au niveau de la zone centrale de la matrice seulement, ou bien sur l'ensemble de la matrice. Pour compenser l'absence de possibilité de flouter l'image, on cherche par cette solution à multiplier le nombre de séries de pixels du capteur multispectral, et à les disperser. Ainsi, la valeur moyenne des pixels associés à une même longueur d'onde est 20 représentative du contenu global de l'image. Par contre, chaque pixel du capteur multispectral fournit des informations faussées quant à la chrominance et la luminance du pixel, du point de vue de sa restitution individuelle dans l'image. Il est par conséquent préférable d'ignorer les informations de ces pixels « multispectraux » dans l'image restituée, et d'interpoler leur luminance et 25 leur chrominance à l'aide des pixels « normaux » qui les entourent. On peut pour cela utiliser des algorithmes classiques de calcul de pixels manquants. Le fait que ces pixels manquants sont des pixels verts, dans l'exemple de la figure 5, favorise la précision de l'interpolation, car chacun de ces pixels est entouré d'un motif régulier de pixels rouges, verts et bleus. 30 La présence de pixels manquants pouvant nuire à la qualité de l'image, on préfère limiter le nombre de séries de pixels du capteur multispectral. On cherche donc un compromis entre la précision de la mesure des conditions d'éclairage de la scène, qui augmente avec le nombre de séries du capteur multispectral, et la qualité de l'image. Le nombre minimal de séries du capteur multispectral est 1, c'est-à-dire qu'on ne dispose dans la matrice que d'un pixel pour chacune des longueurs d'onde de la série. Dans ce cas, il est probable que les propriétés optiques des objets de la scène faussent les mesures de certains des pixels multispectraux, notamment qu'un objet absorbe la longueur d'onde associée au pixel multispectral situé sur cet objet, ou que l'objet soit dans l'ombre. On peut compenser les effets des variations de luminance d'une scène sur les pixels multispectraux en calculant le niveau de luminance moyen des pixels entourant chaque pixel multispectral, et en pondérant le signal du pixel multispectral par l'inverse de ce niveau moyen. On parvient ainsi à normaliser les mesures des pixels multispectraux pour faire abstraction des variations de luminance. Seuls les pixels se trouvant dans l'obscurité totale ne seront pas compensables. La probabilité pour qu'un pixel multispectral soit situé sur un objet qui absorbe la longueur d'onde qui lui est associée est faible. La probabilité d'avoir de multiples pixels 15 multispectraux dans ce cas est encore plus faible. Il est par contre plus probable que plusieurs pixels multispectraux soient dans l'obscurité. Même si cela se produit, c'est-à-dire si le spectre mesuré par la série de pixels multispectraux a des raies manquantes, on peut néanmoins comparer le spectre mesuré à des spectres d'illuminants de référence. On s'attachera en particulier à observer la 20 présence ou à l'absence de raies caractéristiques de l'illuminant à identifier. Une fois l'illuminant identifié, on applique aux canaux rouge, vert et bleu les corrections appropriées pour cet illuminant. Par exemple, dans le cas de la figure 2B, il manquerait dans le spectre mesuré des raies entre le vert et la raie lointaine dans le rouge. Le spectre de référence ayant l'enveloppe 25 la plus proche serait un spectre sensiblement plat, correspondant à la lumière du soleil à midi (illuminant B de la figure 1A). Dans ce contexte où on cherche simplement à identifier un illuminant parmi plusieurs illuminants de référence, dont les caractéristiques spectrales sont stockées en mémoire, le capteur multispectral peut n'être associé qu'à une ou quelques raies caractéristiques 30 des illuminants de référence, sans couvrir l'ensemble du spectre visible. La simple présence ou absence de telles raies, indépendamment de leur amplitude, peut identifier l'illuminant avec une grande probabilité. Par exemple, pour identifier un éclairage par ampoule à filament tungstène (illuminant A, figure 1A), ou un soleil couchant, il suffit d'observer une raie dans le rouge lointain, voire dans le proche infrarouge (longueur d'onde supérieure à 750 nm). Pour identifier un éclairage à la lampe fluorescente FL11 (figure 1B), il suffit d'observer trois raies : 435 nm, 545 nm et 610 nm. Dans ce cas, on peut réduire le nombre des pixels du capteur multispectral de la figure 5 pour mieux préserver la qualité de l'image. Un capteur multispectral a été décrit ici dans le cadre d'un capteur d'image à pixels rouges, verts et bleus agencés en motif de Bayer, qui est le plus courant. Le principe est cependant applicable à des capteurs d'image utilisant d'autres combinaisons de couleurs primaires, par exemple RGBW (rouge, vert, bleu, blanc), et RGBY (rouge, vert, bleu, jaune). Par ailleurs, le capteur a été décrit dans le cadre d'une correction colorimétrique automatique, notamment la balance des blancs, en fonction des conditions d'éclairage de la scène. Un tel capteur peut néanmoins trouver d'autres applications, par exemple dans la simulation des conditions d'éclairage (simuler des conditions nocturnes pour des images prises le jour, simuler un coucher de soleil, etc...). REVENDICATIONS1. Capteur d'image comprenant une matrice de pixels individuellement sensibles aux couleurs d'une combinaison de couleurs primaires (RGB), selon des spectres de sensibilité larges se chevauchant pour couvrir l'ensemble du spectre visible, caractérisé en ce qu'il comprend un pixel dédié (1-10) sensible, selon un spectre de sensibilité étroit, à une longueur d'onde caractéristique d'un illuminant à identifier. 2. Capteur selon la revendication 1, comprenant un groupe de pixels dédiés sensibles à des longueurs d'onde distinctes caractéristiques d'un jeu d'illuminants de référence. 3. Capteur selon la revendication 1, comprenant plusieurs pixels dédiés agencés dans des rangées ou des colonnes en bordure de la matrice. 4. Capteur selon la revendication 1, comprenant plusieurs pixels dédiés dispersés dans la matrice. 5. Capteur selon la revendication 4, dans lequel les pixels de la matrice sont organisés selon le motif de Bayer, et les pixels dédiés remplacent des pixels verts de la matrice. 6. Système comprenant un capteur selon la revendication 2, configuré pour corriger la colorimétrie de l'image saisie par la matrice de pixels en fonction des signaux délivrés par les pixels dédiés. 7. Système selon la revendication 6, comprenant un objectif commandé par un mécanisme de mise au point automatique de l'image, configuré pour flouter l'image pendant un échantillonnage des signaux des pixels dédiés. 8. Système comprenant un capteur selon la revendication 4, configuré pour corriger la colorimétrie de l'image saisie par la matrice de pixels en fonction des signaux délivrés par les pixels dédiés, et pour compenser le signal de chaque pixel dédié en fonction des signaux délivrés par les pixels de la matrice entourant le pixel dédié. 9. Système selon la revendication 6, configuré pour stocker des caractéristiques spectrales des illuminants de référence et identifier un illuminant en comparant les signaux des pixels dédiés aux caractéristiques correspondantes stockées pour chaque illuminant de référence.