Brevet FR3078852A1 — publié le 20190913

-1- Procédé de reconstruction d'une image couleur acquise par un capteur re- couvert d'une mosaïque de filtres couleurs Domaine technique L'invention se situe dans le domaine du traitement d'images acquises par une caméra mono-capteur. Plus particulièrement l'invention concerne la reconstruction d'images couleurs après leur acquisition par un capteur recouvert par un filtre composé d'une mosaïque de filtres de plusieurs couleurs. Etat de la technique De manière générale, une caméra comprend au moins un objectif composé d'un ou plusieurs composants optiques tels des lentilles. L'objectif de la caméra dirige la lumière captée vers un capteur composé de cellules photosensibles. Sur le capteur, un ou plusieurs filtres de couleurs sont appliqués afin de permettre la reconstitution du spectre de la lumière reçue par le capteur. Une caméra peut en outre comprendre sur le chemin optique entre l'objectif et le capteur un ou tous les composants parmi : un filtre qui coupe l'infrarouge (IRcut), un filtre optique spatial passe-bas (OLP), des micros-lentilles chargées de focaliser la lumière vers chaque cellule du capteur. Une caméra peut être un appareil photographique ou tout autre moyen apte à capter une image et disposant d'un capteur photosensible muni d'une matrice de filtres de couleur, appelée mosaïque. Le principe général de l'acquisition d'une image couleur 1 par un premier capteur photosensible 2 à travers une première mosaïque de filtres 3 est représenté sur la figure la. La première mosaïque de filtres 3 donne à chaque pixel 4 du premier capteur 2 une sensibilité spectrale différente pour permettre une représentation fidèle de la couleur sur l'image rendue. Chaque pixel 4 du premier capteur 2 représente un photosite du premier capteur 2. Chaque photosite est une cellule photoélectrique sensible à l'in- - 2 - 5 tensité lumineuse, dans une certaine gamme de longueur d'onde, qu'il tra- duit en produisant un faible courant électrique relatif à sa sensibilité spectrale. La figure la montre un exemple d'une matrice de filtres composée d'une première mosaïque de filtres 3 de couleurs différentes. L'exemple re- 10 présente une première matrice de filtres 3 de taille H x W comprenant six filtres de couleurs différentes agencés selon un premier motif de base 6 dont un exemple est présenté sur la figure lb. Le premier motif de base 6, de dimensions h x w, est répété de façon à couvrir l'ensemble de la première mosaïque de filtres 3 sans qu'il y ait de recouvrement entre deux motifs de 15 base. L'image couleur acquise 5 est une image à P composantes de couleurs, c'est-à-dire à P couleurs. Les P composantes de couleurs sont, dans l'exemple représenté sur la figure lb, les couleurs de six filtres F1, F2, F3, F4, F5, F6. Les six filtres F1, F2, F3, F4, F5, F6 sont agencés dans le premier 20 motif de base 6 de taille 3 x 3. La lumière véhiculant l'image couleur à ac- quérir 1 passe au travers de la première matrice de filtres 3 avant d'arriver sur le premier capteur 2 présenté sur la figure la sous la forme d'une matrice de pixels. La première matrice de filtres 3 est agencée pour couvrir entièrement le premier capteur 2 de taille H x W. 25 La reconstruction d'une image après son acquisition par le premier capteur 2 recouvert de la première mosaïque de filtres 3 utilise un procédé dit de démosaïçage ou dématriçage. Chaque pixel 4 étant recouvert d'un filtre d'une couleur particulière une seule couleur se trouve échantillonnée par pixel. Il est donc nécessaire de mettre en place un procédé pour recons- 30 truire la composition en couleurs de la lumière reçue par chaque pixel 4. À cette fin, un procédé de démosaïçage est mis en oeuvre. Le procédé de démosaïçage consiste notamment en une interpolation des chrominances des différents pixels 4. Le procédé de démosaïçage utilise une matrice de démosaïçage appliquée sur l'image brute 5 produite par le premier capteur 2. Par 35 image brute 5 on entend les données sortant directement du premier cap- teur 2 après acquisition de l'image couleur 1. La construction d'une matrice de démosaïçage est réalisée au cours d'un processus d'apprentissage utilisant une base de données d'images de - 3 - 5 référence. La base de données d'images de référence peut comprendre N images de références Ii, i E [1, ...,N] à P composantes. A partir de la base de données d'images de référence, on construit une nouvelle base de données de N images simulées J. À chaque image de référence Ii correspond une image simulée Ji. Les images simulées Ji représentent une modélisation des 10 images brutes 5 produites par le premier capteur 2 après acquisition des images de la base de données d'images de référence par ledit premier capteur 2. Les images simulées Ji sont obtenues en partant des images de références Ii et en supprimant de celles-ci les composantes de couleur qui ne sont pas mesurées par le premier capteur 2. En pratique, si l'image de ré- 15 férence Ii possède P composantes, dans l'image simulée Ji on garde unique- ment la composante du filtre positionné sur chaque pixel du premier capteur 2. L'image simulée Ji comprend alors un unique plan. Les images simulées Ji des images brutes 5 issues du premier capteur 2 sont nommées par la suite images mosaïque 5, et les images Ii provenant de la base de données 20 de référence sont nommées images résolues. La figure 2a représente un exemple d'une transformation d'une image mosaïque J. en une matrice de vecteurs x. La figure 2b représente un exemple d'une transformation d'une image résolue Ii en une matrice de vecteurs y représentant l'image couleur. L'image mosaïque Ji est composée, tel 25 que représenté sur la figure 2a, d'un ensemble de motifs de base de taille h x w. La matrice de vecteurs x de l'image mosaïque Ji comprend HW/(hw) vecteurs de taille hw. L'image résolue Ii comprend P composantes, chaque composante correspondant à l'une des P couleurs. Chaque composante de l'image résolue Ii est une image d'une taille équivalente à la taille H x W de 30 la première mosaïque de filtres 3. Chaque composante de l'image résolue Ii peut être découpée selon un motif dont la taille est équivalente à la taille du premier motif de base 6 de la première mosaïque de filtres 3 : h x w. Il est ainsi possible de définir une matrice de vecteurs y représentant une image résolue Ii, construite avec HW 1(hw) vecteurs de taille Phw. 35 Le modèle de calcul de l'image mosaïque j à partir de l'image résolue Ii peut s'exprimer ainsi : x = My (1000) avec M une matrice de taille hw x Phw. - 4 - 5 La figure 2c représente un exemple d'une matrice M créée pour un filtre réalisé à partir d'un deuxième motif de base 20 d'une matrice de Bayer de taille 2 x 2 comprenant les filtres des couleurs suivantes : un premier filtre rouge 21, un deuxième filtre vert 22, un troisième filtre vert 23 et un quatrième filtre bleu 24. La matrice M obtenue pour ce motif est donc de io taille 4 x 12. La matrice M est composée de « 0 » et de « 1 ». Chaque composante de la matrice M ayant la valeur « 1 » représente une cellule du deuxième motif de base 20 de la matrice de Bayer. Pour obtenir le démosaïçage, il est connu de l'état de la technique d'utiliser une matrice dite de démosaïçage D définie par la méthode des moindres carrées, appliquée à 15 l'ensemble des matrices de vecteurs (x ; y) représentant respectivement les images mosaïques Ji et les images résolues Ii. La matrice de démosaïçage D ne peut être obtenue en inversant simplement la matrice M. En effet, même si une inversion de la matrice M peut être réalisée en utilisant une méthode du type pseudo inverse, cette opération produit une matrice D donnant de 20 mauvais résultats dans le procédé de démosaïçage. La matrice de démosaïçage D peut donc être calculée de la manière suivante : D = EI=1..N,yxT t (xxT) ll (1001) représentant l'espérance mathématique sur les N images de la base 25 de données de référence comparées avec les N images de la base de données des images simulées. La matrice de démosaïçage D ainsi calculée est de taille Phw x hw. À partir de la matrice de démosaïçage D calculée, il est possible de déterminer une matrice de vecteurs y- qui est une estimation de l'image re- 30 construite d'après l'image mosaïque issue du premier capteur 2. = Dx (1002) Ensuite, pour reconstruire l'image couleur à P composantes, il suffit de transformer la matrice de vecteurs y- en une image à P composantes, chaque composante correspondant à l'une des P couleurs, cette transforma- 35 tion est l'opération inverse de l'opération représentée sur la figure 2b. Chaque composante est ainsi une image d'une taille correspondant à la taille H x W de l'image mosaïque. - 5 - 5 Un des problèmes de cette méthode de reconstruction d'images cou- leur est que l'image à reconstruire est de taille supérieure à la taille de l'image couleur captée 1. Le modèle utilisé pour la reconstruction d'images réalise alors une interpolation de P couleurs pour un pixel à partir d'une seule information de couleur, celle du pixel. Il en résulte une grande insta- 10 bilité de la matrice D ainsi calculée et donc une mauvaise qualité de recons- truction de l'image couleur. L'état de la technique propose de réaliser une interpolation à partir d'un voisinage de chaque pixel de la matrice mosaïque afin d'en déterminer la couleur. Une telle interpolation permet de renforcer la stabilité de l'esti- 15 mation de la matrice de démosaïçage D. Il a été proposé dans les demandes de brevet FR2959092 et FR2917559 d'utiliser, pour réaliser cette interpolation, un voisinage dit glissant tel que représenté sur la figure 2d. La figure 2d représente une partie d'une matrice mosaïque produite par un deuxième capteur. Le motif de base de taille hx w utilisé pour l'exemple représenté 20 sur la figure 2d est un quatrième motif de base 25 de taille 2 x 2 d'une mo- saïque de Bayer. Le quatrième motif de base 25 comprend quatre pixels de couleur différentes : rouge 26, vert 27 et bleu 28. Pour simplifier la représentation, un des pixels du quatrième motif de base 25 est laissé blanc. Chaque pixel 26, 27, 28 possède son propre voisinage de pixels de taille 3 x 25 3 dont il est le centre. Par exemple le premier pixel rouge 26 est au centre d'un premier voisinage de pixels 200 ; le deuxième pixel 27 vert est au centre d'un deuxième voisinage 201 ; le troisième pixel 28 bleu est au centre d'un troisième voisinage 202. Le deuxième pixel 27 est situé sur la même colonne mais dans la ligne inférieure par rapport au premier pixel 26. Ainsi 30 le deuxième voisinage 201 est une translation d'un pixel vers le bas du pre- mier voisinage 200. Le troisième pixel 28 est situé sur la même ligne mais dans la colonne à droite par rapport au premier pixel 26. Ainsi le troisième voisinage 202 est une translation d'un pixel vers la droite du premier voisinage 200. Tous les pixels d'un même motif de base ont donc un voisinage 35 différent. Lors du passage d'un motif de base à un autre motif de base sur la matrice mosaïque, le voisinage de chaque pixel « suit » le pixel dans sa translation d'un motif à l'autre. - 6 - 5 Lors de la reconstitution de l'image, la couleur de chaque pixel peut donc être reconstituée en fonction des couleurs des pixels de son voisinage. Ainsi, la matrice D est définie en intégrant les voisinages de chaque pixel de la manière suivante : dans la construction des matrices de vecteurs x, y chaque pixel est augmenté de son voisinage et donc les différents voisinages 10 de chaque pixel sont également stockés dans les matrices de vecteurs x, y. La prise en compte des voisinages dans le calcul des matrices de démosaïçage, si elle permet d'avoir une meilleure reconstitution de l'image, possède l'inconvénient de devoir manipuler des matrices plus grandes et donc nécessite des moyens de calculs et de stockage de données importants. 15 Résumé de l'invention Un objectif de l'invention est notamment de proposer une amélioration des méthodes connues de calcul d'une matrice de démosaïçage. Un 20 autre objectif de l'invention est d'utiliser cette amélioration afin de proposer une optimisation des mosaïques de filtres associées aux capteurs. La présente invention propose à cette fin un procédé de reconstruction d'une image couleur, acquise par un capteur photosensible de taille H x 25 W, recouvert d'une mosaïque, de taille H x W, de P filtres de différentes couleurs composant un motif de base de taille h x w tel que h h et nw > w ; - une deuxième étape de reconstruction d'une image couleur réalisant le produit de la matrice de démosaïçage D avec une représentation 15 matricielle d'une image mosaïque provenant du capteur après acqui- sition de l'image couleur par ledit capteur, ledit produit de la matrice de démosaïçage D avec la représentation matricielle de l'image mosaïque mettant en oeuvre une interpolation de la couleur de chaque pixel de l'image mosaïque en fonction d'un voisinage, de taille nh x nw 20 pixels, d'un motif de base de taille h x w, correspondant au motif de base de la mosaïque de filtres. Avantageusement la taille du voisinage peut être définie par nhnw = Phw. Une première matrice de démosaïçage D1 peut s'exprimer comme une 25 espérance mathématique E calculée sur les N images de référence de la première base de données : D1 = Ei=1..N{374(x14)-1}, avec y une matrice de HW / (hw) vecteurs de taille Phw représentant l'image couleur. La première matrice de démosaïçage D1 peut s'exprimer ainsi : D1 = s1Rmr(m1RMr)-1 avec x1 = M,y,i M, étant une matrice de projection de yi sur 30 x1 , y = Si_ étant une matrice de réduction du voisinage du vecteur yi et de transformation du vecteur y1 en y , et R = Npl-Hw Ei=1..N tytyi ' I étant une matrice de corrélation des images résolues de la première base de données exprimées en fonction des voisinages réduits de taille nh x nw. La matrice de démosaïçage peut s'exprimer en fonction de la sensibi- 35 lité spectrale du capteur et des fonctions spectrales des P filtres de couleurs différentes. - 8 - 5 La première base de données pouvant alternativement comprendre des images multi-spectrales de réflectance, une deuxième matrice de démosaïçage D2 peut être définie par l'expression : D2 = FT CLSie LTICT FiMr (Min CiLie LTICT F1Mr)-1, avec R' = EI=LN tzizr} NHWPX 10 La deuxième matrice de démosaïçage D2 peut être construite selon les étapes suivantes : - calcul d'une matrice de vecteurs yo représentant une image à P composantes en fonction d'une matrice de vecteurs zo représentant une image multi-spectrale de réflectance obtenue à partir d'une réflexion 15 d'un objet éclairé par une source de lumière de densité spectrale de puissance L(À), étant une composante spectrale, tel que : yo = Fj: CoLozo, avec F0 une matrice de taille PÀ,x P de fonctions de transmission spectrale des filtres de la mosaïque, avec Co une matrice diagonale de taille PÀ,x PÀ, d'une sensibilité spectrale du capteur, Lo une 20 matrice diagonale de taille PÀ,x PÀ, des densités spectrales de puis- sance de la source de lumière ; - construction de la matrice de vecteurs y à partir de l'image multicomposantes et d'une matrice de vecteurs z, construite à partir de l'image multi-spectrale de réflectance, lesdites matrices de vecteurs 25 y et z comprenant ledit motif de base, tels que y = FT CLz avec F = /hw Fo, /1,w étant une matrice identité de dimensions hw x hw, C = Ihw Co, et L Ihw Lo - construction d'une matrice de vecteurs z1 composée des voisinages réduits de taille nh x nw du motif de base de l'image de multi-spectrale 30 de réflectance telle que y1 = Fr C1L1z1, y1 étant une matrice composée des voisinages réduits de taille nh x nw du motif de base de taille h x w de l'image spectrale multi-spectrale de réflectance, avec F1 = Inhnw Fo Inhnw étant une matrice identité de dimensions nhnw x nhnw , L1 = Inhnw 0 1,0 et C1 = Inhnw c0 ; 35 - construction de la deuxième matrice de démosaïçage D2 avec M1 étant une matrice de projection de y1 sur x1 et S1 étant une matrice de réduction du voisinage du vecteur y1 et de transformation en y. - 9 - 5 Co peut également être un produit des sensibilités spectrales de com- posants du chemin optique de la caméra par la sensibilité spectrale du capteur, lesdits composants pouvant comprendre au moins l'un parmi : un objectif de la caméra, un filtre infrarouge, un filtre spatial passe-bas, un système de micros-lentilles. io Chaque ligne de la matrice de démosaïçage D, D1, D2 peut s'exprimer comme un filtre de convolution. L'invention concerne également un système de traitement de données comprenant des moyens de mise en oeuvre des étapes du procédé de reconstruction d'une image couleur. 15 L'invention concerne également un produit programme d'ordinateur comprenant des instructions qui lorsque le programme est exécuté par un ordinateur, conduisent l'ordinateur à mettre en oeuvre les étapes du procédé de reconstruction d'une image couleur. 20 Un autre aspect de l'invention est qu'elle peut s'appliquer à un pro- cédé d'optimisation de fonctions spectrales de filtres et d'arrangement des filtres sur une mosaïque de P filtres de couleurs différentes, répétés de manière à remplir un motif de base de taille h x w , ledit motif de base se répétant de façon à couvrir la mosaïque de filtres, ladite mosaïque de filtres étant 25 appliquée sur un capteur photosensible. Ledit procédé comprend une opti- misation multicritères par minimisation d'une erreur de restitution colorimétrique et par minimisation d'une erreur quadratique moyenne entre une image provenant d'un capteur idéal, acquise à partir d'une image d'une base de données d'images de référence, et une image provenant d'un capteur 30 recouvert de la mosaïque de P filtres différents, acquise à partir de la même image de la base de données d'images de référence, ladite image acquise par le capteur recouvert de la mosaïque de filtres étant reconstruite par le procédé de reconstruction d'une image couleur. Le procédé d'optimisation comprend en outre une minimisation d'une 35 erreur de restitution colorimétrique entre l'image provenant du capteur idéal acquise à partir de l'image de la base de données d'images, et une image provenant d'un capteur recouvert d'une série de P filtres, chacun des P filtres - 10 - 5 recouvrant la totalité du capteur, ladite image étant acquise à partir de la même image de la base de donnée. Le procédé d'optimisation comprend en outre une minimisation d'une erreur de restitution colorimétrique entre une mire de MacBeth acquise par un capteur parfait et une mire de MacBeth acquise par un capteur muni de 10 la mosaïque des P filtres. L'invention concerne également un système de traitement de données comprenant des moyens de mise en oeuvre des étapes du procédé d'optimisation. L'invention concerne en outre un produit programme d'ordinateur 15 comprenant des instructions qui lorsque le programme est exécuté par un ordinateur, conduisent l'ordinateur à mettre en oeuvre les étapes du procédé d'optimisation. Avantageusement, l'invention permet d'améliorer la vitesse d'exécu20 tion de l'algorithme de démosaïçage ainsi que l'encombrement de la mémoire d'un calculateur utilisé dans le cadre de la mise en oeuvre de l'invention. Description des figures 25 D'autres avantages et caractéristiques de l'invention apparaîtront à l'examen de la description détaillée de plusieurs modes de réalisation nulle- ment limitatifs, et des dessins annexés, sur lesquels : - La figure la représente un principe général d'acquisition d'une 30 image par un capteur muni d'une mosaïque de filtres ; - La figure lb représente un exemple d'un motif de base pour une mosaïque de filtres ; - La figure 2a représente une conversion d'une image issue d'un cap- teur muni d'une mosaïque de filtres, en une matrice de vecteurs ; 35 - La figure 2b représente une conversion d'une image à plusieurs composantes en une matrice de vecteurs ; 5 - La figure 2c représente un exemple de matrice de calcul d'une image en sortie d'un capteur muni d'une mosaïque de filtres de Bayer ; - La figure 2d représente un exemple d'interpolation d'une couleur d'un pixel en utilisant un voisinage glissant selon l'état de la tech- 10 nique ; - La figure 3 représente un exemple d'interpolation d'une couleur d'un pixel en utilisant un voisinage selon l'invention ; - La figure 4a représente une conversion d'une image mosaïque en sortie d'un capteur, en une matrice de vecteurs ; 15 - La figure 4b représente une conversion d'une image mufti-compo- santes en une matrice de vecteurs ; - La figure 5 représente un exemple d'acquisition de données pour le calcul d'une matrice de démosaïçage sur un domaine spectral continu ; 20 - La figure 6a représente des conversions d'une image multi-spec- trale en plusieurs matrices de vecteurs différentes ; - La figure 6b représente un calcul d'une matrice de vecteurs représentant une image rendue après acquisition d'une image multispectrale par un capteur associé à un filtre ; 25 - La figure 7 représente un principe de transformation d'une matrice de démosaïçage en filtres de convolution ; - La figure 8 représente un exemple d'acquisition de données pour une optimisation des dispositions et des fonctions spectrales des filtres d'une mosaïque de filtres ; 30 - La figure 9 représente des calculs de différentes images utilisées pour optimiser les dispositions et les fonctions spectrales des filtres de la mosaïque de filtres ; - La figure 10 représente le procédé et dispositif de démosaïçage selon l'invention ; 35 - La figure 11 représente le procédé de construction d'une matrice de démosaïçage selon l'invention. - 12 - 5 Description détaillée La présente invention traite notamment de l'acquisition d'une image multi-chromatique ou multi-composantes couleur de taille H x W. Sur la fi- 10 gure la, l'image comprend P composantes de couleurs. L'image à P composantes de couleur 1 est acquise par un premier capteur photosensible 2 après passage de la lumière provenant d'un objet au travers d'une première mosaïque de filtres 3, ou matrice, composée de filtres 7 de P couleurs différentes. Ladite mosaïque de filtres 3 est de taille H x W. Le premier capteur 15 2 est défini par une matrice de pixels 4 de taille H x W. Chaque filtre 7 est de la taille d'un pixel 4 du premier capteur 2 et recouvre un pixel 4 du premier capteur 2. La mosaïque 3 de filtres de couleurs 7 est composée à partir du premier motif de base 6 de taille h x w avec hw P. Le premier motif de base 6 comprend h x w couleurs différentes ou non. Par exemple sur la figure 20 lb, le premier motif de base 6 comprend deux filtres rouge F1, deux filtres orange F2, deux filtres vert F3, un filtre rose F4, un filtre bleu F5 et un filtre jaune F6. Les filtres F1, F2, F3, F4, F5, F6 du premier motif de base 6 sont disposés selon un agencement particulier. Dans l'exemple représenté sur la figure lb, le premier motif de base 6 se présente sous la forme d'une matrice 25 de 3 x 3 de filtres disposés de la façon suivante, de gauche à droite et de haut en bas : F3, F1, F2, F4, F5, F3, Fl, F6, F2. Dans la matrice ou mosaïque 3 de filtres couleurs, le premier motif de base 6 se répète de manière à couvrir l'ensemble de la mosaïque 3 sans recouvrement entre les différents motifs de base 6. La taille du premier motif de base 6 est définie de manière 30 à ce que H soit un multiple de h et W un multiple de w. D'autres motifs de base peuvent être utilisés sans pour cela sortir du cadre de l'invention. Une fois l'image acquise par le premier capteur 2, celle-ci est traitée afin de reconstruire l'image multi-composante. Le traitement réalisé sur l'image brute sortant du premier capteur 2, est un procédé de démosaïçage 35 utilisant une matrice de démosaïçage D1. La matrice de démosaïçage D1 est obtenue par la méthode des moindres carrées appliquée aux matrices de vecteurs x1, y : D1= Ei=1..N T tY)C1 01X1 j (1003) - 13 - 5 Dans l'expression (1003), y est une matrice de vecteurs telle que re- présentée sur la figure 2b. La matrice de vecteurs y est obtenue à partir d'une image résolue Ii à P composantes de couleurs faisant partie d'une base de données d'images de référence utilisée pour la construction de la matrice D1 par apprentissage tel que décrit dans l'état de la technique. 10 L'image résolue Ii est de dimensions H x W et comprend un troisième motif de base 21 de taille h x w. La matrice de vecteurs y est construite en prenant les P composantes d'un troisième motif de base 21, c'est-à-dire les P composantes de chaque pixel du troisième motif de base 21. Chaque vecteur de y est donc de taille Phw et y comprend HW 1(hw) vecteurs de taille Phw pour 15 représenter toutes les informations contenues dans une image I multi-com- posantes provenant de la base de données d'images de référence. Dans l'ensemble de la description on utilise indifféremment H x W pour la taille d'une matrice ou d'une image. Dans le cas d'une matrice, H x W représente le nombre de lignes H par le nombre de colonnes W de la 20 matrice. Dans le cas d'une image, H x W représente la dimension de l'image correspondant à une matrice de taille H x W . De la même manière, la taille du premier motif de base 6 est de h lignes par w colonnes. Dans une image, par extension, on définit une portion de l'image dont la taille correspond à la taille du premier motif de base 6 dans une matrice de même taille que 25 l'image. On peut ainsi dire que le motif de base 6 est appliqué sur l'image. Par analogie, la portion d'image correspondant au motif de base, tel que le troisième motif de base 21 représenté sur la figure 2b, sera aussi nommée motif de base. La taille du motif de base de l'image est de la même dimension que le motif de base de la matrice. Par extension, on définit la taille du 30 motif de base de l'image comme étant h x w. Dans l'expression (1003), x1 est construit tel que représenté sur la figure 4a. À partir de la base de données d'images de référence, une simulation permet d'obtenir une nouvelle base de données d'images brutes 40 contenant des données issues du premier capteur 2, simulées après acqui- 35 sition des images de la base de données d'images de référence par le pre- mier capteur 2. Les données issues du premier capteur 2 forment une image brute 40 de taille H x W qui peut être décomposée en pixels 41, chaque pixel 41 correspondant à une réponse d'un photosite du premier - 14 - 5 capteur 2 par exemple, telle que représentée sur la figure 4a. L'image brute peut être représentée comme une matrice de taille H x W comprenant le premier motif de base 6 correspondant au motif de base de la mosaïque 3 de filtres 7 telle que représentée sur la figure la. Sur l'exemple représenté sur la figure 4a, chaque pixel correspond à l'une des P composantes 10 couleurs et donc à l'un des P filtres 7. Sur la figure 4a, les composantes du premier motif de base 6 sont notées F1 à Fp. Le premier motif de base 6 de l'image mosaïque 40 est donc de taille h x w. Sur la figure 4a, le motif de base est pour l'exemple de taille 3 x 3. Selon l'invention, un quatrième voisinage de pixels 30 est défini par rapport au premier motif de base 6. Le 15 quatrième voisinage 30 est de taille nh x nw. . Le quatrième voisinage 30 selon l'invention est par la suite nommé voisinage réduit 30. La taille du voisinage réduit 30 est définie selon l'invention telle que nh > h et nw > w. On peut par exemple utiliser un voisinage réduit tel que nhnw = Phw. Avantageusement le voisinage réduit ainsi défini comprend une quantité et une 20 qualité d'informations de couleurs optimales pour décrire l'image couleur captée 1. La figure 3 représente une utilisation du voisinage réduit 30 selon l'invention pour réaliser les calculs d'interpolation des couleurs de chaque pixel de l'image mosaïque 40. Pour l'exemple, le motif de base utilisé est 25 le quatrième motif de base 25 tel que représenté sur la figure 2d selon l'état de la technique. On définit ainsi un voisinage réduit 30 de taille 4 x 4 sur l'exemple représenté figure 3 autour du quatrième motif de base 25. Le voisinage réduit 30 a par exemple une taille d'un pixel en largeur et en longueur de plus que le quatrième motif de base 25. La couleur de chaque 30 pixel du quatrième motif de base 25 est calculée en interpolant les couleurs des pixels du voisinage réduit 30. Lorsque l'on passe d'un quatrième motif de base 25 à un quatrième motif de base 25 voisin sur l'image mosaïque 40, le voisinage réduit 30 est translaté sur l'image mosaïque 40 d'un nombre de pixels équivalent à la taille d'un côté du quatrième motif de 35 base 25 soit dans l'exemple présent : deux pixels. Le voisinage 30 est dit réduit en ce qu'un seul et même voisinage est utilisé pour tous les pixels d'un même motif de base : ce même voisinage peut être défini comme le voisinage du motif de base. - 15 - 5 De manière générale, le voisinage réduit 30 est défini tel que nh > h et nw > w. Par exemple, on peut prendre nhnw = Phw. Le même voisinage réduit 30 de taille nh x nw selon l'invention est donc utilisé pour interpoler la couleur de chaque pixel du premier motif de base 6 lors de la reconstruction de l'image couleur captée 1 selon l'inven- 10 tion. Ainsi, pour construire la matrice de démosaïçage on construit la ma- trice de vecteurs x1 tel que chaque vecteur comprend uniquement les composantes des voisinages réduits 30 de chaque premier motif de base 6 composant l'image mosaïque 40. Chaque vecteur de x1 est donc de taille nhnw et la matrice x1 comprend HW /(hw) vecteurs de taille nhnw. Ainsi la 15 matrice de démosaïçage D1 de l'expression (1003) est de taille Phw x nhnw. Avantageusement, une telle matrice est de taille inférieure à une matrice selon l'état de la technique tout en conservant une bonne qualité dans la reconstruction d'une image couleur. Par exemple on peut montrer expérimentalement que l'image reconstruite avec un voisinage glissant de taille 20 nh x nw possède les mêmes performances qu'un voisinage réduit de taille (71,h + h - 1) x (nw + w - 1). D'un point de vue théorique les deux voisinages couvrent le même domaine de l'image mosaïque. Par exemple, pour un motif de base de Bayer de taille 2 x 2 et un voisinage glissant de taille 3 x 3 on obtient les même résultats en terme de performances qu'avec un voi- 25 sinage réduit de taille 4 x 4. Il est également possible de définir une matrice de vecteurs y1, telle que représentée sur la figure 4b. La matrice de vecteurs yi représente l'image résolue à P composantes 42 sous la forme d'une matrice de HW /(hw) vecteurs de taille Pnhnw construite comme la matrice y mais en 30 prenant le voisinage réduit 30 du premier motif de base 6 à la place du premier motif de base 6 pour chacune des P composantes de l'image résolue 42. Ainsi en définissant les opérateurs suivants, il est possible d'obtenir une version simplifiée de la matrice de démosaïçage D1. On définit une matrice M1 de projection de la matrice de vecteurs yi 35 de l'image résolue à P composantes munie de son voisinage réduit 30 sur la matrice de vecteurs x1 de l'image mosaïque 40 munie de son voisinage réduit 30, telle que : = M1y1 (1004) - 16 - 5 On définit une matrice S1 de réduction du voisinage réduit 30 de la matrice de vecteurs yi pour la transformer en la matrice de vecteurs y, telle que : Y = S13i1 (1005) Il est ainsi possible de définir la matrice de démosaïçage D1 comme 10 suit : D1 = SiRMT (m1Rmr)-1 (1006) avec R la matrice de corrélation telle que : N T R = NPHW (1007) Avantageusement, en utilisant la formulation de D1 selon l'expres- 15 sion (1006) il est possible de calculer une seule fois la matrice de corréla- tion R des images couleurs de la base de données d'images de référence, ou images résolues, lesdites images résolues étant munies de leur voisinage réduit 30 de taille nh x nw. Ainsi il est possible de recalculer simplement la matrice de démosaïçage D1 en modifiant les opérateurs M1 et Si_ 20 selon la mosaïque de filtres considérée. Une estimation de l'erreur liée au procédé de démosaïçage peut s'exprimer ainsi : e =E`ttr((y-- y)(5.7 - y)T)) (1008) donc 25 e = trtDiMiRMT Di + SiRST- SiRMT Di - D1M1RS11 (1009) avec tr, , l'opérateur trace. Il est ainsi possible d'évaluer à priori une performance d'une mosaïque de filtres particulière pour encoder une base de données d'images de référence. 30 La base de données d'images de références permet de calculer R pour une taille de voisinage réduit nh x nw donnée. La définition du premier motif de base 6 de la mosaïque de filtres permet de calculer M1, S1, et D1. À partir de ces données, l'erreur moyenne dans la reconstruction 35 d'une image, liée à l'utilisation d'une mosaïque particulière positionnée sur le premier capteur 2, peut être calculée directement sur la base de données d'images de référence. - 17 - 5 De la même manière, il est possible de calculer une moyenne d'un écart de couleurs entre les images de références et les images résolues de la manière décrite ci-après. Une matrice contenant l'efficacité quantique spectrale des filtres est nommée FQE. L'efficacité quantique spectrale peut être mesurée par un 10 monochromateur, ou estimée par une transformation adéquate si l'on ne connait pas à priori les fonctions de transmission spectrales des filtres. La mesure de l'efficacité quantique spectrale est réalisée en procédant à un enregistrement des données acquises par le premier capteur 2 à partir des images correspondant aux lumières quasi-chromatiques produites par le 15 monochromateur pour chaque pixel du motif de base. Les niveaux des images sont ensuite arrangés de sorte à ce que les niveaux de sensibilités liés aux temps d'expositions lors de la mesure se correspondent, c'est-à-dire que l'on multiplie les niveaux des images par un facteur dépendant du temps d'exposition pour harmoniser les sensibilités dans une unité ra- 20 diométrique donnée. Pour calculer une efficacité quantique des P différents pixels couverts par les P filtres différents sur un domaine de longueur d'onde donné avec un pas de longueur d'onde donné, on utilise un appareil de mesure de la transparence des filtres, ou de l'ensemble du chemin optique, sur I\IÀ, intervalles de longueur d'onde. Par exemple pour un domaine 25 de 380nm à 780nm avec un pas de 1nm, on obtient 1\1À,= 401. Une transformée de l'espace des filtres vers l'espace de couleur tri-chromatique normalisé CIE 1931 - XYZ peut être définie de la façon suivante : FtoXYZ = XYZTFQE(FEFQE) 1 (1010) 30 avec FQE de taille 1\1À, x P, XYZ une matrice de taille 1\1À, x 3 contenant les fonctions spectrales des filtres définies pour l'espace couleur CIE 1931 - XYZ, et FtoXYZ de taille 3 x P. FtoXYZ est une matrice de transformation permettant de convertir une image couleur à P composantes en une image dont les coordonnées colorimétriques sont exprimées dans l'espace de 35 couleurs CIE 1931 - XYZ. L'espace de couleurs CIE 1931 - XYZ a été défini par la commission internationale de l'éclairage (CIE) en 1931. En étendant la taille de la matrice de transformation FtoXYZ à la taille du vecteur y, on obtient la transformation yxyz définie par : - 18 - 5 yxyz = (Ihw FtoXYZ)y (1011) dans laquelle ihw est une matrice identité de taille hw x hw et 0 représente un produit de Kronecker. Une approximation de la moyenne de l'écart de couleur au carré j sur la base de données d'images de référence pour une mo- 10 saïque de filtres donnée et une taille de voisinage définie, est donnée par : Ei=1..N{1E} = iJiE2 (1012) avec : 3E2 = tr (K (5, - y)( - y)T KT = Dr KT + KSRST KT - KSRIVIT 111: KT - KDIMIKST KT} 15 (1013), K = Ihw 0 (1014), 0 116 0 = 500 -500 0 FtoXYZ) (1015) 0 200 -200 20 étant une approximation de la transformée vers l'espace de cou- leur CIE L*a*b*. Une représentation dans l'espace couleur CIE 1931 - XYZ est une représentation linéaire du système visuel. Or cette représentation n'est pas satisfaisante pour prédire les différences de couleurs. Pour cela on 25 utilise donc l'espace couleur CIE L*a*b* qui uniformise l'espace couleur pour s'approcher de la perception humaine. L'espace de couleur CIE L*a*b* a été défini par la commission internationale de l'éclairage (CIE) en 1976. Il est ainsi possible de tester et d'évaluer à moindre coût de calcul 30 différentes mosaïques notamment du fait que le calcul de R est réalisé une seule fois avec le voisinage réduit 30 pour chaque image de la première base de données de référence, quelle que soit la mosaïque testée. Il est ainsi possible de calculer une erreur moyenne dans la reconstruction des images de la base de données de référence avec une mosaïque donnée. 35 - 19 - 5 Avantageusement, il est possible de transformer une image recons- truite par le procédé démosaïçage selon l'invention vers tout espace normalisé dérivé de l'espace de couleurs CIE 1931 - XYZ. On peut choisir par exemple un espace sRGB (signifiant standard Red Green Blue) qui est un espace colorimètrique trichromatique défini par la norme défini par la 10 norme CIE 61966-2-1 (1999). Par exemple, une transformation vers l'es- pace couleur sRGB peut être réalisée de la manière suivante : YsRGB = A(IhW FtOXYZ)Y (1016) En utilisant l'expression (1002) appliquée à D1 et x1, on obtient : YsRGB = A(IhW Ft0XYZ)D1x1 (1017) 15 avec 3.2406 -1.5372 -0.4986 A = Ihw 0 -0.9689 1.8758 0.0415 (1018) 0.0557 -0.2040 1.0570 A étant une matrice de transformation de l'espace de couleurs CIE 1931 - XYZ vers l'espace couleur sRGB. 20 La figure 5 représente une généralisation du calcul de la matrice de démosaïçage selon l'invention au domaine spectral tout entier, c'est-à-dire à un domaine spectral continu. La figure 5 représente une source de lumière 50 de densité spectrale de puissance L (A) définie en fonction des différentes composantes spectrales A, c'est-à-dire de la valeur de l'énergie 25 entre deux longueurs d'ondes données. La source de lumière 50 est réflé- chie par une surface d'un objet 51 représenté par une image multi-spectrale de réflectance R(x' , y', A) 52. La réflectance représente une modulation du spectre de la source de lumière 50 par l'objet 51 sur lequel elle se réfléchie. L'image multi-spectrale de réflectance 52 est composée de /3À, 30 images de taille H x W définies dans un repère orthogonal (x', , . La ré- flexion de la lumière 50 sur l'objet ou surface réfléchissante 51 donne une image de radiance L(A)R(x' , , Il est possible d'exprimer une image multi-composantes 54 à partir de l'image multi-spectrale de réflectance, en multipliant l'image multi- 35 spectrale de réflectance 52 par la densité spectrale de puissance L (A) , pour déterminer une image de radiance 53. Ensuite une matrice représentant l'image de radiance 53 est multipliée par les fonctions de transmission des - 20 - 5 filtres F1(À), F2(A), Fp(A) en fonction de la composante spectrale de la lumière et de C (A) . Cette opération peut être réalisée sous forme vectorielle comme représenté sur les figures 6a et 6b. C (A) est défini comme la sensibilité spectrale du chemin optique de la caméra sans la sensibilité spectrale de la mosaïque de filtres. La caméra peut comprendre sur son 10 chemin optique un objectif, un filtre infrarouge, un filtre spatial passe bas, un système de micros lentilles, et un troisième capteur 55. C (A) peut alors être défini comme le produit des fonctions de transmission spectrale de chaque composant du chemin optique sans les fonctions de transmission des filtres de la mosaïque. Si on considère uniquement le capteur sur le is chemin optique de la caméra, alors C (A) est la sensibilité du troisième cap- teur 55. Alternativement, on peut également considérer sur le chemin optique un ou plusieurs composants, en plus du capteur parmi : un objectif, un filtre infrarouge, un filtre spatial passe bas, un système de micros lentilles. 20 L'opération que l'on modélise à travers la détermination de la ma- trice de démosaïçage est la reconstruction d'une image multi-composantes à partir d'une image mosaïque 56 produite par un troisième capteur 55 sur lequel est positionnée une deuxième mosaïque de filtres 57 de fonction spectrale F (A) , après acquisition de l'image de radiance 53. La deuxième 25 mosaïque de filtres 57 est composée de P filtres définis pour P À. intervalles de valeurs dans le domaine spectral. En général, on considère pour un domaine spectral de 400nm à 700nm un pas de lOnm. Le troisième capteur 55 est semblable au premier capteur 2 représenté sur la figure la et la deuxième mosaïque de filtres 57 est semblable à la première mosaïque 30 de filtres 3 représentée sur la figure la. La figure 6a représente plusieurs transformations vectorielles de l'image multi-spectrale de réflectance 52, ou plusieurs façons de déplier ladite image multi-spectrale de réflectance 52. 35 On peut construire une première matrice de vecteurs zo dont les vecteurs sont des composantes spectrales de l'image multi-spectrale de réflectance 52, de taille PÀ,. La première matrice de vecteurs zo est composée de HW vecteurs différents. - 21 - 5 Une deuxième matrice de vecteurs z représentant l'image de réflec- tance multi-spectrale 52 peut également être construite. Pour construire la deuxième matrice de vecteurs z, on regroupe les pixels par groupes de taille hw, chaque groupe correspondant aux positions des motifs de base 6 sur la deuxième mosaïque de filtres 57 pour l'ensemble des composantes 10 spectrales PÀ,. Ainsi, la deuxième matrice de vecteurs z est composée de HW /(hw) vecteurs de taille hwPÀ,. Une troisième matrice de vecteurs z1 peut être construite à partir de l'image multi-spectrale de réflectance 52 en utilisant un voisinage de taille nh x nw autour de chacun des motifs de base 6 sur la deuxième mo- 15 saïque de filtres 57. Le vecteur cumulé des composantes spectrales de chacun des pixels du voisinage est de dimension nhnwPÀ,. La troisième matrice z1 est alors composée de HW/(hw) vecteurs différents. La figure 6b représente un calcul d'une matrice de vecteurs multi- 20 composantes yo à partir de la première matrice de vecteurs zo. La première matrice de vecteurs zo représentant l'image multi-spectrale de réflectance 52 est dans un premier temps multipliée par une matrice diagonale Lo de dimensions PÀ, x PÀ, dont les composantes sont les PÀ, valeurs de la densité spectrale L(À) de la source de lumière, les autres valeurs de la matrice Lo 25 étant mises à zéro. Puis dans un deuxième temps, le résultat est multiplié par une matrice diagonale Co de dimensions PÀ,x PÀ,. La matrice diagonale Co comprend sur sa diagonale les composantes de la sensibilité spectrale C(À) du chemin optique de la caméra sans la fonction de transmission spectrale de la mosaïque de filtres 57. Le résultat est ensuite multiplié par 30 une transposée d'une matrice F0 de PÀ, fonctions de transmission spectrale des P filtres F1(À), F2(A), Fp(A) de la mosaïque de filtres, ladite matrice F0 étant de taille PÀ, x P. Le résultat est donc une matrice de vecteurs multicomposantes yo de taille P x HW telle que : yo = Fj: CoLozo (1019) 35 De la même manière que l'on construit la matrice de vecteurs y à partir de l'image résolue multi-composantes Ii, tel que représenté sur la figure 2b, c'est-à-dire en incorporant le premier motif de base 6, tel que - 22 - 5 représenté sur la figure 4b, dans les vecteurs ligne de ladite matrice, il est possible de construire la deuxième matrice de vecteurs z à partir de l'image multi-spectrale de réflectance 52 en incluant le premier motif de base 6 dans le vecteur ligne. Dans ce cas, z est de dimensions 13Jiw HW (hw). Il est alors possible de transposer l'expression (1019) pour ex- 10 primer y en fonction de z : y = FT CLz (1020) avec les expressions suivantes : F = Ihw 0 Fo, C = Ihw Co, et L = IhWLo dans lesquelles Ihw est une matrice identité de taille hw x hw. 15 La nouvelle matrice de démosaïçage D2 appliquée à une image multi-spectrale peut alors s'écrire ainsi : D2 = FT CLS1RILTICT CT (Min CiLiRILTICT FiMr)-1 (1021) telle que : 1 Ei=1..Ntzizr} (1022) R' = NHWPX 20 avec (1023) (1024) (1025) (1026) = Fr CiLizi F1 = Inhnw FO L1 = Inhnw L0 C1 = Inhnw Co 25 et x1 = M1y1 = M1F1C1L1z1 et y = La nouvelle matrice de démosaïçage D2 ainsi définie permet de tenir compte, en plus d'un arrangement quelconque des couleurs dans la mosaïque de filtres, caractérisé par M1, des fonctions de transmission des filtres F0 et de la densité spectrale de la source de lumière Lo. Avantageu- 30 sement, la formulation de D2 prend en compte la définition du voisinage réduit selon l'invention. Il est également possible de calculer à priori la performance d'une mosaïque de filtres particulière, définie par l'arrangement spatial de ses filtres, les fonctions spectrales de transmission de ses filtres et la source 35 de lumière utilisée. À cette fin, il est possible d'adapter au domaine multi- - 23 - 5 spectral les équations de calcul de l'erreur d'estimation liée au démo- saïçage (1008), (1009) et les équations de calcul de l'écart de couleur (1012), (1013), (1014), (1015) lié au démosaïçage. L'efficacité quantique spectrale FQE des filtres est équivalente au produit de la matrice de transmission des filtres F avec C, C étant la sen- 10 sibilité du capteur multipliée par les fonction de transmission spectrale des composants du chemin optique de la caméra sans la mosaïque de filtres. Par simplification, il est possible de considérer uniquement la sensibilité du capteur pour calculer C. Avantageusement, dans l'équation (1021), la multiplication à 15 gauche par l'expression FTCLS1 projette l'image reconstruite selon les P composantes de couleurs. Autrement dit, FTCLS, projette les PÀ, composantes du domaine spectrale sur les P couleurs des filtres de la mosaïque. Si l'on ne réalise pas la projection de l'image reconstruite selon les P composantes de couleurs alors on obtient un filtre de reconstruction des 20 images multi-spectrales. Il est ainsi possible d'estimer un spectre de cou- leurs pour chaque pixel de l'image reconstruite à partir de l'image mosaïque. La figure 7 représente une transformation d'une matrice de démo- 25 saïçage, par exemple D1 en un filtre de convolution. Une matrice de démosaïçage, telle la matrice D1, permet de reconstruire la matrice de vecteurs y représentant l'image reconstruite à partir de la matrice de vecteurs x1 représentant l'image mosaïque : ÿ = Chaque ligne de la matrice de démosaïçage peut être considérée 30 comme un filtre de convolution qui permet de reconstruire une des couleurs de l'un des pixels d'un cinquième motif de base 70, de taille h x w de l'image couleur, à P composantes. Le cinquième motif de base 70 est codé comme un premier vecteur colonne 71 de taille Phw, , à partir d'un voisinage réduit 73, de taille nh x nw, du motif de base hw comprenant ledit pixel correspon- 35 dant dans l'image mosaïque. Le voisinage réduit 73 est codé comme un deuxième vecteur colonne 74. Chaque ligne de la matrice de démosaïçage D1 peut être convertie en un filtre de convolution équivalent 72 qui s'applique sur chaque pixel de - 24 - 5 l'image mosaïque pour reconstruire les pixels de l'image couleur à P com- posantes. Avantageusement, l'expression d'une matrice de démosaïçage en un ensemble de filtres de convolution, chacun applicable à un pixel de l'image mosaïque, permet d'éviter la conversion de l'image mosaïque en une matrice de vecteurs, qui représente une opération coûteuse en temps de 10 calcul, en ressource de calcul et en mémoire. Avantageusement, on obtient ainsi une image reconstruite qui ne se présente pas sous la forme d'une matrice de vecteurs qu'il faut désassembler. Il est ainsi possible de gagner du temps de calcul, des ressources de calcul et de la mémoire en s'affranchissant de l'opération de transformation de la matrice de vecteurs de 15 l'image reconstruite en l'image reconstruite entière, dans laquelle chaque pixel du motif de base correspond à un filtre de convolution. La transformation en filtres de convolution peut aussi s'appliquer à la matrice de démosaïçage D2 d'une image mosaïque multi-spectrale. 20 L'invention permet également la mise en oeuvre d'une méthode d'op- timisation spectrale des fonctions de transmission des filtres et de l'arrangement des filtres sur un motif de base d'une mosaïque. À cette fin, on utilise un apprentissage du filtre ou matrice de démosaïçage utilisant la méthode des moindres carrés avec un voisinage réduit 25 30 selon l'invention. La matrice de démosaïçage peut être, comme on l'a vue précédemment et notamment dans l'expression (1021), exprimée à l'aide des fonctions spectrales des filtres F. A l'aide de la matrice de démosaïçage, il est possible de calculer les critères de qualité MSE (pour Mean Square Error ou erreur quadratique moyenne) et ,AE de la reconstruction de 30 l'image captée par le troisième capteur 55, en une image couleur à P com- posantes. Il est ainsi possible d'optimiser les paramètres des fonctions spectrales des filtres afin de maximiser les critères de qualité de l'image rendue. Tel que représenté sur la figure 8, à partir d'une image acquise selon 35 le principe représenté sur la figure 1 et en utilisant le procédé selon l'inven- tion, on peut reconstruire une image à P composantes de couleur. Il est aussi possible en utilisant l'équation (1016) et les suivantes de reconstruire - 25 - 5 une image rendue dans un espace trichromatique normalisé comme l'espace CIE 1931-XYZ. Sur la figure 8, un modèle de formation d'une image propose une reconstruction d'une image à partir d'une image de réflectance multi-spectrale 52 parmi : io - une image à trois composantes 80 dans l'espace trichromatique CIE 1931-XYZ, rendue par l'expressionYxyz = FtoXYZ x FT LCz en partant de l'image de réflectance multi-spectrale 52, chacune des trois composantes correspondant à l'un des filtres X (A) , Y (A) , Z (A) ; 15 - une image multi-composantes 54 à P composantes correspon- dant chacune à la sortie d'un des filtres F1(À), F2(A), Fp(A); - une image mosaïque 56 correspondant à l'image acquise par le troisième capteur 55 directement à travers une troisième mosaïque de filtres 83 de fonction spectrale F(À) sous la forme 20 d'une matrice de vecteurs dont les vecteurs sont les fonctions spectrales des filtres F1(1), F2(1), ..., Fp(1). L'image de radiance 53 peut être mesurée par un premier système d'imagerie idéal théorique qui comprend un système de division du flux lumineux en trois composantes. Chacune des composantes passe au travers 25 des filtres X (A) , Y (A) , Z (A) et est ensuite mesurée par un quatrième capteur idéal 81. C(À) est la sensibilité spectrale du chemin optique de la caméra y compris du capteur, mais sans la mosaïque de filtres. Un tel système d'imagerie idéale capture directement les coordonnées X, Y, Z de chaque pixel dans l'espace colorimétrique CIE 1931-XYZ et produit directement une 30 image couleur 80 dite idéale, à trois composantes dans l'espace colorimé- trique CIE 1931-XYZ. Un deuxième système d'imagerie peut être composé de P filtres de couleurs dont la fonction de transmission est données par Fi,i...p(A) . La lumière passe au travers de chacun de ces P filtres, elle est ensuite mesurée 35 par un troisième capteur 55. Le troisième capteur 55 produit une image multi-composantes 54 à P composantes de couleur, correspondant chacune à un des P filtres Fi(a). La sensibilité spectrale du chemin optique de la caméra y compris le troisième capteur 55, mais sans la mosaïque de filtres, - 26 - 5 est C (A). Alternativement il est possible de considérer que C (A) est unique- ment la sensibilité spectrale du capteur. Un troisième système d'imagerie est celui que l'on cherche à modéliser. Il est composé d'une deuxième matrice, ou mosaïque, de filtres 83 de P couleurs différentes disposées sur le premier motif de base 6 et dupliqué 10 à la taille du troisième capteur 55. Le troisième système d'imagerie com- prend également le troisième capteur 55. À partir de la première matrice de vecteurs zo, on peut construire une matrice Yxyz de vecteurs correspondant à l'image idéale de composantes XYZ telle que : 15 Yxyz = XYZTLozo (1027) avec, par exemple : Lo = XYZ (1028) X(380) Y(380) Z(380) (1029) = X(381) Y(381) Z(381) X(780) Y(780) Z(780) L(380) 0 --- 0 ° L(381) --- 0 --- --- L(780) 20 On a également : C(380) 0 --- 0 Co = ° C(381) --- (1030) I--- : C(780) La matrice Yxyz est de taille 3 x HW et peut être transformée en une image de taille H x W x 3 comprenant les trois composantes XYZ pour chaque pixel de l'image reconstruite. 25 A partir de la troisième matrice z1 de taille nhnwPÀ x HW (hw) la matrice de démosaïçage D2 peut s'écrire selon l'expression (1021). : Cette écriture de D2 permet de calculer une fois pour toute la matrice de corrélation R' pour l'ensemble des images de la base de données d'images de références. Ceci permet de calculer la matrice de démosaïçage D1 pour 30 des mosaïques de filtres définies à postériori et encodées dans la matrice F1 des fonctions spectrales des filtres. Ainsi, le modèle de D2 selon l'expression (1031) permet avantageusement une expression directe de l'opérateur ou - 27 - 5 matrice de démosaïçage D2 en fonction des données du problème que l'on cherche à résoudre, à savoir une optimisation des fonctions spectrales des filtres de la mosaïque de filtres. Ainsi il est possible d'obtenir F1 de façon à optimiser la qualité de la reconstruction des images acquises. Les critères d'optimisation utilisés sont les critères de qualité de re- 10 construction d'images : spatial MSE et colorimétrique AE. Les critères d'optimisation sont calculés entre une image idéale 80, rendue par un quatrième capteur idéal 81 à partir de l'image multi-spectrale de réflectance 52, et une image mosaïque 56 acquise à travers la troisième mosaïque de filtres 83, démosaïçée, c'est à dire dématricée, et convertie 15 dans un espace colorimétrique permettant le calcul des critères d'optimisa- tion. Pour le calcul des critères d'optimisation, il est possible de se placer dans l'espace sRGB ou tout autre espace apparenté comme Adobe®RGB. Pour se placer dans l'espace sRGB, on réalise les opérations précédemment 20 décrites c'est-à-dire la conversion dans l'espace de couleur trichromatique normalisé CIE 1931 - XYZ en utilisant les équations (1010) et (1011) puis une conversion dans l'espace sRGB à l'aide des équations (1016), (1017), (1018). Il est également possible d'utiliser un autre espace de couleur. Par 25 exemple un espace couleur pouvant s'exprimer à partir de l'espace XYZ peut être obtenu en modifiant la matrice A. Les autres espaces nécessitent de remplacer FtoXYZ. Par exemple si l'on appelle ABC un espace de destination, il est nécessaire d'estimer FtoABC en remplaçant XYZ par ABC dans l'expression (1010). 30 Il est aussi possible de calculer un critère de type MSE ou un critère de type PSNR. Le PSNR (Peak To Noise Ratio) est une mesure de distorsion colorimétrique de l'image. Pour deux images multi-composantes exprimées dans l'espace sRGB, (x' , y', c) et K' (x' , y', c), normalisées entre 0 et 1, avec c l'une des trois composantes de couleur, le calcul du critère MSE s'effectue 35 ainsi : v, MSE = Hwp Lxr=1..HEyr=1..WEc=1..P (II (XI, y', c) - K'(x' , y', c))2 (1031) Le critère PNSR se calcule de la manière suivante : - 28 - 5 P SN R = 101og10 - MSE (1032) Le calcul de LE est réalisé en approximant le calcul non linéaire par une fonction linéaire par morceaux de la manière suivante, pour deux images I' et K' exprimées dans le repère XYZ : AE = HW Exi =1..HEy'=1..W (/'(x', y', c) - K' (x', y', c)) (1033) 10 dans laquelle : 0 116 0 K" = 3 500 -500 0 diag(XY Z. diag(XY ZT L))-1 (1034) 0 200 -200 où diag est une fonction qui place un vecteur dans la diagonale d'une matrice. La figure 9 représente les différentes opérations réalisées sur l'image 15 de réflectance R(x', y', A). Tel que représenté sur la figure 9, trois images différentes sont produites : - une première image 103 à trois composantes dans l'espace colorimétrique CIE 1931-XYZ telle que l'image couleur idéale 80 ; 20 - une deuxième image 104 à trois composantes provenant du troisième capteur 55 sur lequel sont positionnés trois filtres de couleurs, telle l'image multi-composantes 54 ; - une troisième image 105 à trois composantes provenant du troisième capteur 55 sur lequel est positionnée une troisième 25 mosaïque de filtres 83, correspondant à l'image mosaïque 56. Chaque image est issue d'une parmi trois voies 100, 101, 102 de traitements différentes en sortie des troisième et quatrième capteurs 55, 81. Une première voie 100 utilise un premier traitement d'une deuxième 30 voie de traitements 101 qui consiste à transformer l'image de réflectance multispectrale R(x' , y', A) en une matrice z° de HW vecteurs de taille PÀ, tel que représenté sur la figure 6a. Il est également possible de partir de l'image de radiance L(A)R(x' , y', Ensuite un premier traitement de la première voie de traitements 100 35 est une projection de la matrice z° dans l'espace XYZ tel que décrit par l'équation (1027). On obtient une matrice de vecteurs zxyz de taille 3 x HW. - 29 - 5 Ensuite, la matrice ZXYZ est projetée dans l'espace sRGB en lui appliquant la matrice A tel que décrit dans les équations (1017) et (1018). On obtient une nouvelle matrice Z -sRGB de taille 3 x HW. La matrice Z -sRGB peut ensuite être « dépliée » pour reconstituer la première image 103 à trois composantes de taille H x W dans l'espace colorimétrique sRGB. 10 La deuxième voie 101 réalise sur le vecteur zo l'opération représentée sur la figure 6b pour obtenir la matrice de vecteurs yo selon l'équation (1019). La matrice de vecteurs yo est ensuite transformée, tel que représenté sur la figure 2b, en une matrice de HW 1(hw) vecteurs de dimension Phw. Ensuite la matrice de vecteurs yo est projetée dans l'espace XYZ par 15 la fonction FtoXYZ tel qu'explicité par la relation (1011). On obtient ainsi une matrice de trois vecteurs yoxyz de taille HW. Ensuite, la matrice yoxyz est projetée dans l'espace sRGB en lui appliquant la matrice A tel que décrit dans les équations (1017) et (1018). On obtient une nouvelle matrice v OsRGB de taille 3 x HW. La matrice OsRGB v peut ensuite être « dépliée » pour recons- - 20 tituer la deuxième image 104 à trois composantes de taille H x W dans l'espace colorimétrique sRGB. Une troisième voie 102, partant de l'image de réflectance multispec- trale A) acquise par le troisième capteur 55 recouvert de la troisième mosaïque de filtres 83 donne une matrice z1 telle que représentée sur la 25 figure 6a de taille PÀ,nhnw x HW (hw). A partir de la matrice z1 on peut obtenir une matrice x1 de taille nhnw x HW/(hw) telle que x1 = MI_FICI_Llz, selon la relation (1023). Ensuite en appliquant une matrice de démosaïçage Do sous la forme de la matrice de démosaïçage D2 décrite dans l'expression (1021), on obtient j7-1 de taille PÀ,nhnw x HW/(hw) telle que j7-1 = Doxl. On applique alors 30 à j7-1 la transformation FtoXYZ pour obtenir l'image résultante dans l'espace XYZ selon l'équation (1011) Yxyz = (Ihw FtoXYZ)y, de taille 3 x HW . Pour finir en appliquant la matrice A telle que définie par l'expression (1018), on obtient YSRGB telle que YSRGB = A(IhW FtoXYZ)5xyz, de taille 3 x HW. La matrice v*"sRGB obtenue est ensuite « dépliée » afin de reconstruire la troisième 35 image 105 à trois composantes dans l'espace colorimétrique sRGB. À partir des différentes matrices de vecteurs représentées sur la figure 9, on peut calculer plusieurs ,AE différents : AE1, AE2, AE3 et un MSE , que l'on cherche à minimiser pour optimiser les fonctions spectrales et - 30 - 5 leur répartition sur la troisième mosaïque de filtres 83. Les calculs des dif- férents LE sont réalisés d'après les formules (1012), (1013), (1014) et (1015). Un premier iE1 est calculé entre l'image contenue dans la matrice Zxyz rendue directement à partir de l'image de réflectance multi-spectrale 10 R(x',37',A) et l'image acquise directement à travers les filtres F1, F2, F3 et pas- sée ensuite par la conversion vers l'espace colorimétrique XYZ : yoxyz. Un deuxième AE2 est calculé entre l'image contenue dans la matrice zxyz et l'image exprimée dans l'espace colorimétrique XYZ après acquisition par l'intermédiaire de la troisième mosaïque de filtres 83 : jxyz. 15 Un troisième AE3 est un critère purement spectral ne faisant pas appel à la reconstruction d'une image pour tester l'aptitude des filtres à rendre les couleurs. Pour calculer le troisième AE3, on utilise les spectres d'une charte ou mire de couleurs de MacBeth qui comprend 24 couleurs. Alternativement, il est aussi possible d'utiliser n'importe quelle autre base de référence spec- 20 traie. À partir des données multi-spectrales de réflectance des 24 carrés de la mire de MacBeth, on applique d'une part directement la transformation dans l'espace colorimétrique XYZ pour obtenir une quatrième image et d'autre part on applique les filtres F1, F2, F3 et la sensibilité du chemin optique de la caméra puis une conversion de l'image en sortie du troisième 25 capteur 55 dans l'espace colorimétrique XYZ pour obtenir une cinquième image. Les quatrième et cinquième images sont utilisées pour calculer le troisième AE3. Les MSE et PNSR sont quant à eux calculés entre la première image 103 rendue directement à partir de l'image mufti-spectrales de réflectance 30 et la troisième image rendue à partir de l'image mufti-spectrales de réflec- tance après son passage par la matrice de mosaïque 83 et le troisième capteur 55. La figure 10 représente le dispositif et le procédé de démosaïçage 35 selon l'invention. Une première étape 100 est une étape d'acquisition d'une image couleur 101 par un dispositif d'acquisition d'images 102. Le dispositif d'acquisition d'images 102 comprend un capteur 2, 55 tel que représenté sur les -31- 5 figures la, 5 et 8. Le dispositif d'acquisition d'images 102 comprend en outre un filtre mosaïque 3, 57, 83, ou mosaïque de filtres, sous la forme d'une matrice de HW filtres telle que représentée sur les figures la, 5 et 8. La mosaïque de filtres 3, 57, 83 est appliquée sur le capteur. Le dispositif comprend également un dispositif optique qui fait converger la lumière captée 10 par la caméra vers le capteur 2, 55 équipé du filtre mosaïque 3, 57, 83. Ainsi, avant d'atteindre une cellule du capteur 2, 55, la lumière passe à travers l'un des filtres de couleur 7 de la mosaïque de filtres 3, 57, 83. Un signal brut 103 provenant du capteur 2, 55 peut se représenter sous la forme d'une image mosaïque 40 de taille H x W telle que représentée sur la 15 figure 4a. L'image mosaïque 40 est ensuite transmise à un premier calcula- teur ou ordinateur 104 qui réalise une opération de démosaïçage 105 selon l'invention. L'opération de démosaïçage consiste à multiplier l'image mosaïque 40 représentée sous forme matricielle x1 telle que représentée sur la figure 4a par une matrice de démosaïçage Do, D1, D2. Le résultat de l'opéra- 20 tion de démosaïçage 105 est une matrice de vecteurs qui est transformée en image rendue à plusieurs composantes de couleur selon le processus inverse à celui représenté sur la figure 2b qui consiste à « déplier » la matrice de vecteurs pour la représenter sous la forme d'une image à plusieurs composantes. L'image reconstruite 106 peut ensuite être transmise à un 25 moyen adapté à son exploitation comme un afficheur 107. La figure 11 représente un procédé et son dispositif de construction d'une matrice de démosaïçage. Le dispositif de construction d'une matrice de démosaïçage comprend 30 une première base de données 110. La première base de données 110 comprend des images dites de références. Les images de références peuvent être des images multi-composantes, ou des images multi-spectrales. Les images de références peuvent également être des images hors du spectre visible. À partir de la première base de données 110, une première étape de 35 construction d'une matrice de démosaïçage est une étape de modélisation d'images mosaïques issues d'un capteur recouvert d'une mosaïque de filtres. La modélisation est réalisée par une application de simulation 111 qui implémente un modèle du capteur 2, 55. L'application de simulation 111 peut - 32 - 5 être exécutée par un ou plusieurs processeurs d'un deuxième calculateur, ou ordinateur 112. Alternativement, l'application de simulation 111 peut être exécutée par le premier calculateur 104. À partir de chaque image de référence, l'application de simulation 111 produit une image mosaïque qui vient peupler une deuxième base de don- 10 nées 114 d'images dites mosaïques. Une fois la deuxième base de données construite 114, la deuxième étape 115 du procédé de construction de la matrice de démosaïçage peut être mise en oeuvre. Le procédé de construction de la matrice de démosaïçage peut être mis en oeuvre par un programme d'ordinateur qui s'exé- 15 cute sur un ou plusieurs processeurs du deuxième calculateur 112. Alterna- tivement, le procédé de construction de la matrice de démosaïçage peut être mis en oeuvre sur un troisième calculateur, ou ordinateur non représenté, ou encore le premier calculateur 104. Le procédé de construction d'une matrice de démosaïçage utilise les images des deux bases de données 110, 20 114. La première base de données 110 est utilisée afin de produire une image mosaïque à partir d'une image de référence en lui appliquant une matrice de démosaïçage sous test, c'est-à-dire mettant en oeuvre le procédé de démosaïçage selon l'invention. L'image mosaïque ainsi produite est alors comparée à l'image mosaïque correspondant à l'image de référence dans la 25 deuxième base de données 114. Cette comparaison consiste à calculer une erreur entre la matrice mosaïque produite par simulation et la matrice mosaïque construite par application de la matrice de démosaïçage sous test. Le procédé de construction de la matrice de démosaïçage est un procédé itératif : si l'erreur de construction de la matrice mosaïque est inférieure à un 30 seuil, le procédé s'arrête. Dans le cas inverse, une nouvelle matrice de dé- mosaïçage est déterminée et testée. Les différents modes de réalisation de la présente invention comprennent diverses étapes. Ces étapes peuvent être mises en oeuvre par des ins35 tructions d'une machine exécutable au moyen d'un microprocesseur par exemple. Alternativement, ces étapes peuvent être réalisées par des circuits intégrés spécifiques comprenant une logique câblée pour exécuter les - 33 - 5 étapes, ou par toute combinaison de composants programmables et composants personnalisés. La présente invention peut également être fournie sous forme d'un produit programme d'ordinateur qui peut comprendre un support mémoire informatique non-transitoire contenant des instructions exécutables sur une 10 machine informatique, ces instructions pouvant être utilisées pour program- mer un ordinateur (ou REVENDICATIONS1. Procédé de reconstruction d'une image couleur, acquise par un capteur photosensible (2) de taille H x W, recouvert d'une mosaïque (3), de taille H x io W, de P filtres (7) de différentes couleurs composant un motif de base (6) de taille h x w tel que h h et nw > w ; - une deuxième étape de reconstruction d'une image couleur réalisant le produit de la matrice de démosaïçage D avec une représentation matricielle d'une image mosaïque (5) provenant du capteur (2) après 35 acquisition de l'image couleur par ledit capteur (2), ledit produit de la matrice de démosaïçage D avec la représentation matricielle de l'image mosaïque (5) mettant en oeuvre une interpolation de la cou- - 35 - leur de chaque pixel de l'image mosaïque (5) en fonction d'un voisi- nage, de taille nh x nw pixels, d'un motif de base (43) de taille h x w, correspondant au motif de base (6) de la mosaïque de filtres (3). 2. Procédé selon la revendication 1, caractérisé en ce que nhnw = Phw. 10 3. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce qu'une première matrice de démosaïçage D1 s'exprime comme une espérance mathématique E calculée sur les N images de référence de la première base de données : D1 = Ei=1-Ntyxf(xixf)-11, avec y une matrice de 15 HW /(hw) vecteurs de taille Phw représentant l'image couleur. 4. Procédé selon la revendication précédente, caractérisé en ce que la première matrice de démosaïçage D1 s'exprime ainsi : D1 = si_Rmr(mi_Rmf avec x1 =M1y1iM1 étant une matrice de projection de yi sur x1 , Y = S1311/ S1 20 étant une matrice de réduction du voisinage du vecteur yi et de transformation du vecteur yi en y , et=R NpHw Ei=1..Ntytyi T, I étant une matrice de corré- lation des images résolues de la première base de données exprimées en fonction des voisinages réduits de taille nh x nw. 25 5. Procédé selon l'une quelconque des revendications précédentes, caracté- risé en ce que la matrice de démosaïçage s'exprime en fonction de la sensibilité spectrale du capteur (2) et des fonctions spectrales des P filtres (7) de couleurs différentes. 30 6. Procédé selon la revendication précédente, caractérisé en ce que la pre- mière base de données comprenant des images multi-spectrales de réflectance, une deuxième matrice de démosaïçage D2 est définie par l'expression : D2 = FTCLS1RILTICTFiMr(MinCiLiRILTICTFiMr)-1, avec R' = 1 =1N NHWPX 35 la deuxième matrice de démosaïçage D2 étant construite selon les étapes suivantes : - 36 - 5 - calcul d'une matrice de vecteurs yo représentant une image à P com- posantes en fonction d'une matrice de vecteurs zo représentant une image multi-spectrale de réflectance obtenue à partir d'une réflexion d'un objet éclairé par une source de lumière de densité spectrale de puissance L(À), étant une composante spectrale, tel que : yo = io FJ:CoLozo, avec F0 une matrice de taille PÀ, x P de fonctions de transmis- sion spectrale des filtres de la mosaïque (3), avec Co une matrice diagonale de taille PÀ,x PÀ, d'une sensibilité spectrale du capteur, Lo une matrice diagonale de taille PÀ, x PÀ, des densités spectrales de puissance de la source de lumière ; 15 - construction de la matrice de vecteurs y à partir de l'image multi- composantes et d'une matrice de vecteurs z, construite à partir de l'image multi-spectrale de réflectance, lesdites matrices de vecteurs y et z comprenant ledit motif de base, tels que y = FTCLz avec F = Ihw Fo, Ihw étant une matrice identité de dimensions hw x hw, C = 20 Ihw co, et L = Ihw Lo ; - construction d'une matrice de vecteurs z1 composée des voisinages réduits de taille nh x nw du motif de base de l'image de multi-spectrale de réflectance telle que y1 = Fi C1L1z1, y1 étant une matrice composée des voisinages réduits de taille nh x nw du motif de base de taille h x w 25 de l'image spectrale multi-spectrale de réflectance, avec FI = Inhnw Fo Inhnw étant une matrice identité de dimensions nhnw x nhnw , L, = Inhnw 0 1,0 et C1 = Inhnw c0 ; - construction de la deuxième matrice de démosaïçage D2 avec M, étant une matrice de projection de yi sur x1 et Si_ étant une matrice de ré- 30 duction du voisinage du vecteur yi et de transformation en y. 7. Procédé selon la revendication précédente, caractérisé en ce que Co est un produit des sensibilités spectrales de composants du chemin optique de la caméra par la sensibilité spectrale du capteur, lesdits composants com- 35 prenant au moins l'un parmi : un objectif de la caméra, un filtre infrarouge, un filtre spatial passe-bas, un système de micros-lentilles. - 37 - 5 8. Procédé selon l'une quelconque des revendications précédentes, caracté- risé en ce que chaque ligne de la matrice de démosaïçage D, D1, D2 s'exprime comme un filtre de convolution. 9. Système de traitement de données comprenant des moyens de mise en io oeuvre des étapes du procédé selon l'une quelconque des revendications précédentes. 10. Produit programme d'ordinateur comprenant des instructions qui lorsque le programme est exécuté par un ordinateur, conduisent l'ordinateur à 15 mettre en oeuvre les étapes du procédé selon l'une quelconque des revendi- cations 1 à 8. 11. Procédé d'optimisation de fonctions spectrales de filtres et d'arrangement des filtres (7) sur une mosaïque (3) de P filtres (7) de couleurs diffé- 20 rentes, répétés de manière à remplir un motif de base (6) de taille h x w, ledit motif de base (6) se répétant de façon à couvrir la mosaïque de filtres (3), ladite mosaïque de filtres (3) étant appliquée sur un capteur photosensible (2), ledit procédé étant caractérisé en ce qu'il comprend une optimisation multicritères par minimisation d'une erreur de restitution colorimétrique 25 et par minimisation d'une erreur quadratique moyenne entre une image pro- venant d'un capteur idéal, acquise à partir d'une image d'une base de données d'images de référence, et une image provenant d'un capteur recouvert de la mosaïque (3) de P filtres (7) différents, acquise à partir de la même image de la base de données d'images de référence, ladite image acquise 30 par le capteur (2) recouvert de la mosaïque (3) de filtres (7) étant recons- truite par le procédé selon l'une quelconque des revendications 1 à 7. 12. Procédé selon la revendication 11, caractérisé en ce qu'il comprend en outre une minimisation d'une erreur de restitution colorimétrique entre 35 l'image provenant du capteur idéal acquise à partir de l'image de la base de données d'images, et une image provenant d'un capteur recouvert d'une série de P filtres, chacun des P filtres recouvrant la totalité du capteur, ladite image étant acquise à partir de la même image de la base de donnée. - 38 - 5 13. Procédé selon la revendication 12, caractérisé en ce qu'il comprend en outre une minimisation d'une erreur de restitution colorimétrique entre une mire de MacBeth acquise par un capteur parfait et une mire de MacBeth acquise par un capteur muni de la mosaïque des P filtres. 14. Système de traitement de données comprenant des moyens de mise en oeuvre des étapes du procédé selon les revendications 11 à 13. 15. Produit programme d'ordinateur comprenant des instructions qui lorsque le programme est exécuté par un ordinateur, conduisent l'ordinateur à mettre en oeuvre les étapes du procédé selon l'une quelconque des revendications 11 à 13.