# Illumination colorée et information commune pour le modèle Horn-Retinex en restauration d'images à faible luminosité

Arthur Lecert, Aline Roumy, Renaud Fraisse, Christine Guillemot

► To cite this version:

Arthur Lecert, Aline Roumy, Renaud Fraisse, Christine Guillemot. Illumination colorée et information commune pour le modèle Horn-Retinex en restauration d'images à faible luminosité. GRETSI 2023 - XXIXème Colloque Francophone de Traitement du Signal et des Images, Aug 2023, Grenoble, France. pp.1-4. hal-04383530

HAL Id: hal-04383530

https://hal.science/hal-04383530v1

Submitted on 9 Jan 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Illumination colorée et information commune pour le modèle Horn-Retinex en restauration d'images à faible luminosité

Arthur LECERT¹ Aline ROUMY¹ Renaud FRAISSE² Christine GUILLEMOT¹

¹Inria Rennes – Bretagne-Atlantique 263 Avenue Général Leclerc, 35042 Rennes Cedex, France

²Airbus Defence and Space, Toulouse, France

**Résumé** – Dans ce travail, nous étudions la restauration d'images à faible luminosité avec des scènes extérieures sans vérité terrain. Jusqu'à présent, les approches de la littérature évitaient d'utiliser le modèle de décomposition Horn-Retinex de manière non supervisée ou ajoutaient des a priori contraignants sur les composantes cherchées afin de faciliter la résolution de ce problème inverse. Nous proposons ici de relaxer la contrainte d'une illumination en niveaux de gris en définissant un modèle basée sur la physique de la lumière. De plus, nous formulons une architecture adaptée à ce nouveau problème et montrons que nous obtenons une décomposition de qualité qui produit de meilleurs résultats visuellement que les méthodes de l'état de l'art c'est-à-dire sans artéfact, sans amplification du bruit de l'image et sans hallucination avec une restauration simple pour chacune des composantes.

**Abstract** – In this work, we study the restoration of low-light images with outdoor scenes without ground truth. Until now, approaches in the literature have avoided using the Horn-Retinex decomposition model in an unsupervised way or have added constraining priors on the searched components to make it easier to find a solution to this inverse problem. We propose here to relax the constraint of a grayscale illumination by defining a model based on the physics of light. Moreover, we formulate an architecture adapted to this new problem and show that we obtain a good quality decomposition that produces visually better results than the state-of-the-art methods, i.e. without artifact, without noise amplification and without hallucination with a simple restoration for each of the components.

## 1 Introduction

De nombreuses tâches de haut niveau en vision par ordinateur, telles que la classification, bénéficieraient d'algorithmes plus efficaces pour restaurer les images nocturnes. Dans ce papier, nous travaillons plus particulièrement sur le traitement d'images prises en extérieur à l'aide de réseaux de neurones de façon non supervisée du fait de la difficulté d'obtenir des paires images nuit/jour de strictement la même scène. De plus, nous cherchons à restaurer ces images sans halluciner afin de garder l'intégrité du contenu de la scène.

D'après la définition physique de la reflectance [10], cette propriété d'un matériau représente la fraction de la radiance réfléchie par une surface sur la radiance reçue par cette surface. Cette définition a été utilisée par Horn [9] afin d'élaborer une interprétation de la théorie Retinex suite aux travaux de Land [11] ainsi que ceux de McCann et al. [14]. Cette interprétation (Horn-Retinex) affirme qu'une image est un produit de deux composantes : l'illumination et la reflectance. Il s'agit donc d'une interprétation physique de la théorie Retinex et non perceptuelle ce qui permet de l'appliquer de manière plus intuitive dans le contexte de la vision par ordinateur.

La valeur de la reflectance d'un matériau varie en fonction de la longueur d'onde de la lumière incidente de manière non linéaire et est couramment illustrée par un spectre. Pour tenir compte de cette caractéristique, nous proposons que, dans le modèle de décomposition, l'illumination soit colorée. De plus, cette capacité de réflection est intrinsèque à chaque matériau et est indépendant de son environment. Seule l'information renvoyée l'est. Ici, nous considérons la couleur physique liée au modèle et non la couleur perceptuelle qui est plus difficile à modéliser. Nous supposons par la suite que l'illumination

dans une scène de jour est de couleur blanche et couvre donc l'ensemble du spectre visible. Dans ce cas, les couleurs observées de jour sont les « vraies » couleurs de la scène alors que les éclairages de nuit (souvent colorés, voire monochromes) ne permettent d'obtenir qu'une information partielle de ces couleurs avec une quantité d'information variant spatialement selon l'intensité de la lumière. Ainsi, nous proposons d'interpréter la reflectance comme l'information commune aux domaines des images de jour et celles de nuit bien que dégratée si extraite de ces dernières.

Les méthodes de l'état de l'art peuvent être catégorisées en deux groupes : les méthodes supervisées pour lesquelles les paires avec vérité terrain sont disponibles et les méthodes non supervisées.

Dans ce premier ensemble de méthodes, il est naturel d'extraire l'information commune aux deux domaines et de nommer cela la reflectance. La décomposition Horn-Retinex étant un problème inverse difficile, les auteurs de KinD++ [8] ajoutent plusieurs a priori pour remédier à cela, comme contraindre l'illumination à être une image en niveaux de gris et une image lisse tout en conservant la structure de la scène.

Lorsque les paires d'images avec vérité terrain ne sont pas disponibles, il est compliqué d'extraire l'information commune. C'est typiquement le cas lors de la restauration d'images en extérieur. Il est en effet très ardu de constituer une base de données de taille conséquente. La majorité des méthodes non supervisées évitent ou s'affranchissent du modèle Horn-Retinex pour pallier ce problème. Jiang et al. essaient de restaurer directement les images de nuit à l'aide de réseaux génératifs adversariels dans leur approche EnlightenGAN [4]. Avec la méthode Zero-DCE [5], les auteurs considèrent qu'un mappage non local est suffisant pour restaurer les images et
estiment directement les courbes à appliquer depuis les bases de données d'images. Les méthodes non supervisées qui utilisent la théorie Horn-Retinex nécessitent des a priori pour contraindre l'optimisation ce qui limite l'exploration de nouvelles solutions. Les auteurs de LIME [2] proposent d'explorer les solutions autour d'une initialisation de la composante d'illumination en tant que maximum de l'image sur ces canaux de couleur. Cependant, la méthode ne permet pas de s'éloigner de cette solution et n'explore que son voisinage. En contrignant la recherche de composantes à l'espace de paramètres de réseaux de neurones convolutifs, RetinexDIP [13] permet d'obtenir deux composantes tout en conservant le modèle de décomposition. Cet espace pourrait, cependant, ne pas contenir la solution optimale à notre problème.

Dans l'ensemble des méthodes de la littérature, l'a priori d'une illumination en niveaux de gris est utilisé afin de réduire le nombre de degrés de liberté et faciliter la recherche de solutions de ce problème inverse. Nous proposons dans ce papier de relâcher cette contrainte en définissant un modèle de décomposition basée sur la physique de la lumière qui reprend le modèle Horn-Retinex avec une illumination en couleur. L'extraction des composantes devient alors un problème plus difficile et pour le résoudre, nous proposons d'une part l'idée d'extraire une information commune, et d'autre part une architecture de réseaux de neurones adversariels, permettant, in fine, une restauration des images à faible illumination de manière non supervisée.

# 2 Modèle Horn-Retinex généralisé et a priori

## 2.1 Modèle avec illumination colorée

L'étude du système visuel humain qui a conduit à la théorie Retinex remonte aux travaux fondamentaux de Land et al. [11], rapidement suivis par ceux de Barrow et al. [1] ainsi que les nombreuses contributions de McCann et al. [14]. Tout au long de son histoire, cette théorie a connu diverses interprétations basées sur des chemins, des techniques centre/voisinage ou la physique de la lumière. Nous renvoyons le lecteur au papier [17] pour une étude plus approfondie. Cependant, le modèle de décomposition d'image Horn-Retinex que l'on trouve couramment dans la littérature a été défini pour la première fois par Horn dans [9] pour des images en niveaux de gris à un unique canal. Dans le contexte de la restauration d'images à faible luminosité [2, 7, 13], ce modèle est étendu aux images RVB $I \in \mathbb{R}^{3n}$ de la manière suivante :

$$I = L.*R + \eta. \quad (1)$$

où $.*$ est le produit élément par élément, $L \in \mathbb{R}^n$ la composante dépendant de la lumière connue sous le nom de carte d'illumination, $R \in \mathbb{R}^{3n}$ la composante complémentaire appelée réflectance, et $\eta$ un bruit additif gaussien. Ainsi, l'illumination est considérée comme une image en niveaux de gris qui pondère la réflectance avec un facteur commun pour les différents canaux de couleur. La réflectance est supposée lamBERTienne (c'est-à-dire que la surface en tout point de la scène réfléchit de manière diffuse les rayons lumineux). L'angle d'incidence du rayon lumineux peut être ignoré et la fonction de réflectivité bidirectionnelle (BRDF dans la littérature) [15] n'est pas utilisée. En outre, toute composante spéculaire ou

ambiante est également négligée, ce qui invalide l'utilisation de modèles tels que le modèle de Phong de la réflexion de l'illumination sur une surface [16].

Au lieu de cela, nous définissons la réflectance comme l'information commune entre deux distributions d'images (qui sont supposées avoir des scènes et des objets similaires, mais pas de paires d'images). En ce sens, la réflectance est réellement indépendante du domaine, tandis que l'illumination est la composante dépendante de la lumière et contient, par exemple, le bruit spécifique des images à faible luminosité.

Avec ces définitions, nous pouvons formuler le problème de décomposition de Horn-Retinex comme suit :

$$I = \frac{L}{\alpha}.*\alpha R + \eta \quad (2)$$

où $I \in [0, 1]^{3n}$ l'image RVB, $L \in [0, 1]^{3n}$ l'illumination, $\alpha \in \mathbb{R}^*$ un facteur d'échelle car la décomposition conduit à une infinité de solutions. $R \in [\varepsilon, 1-\varepsilon]^{3n}$ puisque le seul objet physique qui absorbe l'intégralité de la lumière est un trou noir. En revanche, les miroirs parfaits ne sont pas encore commercialisés à grande échelle et risquent de ne pas apparaître fréquemment dans notre vie quotidienne. $\varepsilon = 1e^{-8}$ dans nos expériences. Ainsi, nous assouplissons le modèle original précédent de la contrainte des niveaux de gris de l'illumination. La composante a maintenant une chrominance locale en plus d'une valeur de luminance locale. Étant donné que l'illumination est censée contenir le bruit et les dégradations en basse lumière, il serait inefficace d'ajouter un a priori de lissage de cette composante (par exemple, celui de [7]).

## 2.2 A priori Horn-Retinex

### 2.2.1 Ambiguité d'échelle (A priori de reflectance élevée)

Le facteur $\alpha$ introduit dans le modèle met en évidence le problème d'ambiguïté d'échelle dans la décomposition. Toute valeur réelle non nulle peut conduire à une solution plausible. Pour réduire encore davantage l'ensemble des solutions, nous proposons un nouvel a priori défini comme suit :

$$\mathcal{L}_{HR} = \left\| \frac{1}{\alpha} \right\|_1 \quad (3)$$

$\alpha = 1$ comme valeur initiale avant le processus d'optimisation. Comme nous travaillons avec des images à faible luminosité, nous supposons que l'illumination doit avoir la valeur la plus faible possible. D'autre part, minimiser cet a priori équivaut à rechercher la réflectance qui a la valeur la plus élevée sous contrainte du modèle. Intuitivement, cela revient à considérer un canal V élevé dans l'espace de couleurs HSV pour la réflectance, avec une valeur faible pour l'illumination. Cela signifie également que le processus d'optimisation est biaisé en défaveur des corps noirs.

### 2.2.2 A priori d'exposition pour images RVB

Dans cette section, nous étendons l'a priori d'exposition [13] aux images RVB. Tant que le capteur de la caméra n'est pas saturé par le rayon lumineux ($I_{c \in \{R,G,B\}} \neq 1$), l'illumination ne peut pas être saturée non plus ($L_{c \in \{R,G,B\}} \neq 1$). Cet a priori est défini pour éviter la solution triviale où $L = 1$ et ainsi $I = R$. Seules les sources lumineuses ou les régions surexposées de l'image d'entrée doivent conduire à de telles valeurs
<figure><img src="image_2.png" /></figure>

FIGURE 1 : Une illustration de notre architecture composée de deux branches : la branche supérieure extrait la reflectance de l'image, la branche inférieure permet d'obtenir l'illumination. Chaque composante Horn-Retinex a son discriminateur respectif. Celui de la reflectance guide le générateur pour dégager l'information commune de l'image tandis que celui de l'illumination fait ressortir l'information complémentaire qui permet de différencier les domaines à luminosité faible/normale.

dans les composantes. Nous définissons l'a priori comme suit

$$ \mathcal{L}_E = \sum_{c \in \{R,G,B\}} \left\| g(\tilde{L}) - g(L_c) \right\|_2^2 \quad (4) $$

où $g$ est une fonction de seuil $g(x) = \begin{cases} x, & x > 1 - \epsilon \\ 0, & \text{sinon} \end{cases}$ avec $\tilde{L} = \max_{c \in \{R,G,B\}} I_c$, une approximation de l'illumination suite au travail LIME de Guo et al. [2] et $\epsilon = 1e^{-2}$.

## 2.3 La fonction de coût

Dans cette section, nous décrivons l'architecture présentée dans la figure 1 que nous avons construite suite au modèle (2). Comme nous n'avons pas accès aux images de vérités terrain et que nous voulons un temps d'exécution faible, nous utilisons une architecture basée sur les réseaux génératifs adversariels. Pour guider l'extraction des deux composantes, nous utilisons deux discriminateurs, un pour chaque composante respective.

Afin de simplifier la notation dans les équations suivantes, le facteur d'échelle $\alpha$ est inclus implicitement dans les deux composantes estimées ($\hat{L}, \hat{R}$). Pour s'assurer que les sorties générées ($\hat{L}, \hat{R}$) permettent de reconstruire l'image d'entrée suivant le modèle Horn-Retinex, nous utilisons une norme $\mathcal{L}^1$ selon le terme suivant,

$$ \mathcal{L}_{\text{recon}} = \|I - \hat{L}.*\hat{R}\|_1. \quad (5) $$

Notre architecture s'appuyant sur des termes de coût adversariels pour trouver les composants de manière non supervisée, nous définissons les deux générateurs et discriminateurs comme suit,

$$ G_R : I_d \mapsto \hat{R}_d \in \mathbb{R}^{3n}, \quad G_L : I_d \mapsto \hat{L}_d \in \mathbb{R}^{3n} \quad (6) $$

$$ D_R : \hat{R}_d \mapsto \hat{d}, \quad D_L : \hat{L}_d \mapsto \hat{d}, \quad \hat{d} \in \{0, 1\}. \quad (7) $$

où $\hat{d}$ est le label du domaine estimé résultant de chacune des composantes soit 1 pour les images à luminosité normale et 0 pour celles à faible luminosité. Les discriminateurs doivent être capables d'identifier le domaine du composant d'entrée

<figure><img src="image_3.png" /></figure>

FIGURE 2 : De gauche à droite : l'image d'entrée, l'illumination extraite et la reflectance obtenue. L'illumination contient le bruit spécifique à la dégradation de faible luminosité.

qu'ils reçoivent (c'est-à-dire de séparer chaque composant en fonction de son domaine). Nous constatons empiriquement que l'entraînement du réseau adversarial est plus stable avec une fonction de coût des moindres carrés [6]. Les paramètres de ($G_R, G_L$) sont fixes pour cette première passe.

$$ \mathcal{L}_{D_R} = \sum_{d \in \{0,1\}} \mathbb{E}_{I_d} \left[ \left( D_R(G_R(I_d)) - d \right)^2 \right] \quad (8) $$

La fonction du discriminateur $D_L$ est définie de façon similaire. Pour entraîner les générateurs ($G_R, G_L$), nous fixons les paramètres de ($D_R, D_L$). Le générateur d'illumination doit extraire la composante de l'image et le domaine doit être identifié avec précision par le discriminateur correspondant. Au contraire, nous cherchons à extraire des informations qui ne peuvent pas être classées par le discriminateur de réflectance entre les domaines de faible luminosité et de luminosité normale. Par conséquent, nous l'optimisons pour aligner la réflectance des zones de faible luminosité sur celle des zones de luminosité normale. Cela conduit aux équations suivantes,

$$ \mathcal{L}_{G_L} = \sum_{d \in \{0,1\}} \mathbb{E}_{I_d} \left[ \left( D_L(G_L(I_d)) - d \right)^2 \right] \quad (9) $$

$$ \mathcal{L}_{G_R} = \sum_{d \in \{0,1\}} \mathbb{E}_{I_d} \left[ \left( D_R(G_R(I_d)) - 1 \right)^2 \right] \quad (10) $$

Par conséquent, nous obtenons les problèmes d'optimisation suivants pour entraîner l'ensemble des réseaux,

$$ (\hat{G}_R, \hat{G}_L) = \underset{G_R, G_L, \alpha}{\operatorname{argmin}} \lambda_{\text{recon}} \mathcal{L}_{\text{recon}} + \lambda_{\text{HR}} \mathcal{L}_{\text{HR}} \\ + \lambda_E \mathcal{L}_E + \lambda_{\text{adv}} (\mathcal{L}_{G_L} + \mathcal{L}_{G_R}) \quad (11) $$

$$ (\hat{D}_R, \hat{D}_L) = \underset{D_R, D_L}{\operatorname{argmin}} \mathcal{L}_{D_R} + \mathcal{L}_{D_L}. \quad (12) $$

# 3 Résultats

## 3.1 Visualisation et restauration des composantes

Un exemple de composantes que nous obtenons est illustré dans la figure 2. Le bruit spécifique à la dégradation à faible luminosité est bien extrait et se retrouve dans la composante d'illumination. Afin de réduire le bruit dans l'illumination selon l'information que contient la reflectance, nous appliquons le réseau de neurones [12] pour débruiter. En effet, ce réseau autorise une carte de bruit qui varie spatialement. Nous pondérons donc le niveau de bruit $\sigma$ par le gradient spatial de la reflectance. Etant donné que la reflectance correspond à l'information commune entre les deux domaines mais dégradée, nous
décidons de la restaurer avec une simple correction gamma. L'idée est d'amplifier les détails de texture des objets contenus dans la reflectance pour mieux les distinguer. En pratique, nous choisissons un gamma par canal de couleur RVB en optimisant la métrique LPC-SI [3] qui mesure la netteté de l'image et ne nécessite pas de connaître la vérité terrain. Lorsque la correction gamma est appliquée à la réflectance et l'image reconstituée, le bruit n'est pas amplifiée comme illustrée sur la figure 3b ce qui indique une décomposition de l'image de bonne qualité. Nous trouvons de façon empirique les coefficients suivants $\lambda_{recon} = 5e^1$, $\lambda_{HR} = 1$, $\lambda_{E} = 5e^1$, $\sigma = 15$. Les valeurs des gammas obtenus sont $\gamma_{R} = 2$, $\gamma_{G} = 2$, $\gamma_{B} = 6$.

## 3.2 Comparaison qualitative

La figure 3 expose la comparaison avec les différentes méthodes de la littérature. RetinexDIP (figure 3c) ainsi que la simple correction gamma (figure 3f) produisent un effet de voile blanc sur l'image en amplifiant l'ensemble de l'image sur tous les canaux RVB. EnlightenGAN (figure 3d) hallucine, quant à lui, des parties de l'image et ajoute des structures inexistantes dans l'image d'origine comme indiqué dans les carrés rouges. Nous effectuons un affinage des paramètres sur le dataset pour obtenir une comparaison équitable et représentons le résultat sur la figure 3e. La conclusion est similaire et le réseau forme des hallucinations. Le réseau KinD++ (figure 3i) ajoute des artefacts et floute l'image de sortie. LIME (figure 3g) et Zero-DCE (figure 3h) accroissent le bruit de l'image lors de leur restauration. Dans notre cas (figure 3b), notre méthode ne produit ni effet de voile, ni d'intensification du bruit de l'image, ni d'artéfact supplémentaire et conserve l'intégrité du contenu de l'image.

## 4 Conclusion

Dans ce travail, nous avons proposé des améliorations au modèle Horn-Retinex en prenant en compte la physique de la lumière. Utiliser une illumination colorée permet d'extraire le bruit et les dégradations spécifiques à la dégradation de faible luminosité. Nous avons aussi défini une architecture adaptée à ce nouveau modèle ainsi qu'une méthode pour restaurer les composantes extraites de l'image. Grâce à elle, nous obtenons des résultats sans artéfact ni amplification du bruit ni hallucination.

Plusieurs extensions de ce travail sont possibles telles que la définition d'une métrique précise pour quantifier les dégradations de nuit ou bien la compléxification de la restauration des composantes pour obtenir de meilleurs résultats.

## Références

[1] Barrow et al. : Recovering intrinsic scene characteristics from images. *Computer Vision Systems*, 1978.

[2] Guo et al. : LIME : Low-Light Image Enhancement via Illumination Map Estimation. *IEEE Trans. on Image Processing*, février 2017.

[3] Hassen et al. : Image Sharpness Assessment Based on Local Phase Coherence. *IEEE Transactions on Image Processing*, juillet 2013.

[4] Jiang et al. : EnlightenGAN : Deep Light Enhancement without Paired Supervision. *IEEE Transactions on Image Processing*, 2021.

[5] Li et al. : Learning to Enhance Low-Light Image via Zero-Reference Deep Curve Estimation. *Proceedings of the IEEE*

<figure><img src="image_4.png" /><figcaption>FIGURE 3 : De gauche à droite et de bas en haut : l'image d'entrée 3a, la sortie de notre algorithme 3b, Retinex DIP 3c [13], EnlightenGAN 3d [4], EnlightenGAN réentraîné sur le dataset 3e, Gamma Correction 3f, LIME 3g [2], Zero-DCE 3h [5], KinD++ 3i [8].</figcaption></figure>

conference on computer vision and pattern recognition (CVPR), 2020.

[6] Mao et al. : Least squares generative adversarial networks. *In Proceedings of the IEEE International Conference on Computer Vision*, 2017.

[7] Zhang et al. : Kindling the Darkness : A Practical Low-light Image Enhancer. *ACM International Conference on Multimedia*, mai 2019.

[8] Zhang et al. : Beyond Brightening Low-light Images. *International Journal of Computer Vision*, avril 2021.

[9] Berthold K.P. HORN : Determining lightness from an image. *Computer Graphics and Image Processing*, décembre 1974.

[10] ISO-9288 : 2022 : Thermal insulation — Heat transfer by radiation — Vocabulary. Rapport technique, ISO, Geneva, CH, août 2022.

[11] Edwin H LAND : The Retinex Theory of Color Vision. *Scientific American*, décembre 1977.

[12] Mikael LE PENDU et Christine GUILLEMOT : Preconditionned plug-and-play ADMM with locally adjustable denoiser for image restoration. *SIAM Journal on Imaging Sciences*, 2022.

[13] Arthur LECERT, Renaud FRAISSE, Aline ROUMY et Christine GUILLEMOT : A new regularization for retinex decomposition of low-light images. *In 2022 IEEE International Conference on Image Processing (ICIP)*, octobre 2022.

[14] John J. MCCANN, Carinna PARRAMAN et Alessandro RIZZI : Reflectance, illumination, and appearance in color constancy. *Frontiers in Psychology*, 5, 2014.

[15] Fred E. NICODEMUS : Directional reflectance and emissivity of an opaque surface. *Applied Optics*, juillet 1965.

[16] Bui Tuong PHONG : Illumination for computer generated pictures. *Communications of the ACM*, 1975.

[17] Edoardo PROVENZI : Formalizations of the Retinex model and its variants with variational principles and partial differential equations. *Journal of Electronic Imaging*, décembre 2017.