Modeling, estimation and evaluation of intrinsic images considering color information

Els valors dels pixels de les imatges son el resultat d'una combinacio d'informacions visuals provinents de multiples fonts. Recuperar la informacio dels multiples factors que han produit una imatge sembla un problema molt dificil. Tanmateix, es important fixar-se que els essers humans desenvolupem l'habilitat d'interpretar les imatges i de reconeixer i aillar determinades propietats fisiques de l'escena. Les imatges que descriuen una sola caracteristica fisica d'una escena s'anomenen imatges intrinseques. Aquestes imatges serien molt utils per la majoria de processos de la visio per computador, que sovint es veuen afectats pels diversos efectes que normalment trobem en les imatges naturals (ombres, especularitats, interreflexions, etc.) En aquesta tesi s'analitza el problema de l'estimacio d'imatges intrinseques des de diferents punts de vista, com per exemple la formulacio teorica del problema, les cues visuals que poden ser utils per a estimar certes imatges intrinseques o els mecanismes d'avaluacio del problema. Primer introduim breument l'origen del problema de l'estimacio d'imatges intrinseques i tambe parlem del seu context i d'alguns temes relacionats. Llavors, presentem una revisio exhaustiva de la bibliografia d'imatges intrinseques en el camp de la visio per computador, proporcionant una descripcio detallada i organitzada de les tecniques per a l'estimacio d'imatges intrinseques que han aparegut fins ara. D'altra banda, tambe examinem els mecanismes d'avaluacio d'imatges intrinseques que s'han utilitzat fins ara, estudiant les bases de dades i les metriques existents. A mes a mes, analitzem l'evolucio del problema i identifiquem les tendencies actuals d'aquest camp de recerca. Sovint, en el camp de la visio per computador, la informacio del color ha estat ignorada. Tanmateix, el color ha resultat ser molt util en l'estimacio d'imatges intrinseques. En aquest treball presentem un metode de descomposicio d'imatges intrinseques que estima la reflectancia i el shading d'una imatge utilitzant observacions de dos atributs de color que es combinen en un marc probabilistic. D'altra banda, la majoria dels metodes de descomposicio d'imatges intrinseques fins ara han assumit que les escenes estan il·luminades per una ``llum blanca'' i han ignorat completament els efectes dels sensors de la camera en les imatges. Tots dos factors, pero, afecten els valors de les imatges resultants durant el proces d'adquisicio. En aquest treball analitzem la formulacio teorica del problema de descomposicio d'imatges intrinseques i proposem un nou marc, mes general, on es modelitzen els efectes tant dels sensors de la camera com del color de l'il·luminant. En aquesta nova formulacio hi introduim un nou component, anomenat reflectancia absoluta, que es invariant a tots dos efectes. A mes a mes, demostrem que qualsevol coneixement sobre el color de l'il·luminant o sobre els sensors de la camera es pot utilitzar per millorar les reflectancies estimades dels diferents metodes de descomposicio d'imatges intrinseques. Finalment, analitzem els mecanismes d'avaluacio d'imatges intrinseques, que han evolucionat constantment durant aquesta ultima decada. En aquesta tesi presentem dues bases de dades per a l'avaluacio d'imatges intrinseques. Una d'elles es una base de dades calibrada que inclou informacio sobre l'il·luminant de l'escena i els sensors de la camera. Aquesta base de dades s'ha utilitzat per validar experimentalment el marc teoric per a la descomposicio d'imatges intrinseques presentat en aquesta tesi. La segona base de dades s'ha construit mitjancant tecniques de grafics per computador i conte imatges, tant d'objectes simples com d'escenes complexes, adquirides amb diferents condicions d'il·luminacio. En aquest treball es demostra que amb programari de grafics per computador i motors de representacio grafica, es possible construir bases de dades molt grans i realistes per a l'avaluacio d'imatges intrinseques. Image values are the result of a combination of visual information coming from multiple sources. Recovering information from the multiple factors that produced an image seems a hard and ill-posed problem. However, it is important to observe that human beings develop the ability to interpret images and recognize and isolate specific physical properties of the scene. Images describing a single physical characteristic of an scene are called intrinsic images. These images would benefit most computer vision tasks which are often affected by the multiple complex effects that are usually found in natural images (cast shadows, specularities, interreflections.). In this thesis we will analyze the problem of intrinsic image estimation from different perspectives, including the theoretical formulation of the problem, the visual cues that can be used to estimate the intrinsic components and the evaluation mechanisms of the problem. We first give a brief introduction on the background and the nature of the problem of intrinsic image estimation and some of its closely related topics. Then, we present an exhaustive review of the literature of intrinsic images in the field of computer vision, giving a comprehensive and organized description of the existing techniques for intrinsic image estimation. We also examine the evaluation mechanisms that have been used so far in this problem. We analyze the existing databases and metrics, discuss the evolution of the problem and identify the recent trends in the field. Color information has been frequently ignored in the field of computer vision. In this work we present a method for intrinsic image decomposition which estimates the intrinsic reflectance and shading components of a single input image using observations from two different color attributes combined in a probabilistic framework. One of them, based on the semantic description of color used by humans, provides a sparse description of reflectances in an image. The other, based on an analysis of color distributions in the histogram space which connects local maxima, gives us a consistent description of surfaces sharing the same reflectance, providing stability of color-names in shadowed or near highlight regions of the image. Moreover, most methods for intrinsic image decomposition have usually assumed ``white light'' in the scenes and have completely ignored the effect of camera sensors in images. However, both factors strongly influence the resulting image values during the acquisition process. In this work we analyze the theoretical formulation underlying the decomposition problem and propose a generalized framework where we model the effects of both the camera sensors and the color of the illuminant. In this novel formulation we introduce a new reflectance component, called absolute reflectance, which is invariant to both effects. Furthermore, we demonstrate that any knowledge of the color of the illuminant or the camera sensors from input images can be used to improve the reflectance estimates of different existing methods for intrinsic image decomposition. Finally, we analyze the evaluation mechanisms of intrinsic images, which have continuously evolved during the last decade. In this thesis we present two datasets for intrinsic image evaluation. One is a calibrated dataset which includes ground truth information about the illuminant of the scene and the camera sensors. This dataset is used in this work to experimentally validate the theoretical framework for intrinsic image decomposition proposed in this thesis. The second dataset uses synthetic data and contains both simple objects and complex scenes under different illumination conditions. In this work we demonstrate that it is possible to build large and realistic datasets for intrinsic image evaluation using computer graphics software and rendering engines.