The Impact of Cross-Polarization on RGB Imaging, Color Calibration and Accuracy
Creators: name: Abu Haila, Tarek
name: :Unav
Publisher: name: Fraunhofer-Gesellschaft
Year: 2024
Subjects: Branche: Cultural and Creative Economy
Research Line: Computer vision (CV)
Research Line: Human computer interaction (HCI)
Research Line: Modeling (MOD)
LTA: Generation, capture, processing, and output of images and 3D models
3D Printing
Color models
Calibration

description: Polarization filters are very useful and come very handy in various applications ranging from artifacts digitization to medical imaging where shiny reflective surfaces hinder clear imaging otherwise, and consequently would cause false reading of the data. Usually polarization filters are used so to eliminate any undesirable reflections, specularities and highlights a surface would depict given the surface’s material and the lighting setup. In most applications that uses polarization filters, more information of the actual imaged surface are retrieved which would be obscured behind highlights otherwise, so the imaged surface looks rather continuous and complete. However, how polarization filters actually affect and influence the imaged surface color receive too little attention despite its importance in applications such as cultural heritage digitization, faithful product photography or medical skin and tissues imaging among others. In this thesis we address fundamental issues polarization filters cause to color registration, reproduction and consequently color calibration, so to make people and other researchers aware of the consequences of using polarization filters in their applications especially people whose concern is to have a faithful and accurate color reproduction such in the cultural heritage digitization sector. We propose, as well, a new method of automated mosaic scanning that is, first, overcome the problem of undesirable surface reflections despite the use of cross-polarization due to the highly reflective material’s surface finish. Second, paving the way towards color calibration for 3D textures. The following work demonstrates in details how polarization filters affect color reproduciblity and grayscale linearity, it shows as well how polarization filters can be a potential cause of shift in the white-point of a light source which has consequences on how surface colors under such polarized light source would be rendered. Finally, we demonstrate, while using cross-polarization, a new proposed method of color calibration based on a mosaic approach that can be the backbone of standardizing 3D digitization and texture color correction while keeping color accuracy in mind. With the help of this work, it is possible now to understand the changes that happen to the imaged colors while using cross-polarization and how these changes make color faithful reproduction deviate from the real measurements that are usually measured using a spectrophotometer (the ground-truth; actual perception). This body of research also explains and show how grayscale colors are affected so that grayscale linearity cannot be guaranteed anymore depending on the imaged material, and also why some colors may look washed-out when imaged using cross-polarization. The reader will also be able to understand how cross-polarization contributes to a shift in the light source’s white-point and a change in the color-correlated temperature (CCT) which will affect consequently how surface colors would interact with the light source and being mathematically calculated. Finally, a new approach to color calibration with the help of cross-polarization and a moving camera/light source combination for large color target scans and/or highly reflective surfaces is introduced, the new approach is being assessed against the ISO standards for color calibration and reproduction in cultural heritage showing that it is viable and passes the highest possible ISO level for color accuracy and fidelity.
description: Lichtpolarisierung ist ein Phänomen, indem Lichtwellen gezwungen sind, nur in eine bestimmte Richtung zu oszillieren. Dabei existieren zwei verschiedene Formen von Licht, entweder als Wellen oder Quantenpakete. In der vorlegenden Arbeit handelt es sich um Lichtwellen und ihr Verhältnis in Bezug auf Materialien. Die Polarisation von Licht erfolgt durch das Passieren durch einen Polarisationsfilter. Auf der anderen Seite des Filters oszilliert das Licht nur in einer bestimmten Richtung. Dies führt dazu, dass das Licht die Hälfte seiner Intensität verliert. Polarisationsfilters helfen bei der Eliminierung der Spiegelungen/Reflexionen, deshalb sind sie für Menge von verschiedenen Anwendungen und Projekten unerlässlich z.B. Medizinische Fotografie, Forensik, Geologische Mineralien und Felsfotografie, Digitalisierung von Kulturerbe Artefakten usw. Spiegelungen/Reflexionen sind abhängig von den verwendeten Materialien. Zum Beispiel haben glossy Materialien wie polierte Oberfläche, im Gegensatz zu matt Materialien, die Tendenz, bei Lichteinwirkung Reflexionen zu erzeugen. Reflexionen begleiten uns in unserem Alltagsleben, wie zum Beispiel bei Zähnen, Glas, Münzen, Edelstahl usw. Polarisation, in der Hinsicht der Physik, ist nachvollzogen. Jedoch gibt es nicht ausreichende Recherche, die das Phänomen aus der Perspektive der Anwendung und Nutzung von Polarisationsfilters behandeln. In der Wissenschaft kommt die Frage vor, wie die fotografierten Farben von den Filtern in der Realität beeinflusst werden? Das System, das hinter den Forschungsfragen steckt, ist CultArm3D, eine entwickelte Technologie stammt aus Fraunhofer IGD, in Darmstadt. Das Ziel des Systems ist Hochqualität und Farbakkurat Digitalisierung zu bieten und zu gewährleisten. Das System besteht aus einem Roboterarm mit einer Kamera am Endeffektor montiert. Auf der Kameralinse wurde eine Lichtquelle (D50) angebracht. Das Licht hat die Form eines Kreises voller LEDs mit einem Loch in der Mitte, durch das die Kameralinse passt. Wegen der Geometrie zwischen das Licht und die Kameralinse (0◦/0◦) sind direkte Reflexionen unvermeidbar, aus diesem Grund sind Cross-Polarization Filter unerlässlich in solcher Situation. Die Cross-Polarisation setzt sich aus zwei Polarisationsfiltern zusammen, die so ausgerichtet werden, dass sie einen rechten Winkel zueinander bilden, also einen Winkel von 90 Grad (ähnlich einem Kreuz). Spiegelungen/Reflexionen lassen sich mit solcher Technik eliminieren. In dieser Arbeit studieren und analysieren wir den Einfluss der Polarisationsfilters auf Farbmessungsgenauigkeit, Farbkalibrierung und Farbdarstellung. Wir stellen 3+1 Forschungsfragen bezüglich der Verwendung von Polarisationsfilters und inwieweit sie einen Einfluss auf fotografierte Farben, so wie auf die Lichtquelle selbst haben können. Es wird, zunächst, die Auswirkung von Polarisationsfiltern auf Grauskalas von verschiedenen Materialien (glossy und matt) analysiert. Außerdem werden die Auswirkungen auf die Farbkomponenten CIELAB (Chroma und Lightness) näher gezogen. Im nächsten Schritt wird die Auswirkung der Polarisationsfilters auf die Lichtquelle selbst untersucht. Bei direkter Beeinflussung des Lichts wirken sich zwangsläufig Veränderungen auf die Farben aus, auf die das polarisierte Licht einwirkt. Schließlich taucht das Problem mit einem der Color Targets (bzw. Farbziele) auf, da das Material des Color Targets weiterhin Reflexionen aufweist, selbst wenn Cross-Polarization angewendet wird. Daraus sind 2 Fragen entstanden: 1) Wie können Reflexionen solcher Materialien eliminiert und bessere Bildqualität aufgenommen werden? 2) Wie ist es damit umzugehen, wenn die Kamera FOV (bzw. Field-Of-View / Sichtfeld) zu klein ist, um einen kompletten Color Target darin zu passen? – z.B. In dem Fall, in dem eine Makro-Kameralinse verwendet wird und der Wunsch besteht, einen umfangreichen Color Target zu scannen oder zu fotografieren, ergeben sich besondere Herausforderungen. Die für Makro-Linsen geeigneten Color Targets sind in der Regel zu klein und weisen im Vergleich zu größeren Color Targets weniger Farbflecken auf. Darüber hinaus kann der Einsatz von einem großen Color Target bessere Farbkalibrierung garantieren. Die in dieser Forschung vorgeschlagene Lösung adressiert nicht nur das zuvor erwähnte Problem, sondern weist zudem das Potenzial auf, eine Lösung für die Herausforderung der 3D-Farbkalibrierung bereitzustellen. Folgendes ist die Zusammenfassung der vorlegenden Studie/Forschung: Polarizationfilters haben einen unvermeidbaren Einfluss auf fotografierte Farben. Die Farbkomponenten, Chroma und Lightness, sind beide beeinträchtigt, sodass das Lightness der Farben zunimmt und daher zeigen die Farben mehr Brightness auf. Das heißt, die Farben wirken verwaschen/washed-out. Polarisationsfilter führen zu einer Unterbrechung der Grauwertlinearität, sodass beim Fotografieren von Graustufen mit Werten im Bereich von CIELAB(L∗) ≈ 5 → 95 unter Verwendung solcher Filter die lineare Abstufung von 5 → 95 aufgehoben wird. Dies resultiert in einem Verlust bestimmter Farbstufen, insbesondere in den tieferen Farben. Polarisationfilters führen dazu,dass der Weiße Punkt (WP) eines Lichts und dessen Color-Correlated Temperature (CCT) vom originalen Wert abweichen. Das bedeutet, dass eine D50 Lichtquelle (CCT von 5000 K) mit bestimmten xy−Chromaticitycoordinates, nach dem Einsatz von Cross-Polarization Filtern nicht mehr den gleichen CCT wert und xy-Chromaticity Coordinates aufweist. Die Abweichung kann im schlimmsten Fall bis zu einem Wert von 360 K betragen. Polarisationsfilter führen ebenfalls dazu, die Neutralität der Lichtquelle in Bezug auf die Werte der Chroma Koordinaten, CIELAB(ab), zu beeinträchtigen. Dies bedeutet, dass die Messung der Farbdifferenz zwischen den Chroma Komponenten derselben Lichtquelle vor und nach dem Einsatz von Cross Polarisationsfiltern im ungünstigsten Fall bis zu ∆E ≈ 7.3 und im besten Fall etwa ≈ 3.6 betragen kann. Derartige Abweichungen in den Chroma Komponenten einer Lichtquelle haben einen unvermeidbaren Einfluss auf die Darstellung der Farben, auf die das Licht fällt, wenn das Spektrum des Lichts (SPD) mit dem Spektrum des Objekts (Reflexion) interagiert. Wir haben eine neuartige Technik vorgeschlagen und untersucht, die es ermöglicht, Farbkalibrierung und Farbkorrektur durchzuführen, insbesondere wenn entweder das Sichtfeld (Field of View, FOV) der Kamera zu klein ist, um das gesamte Color Target zu erfassen (z. B. bei Verwendung einer Makro-Linse), und/oder wenn das gescannte Material sehr reflektierend ist, selbst unter Verwendung einer perfekten Cross-Polarisation. Die vorgeschlagene Lösung dieses Problems trägt auch dazu bei, eine potenzielle Lösung für das Problem der 3D-Farbkalibrierung anzubieten, da die angewandte Technik der Erzeugung einer uv-map Texture in 3D ähnlich ist. Zum Abschluss dieser Forschung haben wir die ersten Schritte unternommen, um den gesamten Prozess von der Erfassung (Scanning) bis zum 3D-Druck als proof-of-concept zu verifizieren. Hierbei wurde ein 2.5D-Gemälde automatisch fotografiert, farbkalibriert, ein 3D-Modell mittels Photogrammetrie generiert und schließlich dreidimensional gedruckt. Eine vorläufige Analyse dieser Ergebnisse wurde am Ende dieser Arbeit präsentiert. Offene Fragestellungen wurden bewusst für zukünftige Arbeiten und Forschungen zurückgestellt, da eine eingehende Untersuchung erfordert wird, um sie angemessen zu adressieren. Diese Arbeit legt die Grundlagen für ein vertieftes Verständnis des Polarisationphänomens im Kontext angewandter Forschung und Projekte, die Polarisationsfilter erfordern. Die Studie beleuchtet die Auswirkungen auf die Farbwahrnehmung, wenn sie durch (Cross-) Polarisationsfilter betrachtet werden. In diesem Zusammenhang wird ein weitverbreitetes Missverständnis widerlegt, das besagt, dass Polarisationsfilter keinen Einfluss auf die Farbwiedergabe haben und ihre Auswirkung lediglich auf die Intensität des Lichts beschränkt ist, d.h., die Intensität halbiert wird. Das umfassende Verständnis der Auswirkungen von Polarisationsfiltern auf die Farbgebung stellt einen wichtigen Beitrag dieser Arbeit dar.