Light Field Imaging for Deflectometry
Creators: name: Uhlig, David
Publisher: name: Karlsruher Institut für Technologie (KIT)
Year: 2023
Subjects: light field camera
deflectometry
camera calibration
generic calibration
phase-shift coding
phase unwrapping
surface reconstruction
specular surfaces

description: Optische Messverfahren werden für die hochpräzise Fertigung von Bauteilen und für die Qualitätssicherung immer wichtiger. Der steigende Bedarf kann durch moderne bildgebende Systeme mit fortschrittlichen Optiken gedeckt werden. Insbesondere Lichtfeldkameras erfahren ein immer größeres Interesse in Forschung und Industrie, da sie trotz ihres kompakten und monokularen Designs eine Vielzahl von neuen Messprinzipien ermöglichen. Sie werden jedoch hauptsächlich für die Vermessung diffus reflektierender Szenen verwendet. Für die Analyse spiegelnd reflektierender Oberflächen haben sich die deflektometrischen Messverfahren durchgesetzt. Sie ermöglichen es, hochpräzise Neigungsinformationen der Messprobe zu erhalten, indem sie die durch die spiegelnde Oberfläche verzerrten Bilder eines Referenzmustergenerators auswerten. Da die spiegelnde Oberfläche für den Beobachter quasi unsichtbar ist, kann die absolute Höhe mit einer herkömmlichen Kamera ohne Zusatzwissen nicht rekonstruiert werden und stattdessen erhält man eine unendliche Vielzahl möglicher Oberflächen. Um das Mehrdeutigkeitsproblem der Deflektometrie zu lösen, zielt diese Arbeit darauf ab, die Vorteile und Möglichkeiten der Lichtfeldkamera für die Rekonstruktion von spiegelnden Oberflächen nutzbar zu machen. Auf dem Weg zu diesem Ziel werden in dieser Arbeit verschiedene Aspekte der Deflektometrie untersucht und Möglichkeiten für Verbesserungen vorgestellt. Im Rahmen der Deflektometrie ist es notwendig, eine optische Positionskodierung durchzuführen, um die Oberfläche mittels Triangulation rekonstruieren zu können. Die Abbildung von Punkten in der Ebene eines Referenzmonitors auf Kamerapixel wird in dieser Arbeit mittels Phasenschub-Codierung durchgeführt. Multifrequenz-Verfahren mit temporal codierten Sinusmustersequenzen werden häufig eingesetzt, um Phasenrauschen zu reduzieren und damit die Messergebnisse zu verbessern. Sie führen aber zu Mehrdeutigkeiten, die erst mit Methoden der Phasenentfaltung aufgelöst werden können. Die klassischen Entfaltungsmethoden nutzen jedoch im Allgemeinen nicht die gesamte Information, um alle Messungen gleichzeitig zu entfalten und berücksichtigen nicht die Periodizität der Phase, was zu Fehlern führen kann. In dieser Arbeit wird deshalb ein neuer Ansatz vorgestellt, der die Phase mit Hilfe einer probabilistischen Modellierung optimal rekonstruiert. Die einzelnen Phasenmessungen werden durch zirkuläre Wahrscheinlichkeitsdichten modelliert und die Maximierung der Verbunddichte aller Messungen ergibt die optimale Dekodierung. Da die gesamte Information aller Phasenmessungen gleichzeitig genutzt wird und die Faltung der Phase implizit kompensiert wird, kann die Zuverlässigkeit stark erhöht werden. Zusätzlich wird das Verfahren durch eine probabilistische Modellierung der lokalen Pixel-Nachbarschaften erweitert, wodurch eine spatio-temporale Phasenentfaltung ermöglicht wird. Im Vergleich zu Standardkameras haben Lichtfeldkameras einen komplexeren optischen Aufbau. Weil die Deflektometrie eine hochgenaue Kalibrierung benötigt, ist es deshalb schwierig, die Lichtfeldkamera ausreichend genau mit nur einem niedrigdimensionalen Kameramodell zu beschreiben. Die Kalibrierung der Lichtfeldkamera erfolgt daher in dieser Arbeit mittels eines generischen Kameramodells, bei dem die zu jedem Pixel gehörigen Sichtstrahlen individuell geschätzt werden, wodurch eine hochgenaue Kalibrierung erreicht werden kann. Hierfür wird ein Ansatz präsentiert, der die generische Kalibrierung über eine alternierende Optimierung der Sichtstrahlen und Schätzung der unbekannten Posen eines Referenzmonitors durchführt, wobei die Positionsunsicherheit der Referenzkoordinaten, welche aus der Phasenschub-Codierung erhalten wird, in der Optimierung berücksichtigt wird. Weiter wird gezeigt, dass eine zusätzliche Modellierung des Referenzmonitors die Ergebnisse verbessert, da mögliche Deformationen des Displays beachtet werden und die Brechung am Frontglass kompensiert werden kann. Weil Lichtfeldkameras üblicherweise für Tiefenschätzung oder digitale Refokussierung verwendet werden, muss im allgemeinen das 4D-Lichtfeld aus den 2D-Sensorrohdaten decodiert werden. Dies ist jedoch üblicherweise stark abhängig vom jeweiligen Typ der Lichtfeldkamera. Um dieses Problem zu umgehen, wird in dieser Arbeit ein Algorithmus vorgestellt, welcher die generische Kamerakalibrierung nutzt, um ein Lichtfeld aus dem unbeschränkten Strahlenbündel zu rekonstruieren. Hiermit wird eine generische Lichtfeldrekonstruktion ermöglicht, mit der Lichtfelder aus beliebigen Lichtfeld-Aufnahmesystemen rekonstruiert werden können, vollkommen unabhängig davon, ob die Lichtfeldkamera auf Mikrolinsen, Spiegeln oder codierten Blenden basiert oder mittels eines Kameraarrays realisiert wird. Nachdem alle Grundlagen für die Deflektometrie gegeben sind, wird im weiteren Verlauf der Arbeit schließlich mithilfe des rekonstruierten Lichtfeldes eine deflektometrische Messung spiegelnder Oberflächen ermöglicht. Hierzu wird ein lichtfeldbasierter Multi-Stereo-Deflektometrie-Ansatz realisiert, der es erlaubt, die Tiefe der spiegelnden Oberfläche zu schätzen und gleichzeitig die Mehrdeutigkeit der deflektometrischen Messung aufzulösen, womit eine eindeutige Rekonstruktion der Oberfläche gefunden werden kann. Weil die deflektometrische Normalenmessung um Größenordnungen präziser als die Tiefenschätzung ist und weil die Lichtfeldkamera für jede Multi-Stereo-Ansicht eine Lösung liefert, ist es sinnvoll, alle Informationsquellen zu fusionieren. Die Multi-Stereo-Tiefen- und Normalenschätzungen werden daher im Weiteren zu einer einzigen Oberfläche fusioniert, wodurch eine hochpräzise Rekonstruktion erhalten werden kann. Alle vorgestellten Ansätze werden mittels ausführlichen Simulationen und Experimenten ausgewertet und es kann gezeigt werden, dass die exakte geometrische Kalibrierung des Messsystems von wesentlicher Bedeutung ist und dass Lichtfeldkameras trotz ihres kompakten und monokularen Aufbaus hohe Rekonstruktionsgenauigkeiten für die Deflektometrie erzielen können.