title: Pseudo-passive Indoor ToF 3D Sensing Exploiting Light-based Wireless Communications Infrastructure
title: Pseudo-passive ToF-3D-Erfassung in Innenräumen Ausnutzung der lichtbasierten drahtlosen Kommunikationsinfrastruktur
titleType: AlternativeTitle
Creators: name: Ahmed, Faisal
Publisher: name: Universitätsbibliothek Siegen
Year: 2024
Subjects: subject: 621.3 Electrical engineering, electronics
subject: Time-of-Flight Imaging
subject: Source Localization
subject: Indoor 3D Passive ToF Imaging
subject: Optical Wireless Communication
subject: Light-based Communication driven 3D sensing
subject: Passive ToF imaging using Optical Wireless Communication

description: 3D Time-of-Flight (ToF) cameras have recently aroused a lot of attention from academic and industrial circles due to their wide range of applications, such as robot navigation, indoor 3D sensing, autonomous driving, and industrial 3D perception and localization. Despite relevant advancements in ToF imaging, state-of-the-art ToF cameras still suffer from concomitant challenges, e. g., power hungry illumination sources, interference from existing lighting infrastructure leading to background noise, and measurement inconsistencies caused by thermal drift from the integrated source. Hence, this thesis aims to address these key challenges and propose novel methods and hardware solutions. Our work is inspired by the recently introduced visible light communication (VLC) or light-fielity (Li-Fi) infrastructure to use existing VLC or LiFi nodes as opportunity illuminators for ToF imaging, instead of the integrated source. VLC/LiFi sources already serve as communication nodes in indoor settings. Recently, the VLC infrastructure has been laying a solid foundation for passive sensing. This work aims to unveil the synergistic potential of two independently developed filds: optical wireless communication (OWC) and ToF imaging, provided by their interaction. Our general concept is encouraged by passive radar technology, which uses communication infrastructure for target sensing, to achieve passive ToF operation. Exploiting a non-co-located opportunity illuminator induces a passive sensing setup in this thesis. For this purpose, we introduce mathematical machinery that leads to merging the communication and ToF sensing models into a unifid imaging pipeline. The passive modality builds upon the concept of coded ToF, yielding pulse-shaped correlation sampling and is implemented leveraging the Photonic Mixer Device (PMD) technology, initially developed at ZESS, which is known as a reference technology in the fild of ToF sensors, to attain depth and intensity profiing of targets. Such capabilities are achieved by exploiting the pulse shape of optical signals generated by VLC/Li-Fi modules (e. g., OpenVLC and LiFiMAX). Within this scope, fist, we propose an asynchronous passive approach, which uses the communication signals for illumination, and the reference signals are generated internally. This confiuration is sensitive to frequency mismatch, which results in an unknown offset. To target this problem, we use two parallel sensing channels. A direct channel is established between the OWC source and a reference photodetector, which is responsible for obtaining a stable reference signal for synchronizing the ToF camera externally. The indirect channel is given by the reflctions of illumination signals from the target, resulting in a bistatic confiuration. In contrast, conventional ToF imaging uses a monostatic confiuration, where a single sensing channel is exploited and the camera is synchronized through internally generated signals. Furthermore, we also studied different sampling schemes in the time-shift domain, including uniform, random, and sparse rulers, which preserve high-depth accuracy with a minimal number of measurements. On the hardware front, we developed a custom-designed solution to obtain the thresholded version of the VLC optical signals. This solution controls the demodulation of the ToF evaluation board. On the computational front, we adapted the image formation model to the bistatic confiuration and proposed algorithms to recover depth maps from samples of the cross-correlation between emitted and demodulation signals. Additionally, we evaluated the performance of crosscorrelation functions of well-known modulation schemes in the communication community and further used them for depth reconstruction analysis of the proposed method, leveraging existing transient imaging datasets. Experimental evaluation of the proposed passive ToF camera has confimed the potential of attaining relevant power savings, e. g., up to 59 % for the Infieon ToF sensor IRS2381C, which features a 1W illumination source. When the source location is known, reconstructing a target’s depth map can be carried out leveraging existing methods for pulsed ToF imaging. However, the fundamental challenge with passive ToF imaging is the unknown source location, which precludes the estimation of absolute distances. This dissertation proposes novel computational methods to solve this problem. Our solutions are motivated by the Manhattan world assumption, which allows us to consider the target as locally plain. The proposed blind source localization algorithm uses a gradient descent approach for jointly estimating the source location and retrieving the correct depth information of the scene. In each iteration, the bistatic confiuration and plane-fiting work as a basic framework while seeking local planarity to constrain the source location. The previous approach has been shown to attain satisfactory results from blind initial guesses of the source location. We also developed a probabilistic approach based on the Kalman fiter (KF) for keeping track of the source location across frames, yielding a robust initialization for the source localization algorithm. Different motion models are considered to evaluate the performance of KF-driven algorithm. The numerical experiments performed using emulated measurements of the ToF camera corroborate our proposed algorithms. Indoor 3D sensing, autonomous driving, and industrial 3D perception and localization are rapidly growing filds where VLC infrastructure is often found, showcasing the applications of this work.
description: 3D-Lichtlaufzeitkameras (ToF-Kameras) haben in letzter Zeit in akademischen und industriellen Kreisen aufgrund ihres breiten Anwendungsspektrums, wie z. B. Roboternavigation, 3D-Sensorik in Innenräumen, autonomes Fahren und industrielle 3D-Wahrnehmung und -Lokalisierung, viel Aufmerksamkeit erregt. Trotz relevanter Fortschritte in der ToF-Bildgebung leiden moderne ToFKameras immer noch unter begleitenden Herausforderungen, z.B. tromhungrige Beleuchtungsquellen, Störungen durch die vorhandene Beleuchtungsinfrastruktur, die zu Hintergrundrauschen führen, und Messungsinkonsistenzen, die durch die thermische Drift der integrierten Quelle verursacht werden. Daher zielt diese Arbeit darauf ab, diese zentralen Herausforderungen anzugehen und neue Methoden und Hardware-Lösungen vorzuschlagen. Unsere Arbeit ist inspiriert von der kürzlich eingeführten visible light communication (VLC) oder light-fielity (Li-Fi) Infrastruktur, um bestehende VLCoder LiFi-Knoten als opportunity illuminators für die ToF-Bildgebung zu verwenden, anstelle der integrierten Quelle. VLC/LiFi-Quellen dienen bereits als Kommunikationsknoten in Innenräumen. In jüngster Zeit hat die VLC-Infrastruktur eine solide Grundlage für passive Sensorik geschaffen. Diese Arbeit zielt darauf ab, das synergetische Potenzial zweier unabhängig voneinander entwickelter Bereiche zu enthüllen: optische drahtlose Kommunikation (OWC) und ToF-Bildgebung, die durch ihr Zusammenspiel ermöglicht wird. Unser allgemeines Konzept wird durch die passive Radartechnologie unterstützt, die eine Kommunikationsinfrastruktur für die Zielerfassung nutzt, um einen passiven ToF-Betrieb zu erreichen. Die Nutzung eines nicht-koordinierten Gelegenheitsbeleuchters führt in dieser Arbeit zu einem passiven Erfassungsaufbau. Zu diesem Zweck führen wir mathematische Verfahren ein, die dazu führen, dass die Kommunikations- und ToF-Erfassungsmodelle in einer einheitlichen Bildgebungspipeline zusammengeführt werden. Die passive Modalität baut auf dem Konzept der kodierten ToF auf, was zu einer pulsförmigen Korrelationsabtastung führt, und nutzt die ursprünglich am ZESS entwickelte Photonic Mixer Device (PMD)-Technologie, die als Referenztechnologie im Bereich der ToF Sensoren bekannt ist, um ein Tiefen- und Intensitätsprofi von Zielen zu erstellen. Diese Fähigkeiten werden durch die Ausnutzung der Pulsform optischer Signale erreicht, die von VLC/LiFi-Modulen (z. B. OpenVLC und LiFiMAX) erzeugt werden. In diesem Rahmen schlagen wir zunächst einen asynchronen passiven Ansatz vor, bei dem die Kommunikationssignale zur Beleuchtung verwendet und die Referenzsignale intern erzeugt werden. Diese Konfiuration ist empfidlich gegenüber Frequenzabweichung, die zu einem unbekannten Offset führt. Um dieses Problem zu lösen, verwenden wir zwei parallele Erfassungskanäle. Ein direkter Kanal wird zwischen der OWC-Quelle und einem Referenzphotodetektor eingerichtet, der für die Gewinnung eines stabilen Referenzsignals zur externen Synchronisierung der ToF-Kamera verantwortlich ist. Der indirekte Kanal wird durch die Reflxionen der Beleuchtungssignale vom Zielobjekt gebildet, was zu einer bistatischen Konfiuration führt. Im Gegensatz dazu wird bei der konventionellen ToF-Bildgebung eine monostatische Konfiuration verwendet, bei der ein einziger Erfassungskanal genutzt wird und die Kamera durch intern erzeugte Signale synchronisiert wird. Darüber hinaus untersuchten wir verschiedene Abtastverfahren im Zeitverschiebungsbereich, einschließlich gleichmäßiger, zufälliger und spärlicher Lineale, die eine hohe Tiefengenauigkeit mit einer minimalen Anzahl von Messungen gewährleisten. Auf der Hardware-Seite haben wir eine maßgeschneiderte Lösung entwickelt, um die schwellenwertgesteuerte Version der optischen VLC-Signale zu erhalten. Diese Lösung steuert die Demodulation des ToF-Evaluierungsboards. Auf der rechnerischen Seite haben wir das Bildformungsmodell an die bistatische Konfiuration angepasst und Algorithmen vorgeschlagen, um Tiefenkarten aus Stichproben der Kreuzkorrelation zwischen Sende- und Demodulationssignalen zu gewinnen. Darüber hinaus haben wir die Leistung von Kreuzkorrelationsfunktionen bekannter Modulationsschemata in der Kommunikationsbranche bewertet und sie für die Tiefenrekonstruktionsanalyse der vorgeschlagenen Methode verwendet, indem wir bestehende Datensätze zur transienten Bildgebung nutzten. Die experimentelle Evaluierung der vorgeschlagenen passiven ToF-Kamera hat das Potenzial für relevante Leistungseinsparungen bestätigt, z.B. bis zu 59 % für den Infieon ToF-Sensor IRS2381C, der mit einer 1W-Beleuchtungsquelle ausgestattet ist. Wenn die Position der Quelle bekannt ist, kann die Tiefenkarte des Ziels mit Hilfe bestehender Methoden für gepulste ToF-Bildgebung rekonstruiert werden. Die grundlegende Herausforderung bei der passiven ToF-Bildgebung ist jedoch die unbekannte Position der Quelle, die eine Schätzung der absoluten Entfernungen unmöglich macht. In dieser Dissertation werden neue Berechnungsmethoden vorgeschlagen, um dieses Problem zu lösen. Unsere Lösungen beruhen auf der Manhattan world assumption, die es uns erlaubt, das Ziel als lokal eben zu betrachten. Der vorgeschlagene Algorithmus zur blinden Quellenlokalisierung verwendet einen Gradientenabstiegsansatz zur gemeinsamen Schätzung der Quellenposition und zum Abrufen der korrekten Tiefeninformationen der Szene. In jeder Iteration dienen die bistatische Konfiuration und die Ebenenanpassung als Grundgerüst, während die lokale Ebenheit gesucht wird, um die Position der Quelle einzuschränken. Es hat sich gezeigt, dass der frühere Ansatz zufriedenstellende Ergebnisse mit blinden Anfangsschätzungen der Quellenposition erzielt. Wir haben außerdem einen probabilistischen Ansatz entwickelt, der auf dem Kalman Filter (KF) basiert, um die Position der Quelle über mehrere Frames hinweg zu verfolgen und so eine robuste Initialisierung für den Algorithmus zur Quellenlokalisierung zu erhalten. Zur Bewertung der Leistung des KF-gesteuerten Algorithmus werden verschiedene Bewegungsmodelle berücksichtigt. Die numerischen Experimente, die mit emulierten Messungen der ToF-Kamera durchgeführt wurden, bestätigen die von uns vorgeschlagenen Algorithmen. 3D-Sensorik in Innenräumen, autonomes Fahren und industrielle 3D-Wahrnehmung und -Lokalisierung sind schnell wachsende Bereiche, in denen die VLC-Infrastruktur häufi anzutreffen ist, was die Anwendungen dieser Arbeit veranschaulicht.