Fast Dense Depth Estimation from UAV-borne Aerial Imagery for the Assistance of Emergency Forces
Creators: name: Ruf, Boitumelo
Publisher: name: Karlsruher Institut für Technologie (KIT)
Year: 2022

description: Diese Arbeit befasst sich mit dem Einsatz von handelsüblichen, drehflügel-basierten UAVs zur Unterstützung von zivilen Einsatzkräften bei der Lageerfassung und Übersichtsgewinnung an Einsatzorten. Besonders Ersthelfern kann ihre Arbeit durch eine rasche Bewertung der Lage am Einsatzort mit Hilfe von Luftbildern, die von handelsüblichen UAV erfasst werden, erleichtert werden. Dazu stellt diese Arbeit ein zweiteiliges Rahmenwerk vor. Mit dem ersten Teil des Rahmenwerkes soll (i) die Autonomie und Sicherheit des UAVs, durch einen Ansatz zur automatischen Hinderniserkennung und Kollisionsvermeidung anhand von Bilddaten einer Stereokamera, erhöht werden. Hierfür wird im Rahmen dieser Arbeit ein Verfahren zur Disparitätsschätzung anhand von Stereo-Bildpaaren vorgestellt, welches in Echtzeit auf einem eingebetteten System an Bord des UAVs ausgeführt werden kann. Dies nutzt die Bilddaten der im UAV eingebauten Stereokamera, um Disparitätskarten zu berechnen, die das Umfeld in Flugrichtung des UAVs abbilden und welche als Eingabe für ein nachgelagerten Algorithmus zur Hinderniserkennung und reaktiven Kollisionsvermeidung dienen. Der zweite Teil des vorgestellten Rahmenwerkes befasst sich mit der (ii) schnellen und echtzeitnahen 3D-Kartierung des Einsatzgebietes, sowie mit einer schnellen 3D-Änderungsdetektion, auf Basis der Bilddaten, welche von der Hauptkamera des UAVs erfasst werden. Hierfür wird zum einen ein Verfahren zur schnellen und dichten Tiefenschätzung aus mehreren Luftbildern, welche von einer sich um die Szene bewegenden Kamera erfasst werden, vorgestellt. Des Weiteren wird ein Verfahren für die Tiefenschätzung aus einem einzelnen Luftbild vorgestellt. Während Ersteres auf konventionelle Methoden des Bildmatchings beruht, verfolgt das zweite Ver- fahren einen datengetriebenen und lernbasierten Ansatz. Die Schätzung von Tiefendaten aus nur einem Bild erlaubt die Berücksichtigung von Szenen, die dynamische Objekte, wie bspw. fahrende Autos, enthält. Eine wichtige Annahme im zweiten Teil des Rahmenwerkes ist, dass die Bilddaten der Hauptkamera während des Fluges an eine Bodenkontrollstation, die mit mehr Hardwareressourcen ausgestattet ist, übermittelt werden. Details zur Datenverbindung sind aber nicht Gegenstand dieser Arbeit. Für die Disparitätsschätzung aus Stereobildpaaren wird ein, in der Literatur bekanntes und bewährtes Verfahren für die Echtzeitverarbeitung auf einem eingebetteten System, welches mit einer CPU und einer GPU ausgestattet ist, optimiert. Eingebettete Systeme mit einer eingebauten GPU werden zunehmend auf handelsüblichen Drohnen verbaut, da sie gegenüber FPGA-basierten Systemen vielseitiger einsetzbar und für die Ausführung von KI-Verfahren besser geeignet sind. Für die schnelle 3D-Kartierung wird ein Verfahren vorgestellt, welches anhand einer hierarchisch aufgebauten Verarbeitungskette Tiefenkarten aus drei oder mehreren Bildern berechnet. Der hierarchische Ansatz, sowie eine verbesserte Regularisierung, welche auch Oberflächenstrukturen berücksichtig, erlaubt eine effiziente und genaue Rekonstruktion von geneigten Oberflächen, welche besonders in Luftbildern mit Schrägsicht dominant sind. Das dritte, in dieser Arbeit vorgestellte Verfahren, nutzt einen lernbasierten Ansatz zur Schätzung einer Tiefenkarte aus einem einzelnen Luftbild. Dabei wird es selbst-überwacht trainiert, was keine speziellen Trainingsdaten erfordert und damit die Flexibilität in der Anwendung des Verfahrens erhöht. Die drei, in dieser Arbeit vorgestellten methodischen Verfahren zur Tiefenschätzung im Hinblick auf den Zwei-, Mehr- und Einzelbildfall, werden detailliert beschrieben und auf Basis umfangreicher Untersuchungen hin- sichtlich ihrer Stärken und Schwächen beleuchtet. Dabei werden insbesondere ihre Leistungsfähigkeiten im Zusammenhang der betrachteten Anwendungsfälle demonstriert und herausgearbeitet. Darin zeigt sich, (i) dass das vorgestellt Verfahren für die Echtzeit-Disparitätsschätzung aus Stereobildpaaren auf eingebetteten Systemen state-of-the-art Ergebnisse erzielt und gleichzeitig sehr gut für eine Hinderniserkennung und reaktive Kollisionsvermeidung an Bord des UAVs in Echtzeit geeignet ist. (ii) Des Weiteren wird gezeigt, dass die methodischen Erweiterungen innerhalb des Verfahrens für die Mehrbild-Tiefenschätzung sowohl eine schnelle als auch genau Erfassung der Geometrie erlauben. (iii) Die Untersuchungen zur Tiefenschätzung aus einem einzelnen Luftbild mittels eines lernbasierten Verfahrens zeigen, dass ein solches Verfahren zwar noch nicht für den alleinigen Betrieb geeignet ist, sich aber gut für den komplementären Gebrauch, zusätzlich zu den Methoden, die auf konventionelles Bildmatching beruhen, eignet. Da hierbei die Stärken beider Modalitäten kombiniert werden können. (iv) Abschließend zeigt sich, dass sich sowohl die Disparitätskarten, die anhand des Stereobildpaares berechnet werden, sowie die Tiefenkarten des Verfahrens für die Mehrbild-Tiefenschätzung, gut für die betrachteten Anwendungsfälle, nämlich Hinderniserkennung und Kollisionsvermeidung bzw. 3D- Kartierung und 3D-Änderungsdetektion, eignen.