Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03231.jsonl.gz/1052

Visualisierung, Klassifikation und Fusion von Sensordaten
Dieser Artikel soll ein Leitfaden zu den Funktionen und Fähigkeiten von Matlab und der Automated Driving System Toolbox sein sowie dabei helfen, die genannten Fragen zu beantworten. Wir konzentrieren uns auf vier Kernaufgaben: Visualisierung von Fahrzeugsensordaten, «Ground Truth»-Klassifikation, Fusion von Daten aus verschiedenen Sensoren und Synthese von Sensordaten, um Tracking- und Fusionsalgorithmen zu testen.
Visualisierung von Fahrzeugsensordaten
Die grösste Herausforderung während der ersten Entwicklungsphasen von Wahrnehmungssystemen ist es, die Daten zu verstehen. Sensoren liefern ihre Ausgabewerte in unterschiedlichen Formaten und mit unterschiedlichen Abtastraten. Kameras stellen z. B. Bilder in Form von 3-D-Matrizen für die drei Farbkanäle bereit, LiDAR bietet eine Liste von Punkten im 3-D-Raum, und eingebettete oder intelligente Kamerasysteme liefern Objektlisten mit Details zu Fahrzeugen, Fahrspuren und anderen Objekten. Aufgrund der völlig verschiedenen Art dieser Ausgabewerte ist es schwierig, das Gesamtbild zu erkennen (Abb. 1).
In dieser frühen Phase ist es wichtig zu wissen, wie die Sensoren die Umgebung um das Fahrzeug herum darstellen. Die beste Visualisierungsart dafür ist eine Darstellung aus der Vogelperspektive, weil dadurch alle Daten der verschiedenen Sensoren zusammen visualisiert werden können.
Um eine Darstellung aus der Vogelperspektive zu erstellen, nutzen wir die Visualisierungswerkzeuge in Matlab und der Automated Driving System Toolbox. Mittels der folgenden Objekte können der Ansicht weitere Details hinzugefügt werden:
– Coverage-Area-Plotter zur Anzeige des Sensorabdeckungsbereichs
– Detection-Plotter zur Anzeige von Listen von Objekten, die von den Kamerasystemen sowie den Radar- und LiDAR-Sensoren erfasst wurden
– Lane-Boundary-Plotter zur Überlagerung von Fahrspurerkennungen auf Bildern
Dadurch erhält man genaue Visualisierungen der Sensorabdeckung, der Detektionen und der Fahrspurgrenzen (Abb. 2).
Automatisierung der «Ground-Truth»-Klassifikation
«Ground Truth»-Informationen, d. h. Referenzinformationen sind erforderlich, um Objektdetektoren mithilfe von Machine-Learning- oder Deep-Learning-Verfahren zu trainieren. Ausserdem ist dies für die Bewertung der Qualität bestehender Detektionsalgorithmen unabdingbar. Das Hinzufügen der Referenzinformation ist oft ein arbeitsintensiver Prozess, bei dem manuell Beschriftungen in jedes Einzelbild eines Videos eingefügt werden. Die Ground-Truth-Labeler-App in der Automated Driving System Toolbox umfasst Computervision-Algorithmen zur Beschleunigung der «Ground Truth»-Klassifikation. Die App hat drei Hauptmerkmale (Abb. 3):
– Der Fahrzeugdetektor automatisiert die Detektion und Klassifikation von Fahrzeugen in Schlüsselbildern unter Verwendung eines Aggregate-Channel-Feature-(ACF-)Algorithmus.
– Der temporale Interpolator kennzeichnet diejenigen Objekte, welche in allen Einzelbildern zwischen ausgewählten Schlüsselbildern entdeckt werden.
– Der Punkt-Tracker nutzt eine Version des Kanade-Lucas-Tomasi-(KLT-)Algorithmus zur Verfolgung der zu untersuchenden Bereiche über die verschiedenen Einzelbilder hinweg.
– Die Option «Algorithmus hinzufügen» ermöglicht das Hinzufügen benutzerdefinierter Algorithmen und erleichtert die iterative Entwicklung von Objektdetektoren.
Fusion von mehreren Sensordaten
Nahezu jedes Wahrnehmungssystem nutzt Eingabedaten von mehreren komplementären Sensoren. Der Abgleich der Daten dieser Sensoren kann schwierig sein, weil jeder wahrscheinlich ein leicht unterschiedliches Ergebnis liefert. Der Vision-Detektor z. B. könnte melden, dass ein Fahrzeug sich an einem bestimmten Ort befindet, während der Radar-Detektor das gleiche Fahrzeug an einem nahe gelegenen, aber deutlich anderen Ort anzeigt.
Der Multi-Object-Tracker in der Automated Driving System Toolbox verfolgt Detektionen und führt sie zusammen. Eine gebräuchliche Anwendung besteht darin, Radar- und Sichtdetektionen zu fusionieren und die geschätzte Position von Fahrzeugen in der Umgebung zu verbessern (Abb. 4).
Synthese von Sensordaten für die Erstellung von Testszenarien
Manche Testszenarien, wie z. B. unmittelbar bevorstehende Kollisionen, sind zu gefährlich, um sie in einem realen Fahrzeug auszuführen. Diese Herausforderungen können durch die Synthese von Sensordaten auf Objektebene angegangen werden, um Szenarien zu generieren, die Strassen, Fahrzeuge und Fussgänger als virtuelle Objekte enthalten. Wir können diese synthetischen Daten nutzen, um unseren Tracking- und Sensorfusionsalgorithmus zu testen. (Abb. 5).
Verwenden von Fahrzeugdaten in Wahrnehmungssystemen
Die Visualisierung, die Fusion und die Synthese von Fahrzeugdaten bilden die Grundlage für die Entwicklung von Objekterkennungsalgorithmen. Nach erfolgreicher Entwicklung und erfolgreichem Test der Algorithmen in Matlab können wir mit Matlab coderportablen, Ansi/ISO-konformen C/C++-Code für die Integration in der eingebetteten Anwendung generieren.
mathworks.ch