Defining Object Detection Requirements for Safe Automated Driving
Creators: name: Mori, Ken Thaddäus
name: :Unav
Publisher: name: Fraunhofer-Gesellschaft
Year: 2024
Subjects: Branche: Automotive Industry
Research Line: Computer vision (CV)
Research Line: Machine learning (ML)
LTA: Interactive decision-making support and assistance systems
LTA: Monitoring and control of processes and systems
Automotive industries
Autonomous driving
Safety concepts
Object detection

description: Automated Driving (AD) requires reliable environment perception to ensure safety. One common perception task is 3D object detection, which aims at perceiving location and attributes of dynamic objects. The evaluation of object detection typically relies on datasets. While these datasets provide evaluation metrics, they fail to connect detection results to safety outcomes such as accidents. Therefore, there is a lack of clear requirements for object detection which consider the safety of the driving task. Accordingly, the objective of this work is to identify requirements for 3D object detection which consider safety. Furthermore, it is desirable to obtain requirements which are interpretable. Therefore, the overall research question regarding requirements for safe object detection is decomposed. Requirements for the three interpretable aspects of classification, relevance and attributes of objects are treated separately. Finally, the last objective is to provide a method to evaluate and validate the different requirements for each of these aspects. The methodology of this work first identifies common principles which further specify the overall objective of requirements for safety. The four principles are interpretability, legal requirements, safety requirements and the human baseline. Applying these principles allows developing different methods for the aspects classification, relevance and attributes, respectively. In this work, the required object categories, criteria for relevance and attribute requirements are successfully identified. In addition, a novel validation method based on a motion prediction leveraging a deep neural network is presented. Applying this validation method to the requirements proposed in this work is successful, thus supporting the results. Remaining limitations of the proposed methodology including the available data and algorithms are identified and discussed. Furthermore, the implications of the novel requirements on datasets, algorithms and sensor setups for 3D object detection are considered. The overall methodology presents a two-pronged approach to requirement definition. Firstly, simple and interpretable requirements are developed based on a safety argumentation. These requirements are then additionally substantiated by the validation method, which relies upon a deep neural network. The results thus provide the requirements, which are required to test and validate object detectors in the context of safety for the task of AD. The author hopes that the requirements encourage the explicit evaluation and improvement of safety for future object detection.
description: Automatisiertes Fahren erfordert eine zuverlässige Umgebungswahrnehmung zur Gewährleistung der Sicherheit. Eine häufige Wahrnehmungsaufgabe ist die 3D-Objekterkennung, die darauf abzielt, den Ort und die Eigenschaften dynamischer Objekte wahrzunehmen. Die Bewertung der Objekterkennung stützt sich typischerweise auf Datensätze. Obwohl diese Datensätze Bewertungsmetriken bereitstellen, gelingt es ihnen nicht, die Erkennungsergebnisse mit Sicherheitsaspekten wie Unfällen zu verknüpfen. Daher fehlen klare Anforderungen an die Objekterkennung, welche die Sicherheit der Fahraufgabe berücksichtigen. Dementsprechend ist das Ziel dieser Arbeit, Anforderungen für die 3D-Objekterkennung zu identifizieren, welche die Sicherheit berücksichtigen. Darüber hinaus ist es wünschenswert, interpretierbare Anforderungen zu erhalten. Daher wird die übergeordnete Forschungsfrage bezüglich der Anforderungen für sichere Objekterkennung dekomponiert. Anforderungen für die drei interpretierbaren Aspekte der Klassifizierung, Relevanz und Attribute von Objekten werden separat behandelt. Schließlich besteht das letzte Ziel darin, eine Methode zur Bewertung und Validierung der verschiedenen Anforderungen für jeden dieser Aspekte bereitzustellen. Die Gesamtmethodik dieser Arbeit identifiziert zunächst gemeinsame Prinzipien, die das übergeordnete Ziel der Anforderungen für Sicherheit spezifizieren. Die vier Prinzipien sind Interpretierbarkeit, rechtliche Anforderungen, Sicherheitsanforderungen und die menschliche Baseline. Durch die Anwendung dieser Prinzipien ist es möglich, unterschiedliche Methoden für die Aspekte Klassifizierung, Relevanz und Attribute zu entwickeln. In dieser Arbeit werden die erforderlichen Objektkategorien, Kriterien für die Relevanz und Anforderungen für Attribute erfolgreich identifiziert. Darüber hinaus wird eine neuartige Validierungsmethode vorgestellt, die auf einer Prädiktion von Trajektorien unter Verwendung eines tiefen neuronalen Netzwerks basiert. Die Anwendung dieser Validierungsmethode auf die in dieser Arbeit vorgeschlagenen Anforderungen ist erfolgreich und unterstützt somit die Ergebnisse. Verbleibende Einschränkungen der vorgeschlagenen Methodik bezüglich verfügbarer Daten und Algorithmen werden identifiziert und diskutiert. Darüber hinaus werden die Auswirkungen der neuen Anforderungen auf Datensätze, Algorithmen und Sensoraufbauten für die 3D-Objekterkennung berücksichtigt. Die Gesamtmethodik präsentiert einen zweiteiligen Ansatz zur Anforderungsdefinition. Zunächst werden interpretierbare Anforderungen auf der Grundlage einer Sicherheitsargumentation entwickelt. Diese werden dann durch die unabhängige Validierungsmethode untermauert. Die Ergebnisse liefern somit die erforderlichen Anforderungen, um Objekterkennungen im Kontext der Sicherheit für die Aufgabe des automatisierten Fahrens zu testen und zu validieren. Der Autor hofft, dass die Anforderungen die explizite Bewertung und Verbesserung der Sicherheit für die zukünftige Objekterkennung fördern.