title: Uncertainty-Aware Behavior Planning in Automated Driving
title: Verhaltensplanung unter Berücksichtigung von Unsicherheiten im automatisierten Fahren
Creators: name: Bey, Henrik
Publisher: name: Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)
Year: 2024
Subjects: subject: Automated Driving
subject: Autonomous Driving
subject: Behavior Planning
subject: Tactical Planning
subject: Partially Observable Markov Decision Process
subject: POMDP

description: This dissertation explores the application of uncertainty-aware planning in the context of automated driving. As automated driving technology continues to evolve, it is crucial to develop planning algorithms that can handle uncertain and dynamic environments. Uncertainty can arise from perception, due to limited sensor accuracy and range, but also from occlusion - and from unpredictable behavior of other road users. This work proposes a planning framework that explicitly accounts for uncertainty in the environment by modeling the problem as a Partially Observable Markov Decision Process (POMDP) and solving it with state-of-the-art online sampling-based Partially Observable Monte-Carlo Planning (POMCP). Using the same framework, three different scenarios of increasing complexity are addressed: An uncertain obstacle, entering a roundabout, and driving on a freeway; each representing different sources of uncertainty. The first focus of this dissertation is to achieve a behavior of the automated vehicle that is adapted to the uncertainties in the three scenarios. This requires a careful problem formulation, especially of the prediction models, which must be able to reflect the uncertainties. The proposed approach is analyzed in detail by simulations, including its planning performance under the three different scenarios. The proposed framework is also compared with existing planning algorithms, highlighting the advantages of explicitly incorporating uncertainty awareness. The results show that uncertainty-aware planning outperforms conventional approaches, especially in terms of safety, but also comfort, in the tested uncertain environments. However, since POMDPs are computationally very expensive, it is difficult to obtain a solution in reasonable time. Therefore, the second focus of this dissertation is on solver performance. To this end, the POMCP solver used is adapted and extended in several ways, including improved value estimation, more sophisticated exploration by Thompson Sampling, and parallelization to reduce runtime. Taken together, this results in substantial performance improvements in the scenarios tested, bringing POMDP planning closer to real-world application.
description: Diese Dissertation befasst sich mit der Anwendung von Planung unter Berücksichtigung von Unsicherheiten im Kontext des automatisierten Fahrens. Da sich die Technologie des automatisierten Fahrens ständig weiterentwickelt, ist es von entscheidender Bedeutung, Planungsalgorithmen zu entwickeln, die mit unsicheren und dynamischen Umgebungen umgehen können. Unsicherheiten können sich aus der Wahrnehmung ergeben, aufgrund begrenzter Sensorgenauigkeit und -reichweite, aber auch durch Verdeckungen - und durch unvorhersehbares Verhalten anderer Verkehrsteilnehmer. In dieser Arbeit wird ein Planungsframework vorgeschlagen, das die Unsicherheit in der Umgebung explizit berücksichtigt, indem das Problem als partiell einsehbarer Markov-Entscheidungsprozess (Partially Observable Markov Decision Process, POMDP) modelliert und mit state-of-the-art online sampling-basiertem Partially Observable Monte-Carlo Planning (POMCP) gelöst wird. Unter Verwendung desselben Frameworks werden drei verschiedene Szenarien mit zunehmender Komplexität behandelt: Ein unsicheres Hindernis, die Einfahrt in einen Kreisverkehr und das Fahren auf einer Autobahn; jedes repräsentiert unterschiedliche Quellen der Unsicherheit. Der erste Schwerpunkt dieser Dissertation ist es, ein an die Unsicherheiten angepasstes Verhalten des automatisierten Fahrzeugs in den drei Szenarien zu erreichen. Dies erfordert eine sorgfältige Problemformulierung, insbesondere der Vorhersagemodelle, die in der Lage sein müssen, die Unsicherheiten abzubilden. Der vorgeschlagene Ansatz wird im Detail mittels Simulationen analysiert, einschließlich seiner Planungsergebnisse in den drei verschiedenen Szenarien. Außerdem wird der vorgeschlagene Ansatz mit bestehenden Planungsalgorithmen verglichen, wobei die Vorteile der Berücksichtigung von Unsicherheiten hervorgehoben werden. Die Ergebnisse zeigen, dass eine Planung mit expliziter Berücksichtigung von Unsicherheiten konventionellen Ansätzen in den getesteten unsicheren Situationen überlegen ist, insbesondere in Bezug auf die Sicherheit, aber auch den Komfort. Da POMDPs jedoch sehr rechenintensiv sind, ist deren Lösung in angemessener Zeit schwierig. Daher liegt der zweite Schwerpunkt dieser Dissertation auf der Leistungsfähigkeit des Lösungsverfahrens. Zu diesem Zweck wird der verwendete POMCP-Solver in mehrfacher Hinsicht angepasst und erweitert, einschließlich einer verbesserten Werteabschätzung, einer verfeinerten Exploration durch Thompson-Sampling und einer Parallelisierung zur Reduzierung der Laufzeiten. Zusammengenommen führt dies zu einer erheblich verbesserten Leistung in den getesteten Szenarien und macht den Einsatz von POMDP-Planung in der Praxis greifbarer.