Deep Reinforcement Learning and Imitation Learning for Autonomous Parallel Parking
Creators: name: Αναγνωσταρά, Ιωάννα Μαρίνα Αθανασίου
Publisher: name: Aristotle University of Thessaloniki
Year: 2024
Subjects: Αυτόνομη οδήγηση
Βαθιά ενισχυτική μάθηση
Μάθηση μέσω μίμησης
Autonomous driving
Deep reinforcement learning
Imitation learning

description: In recent years, automation has been playing a significant role in reducing the need for human intervention across various tasks. In the automotive domain, advancements in technology have led to the development of advanced driver-assistance systems (ADAS), which enhance the autonomy of vehicles. The automotive landscape is witnessing a shift from hardware-centric to software-centric approaches in fully autonomous vehicles, projected to offer software updates as seamless and frequent as those found on smartphones. Within this transformative context, Autonomous Parking Systems (APS) emerge as a pivotal domain within the broader landscape of self-driving systems, facilitating vehicles’ seamless transition from traffic lanes to designated parking spots, encompassing parallel, perpendicular, or angled parking scenarios. As a fundamental function of ADAS and autonomous driving, APS revolutionizes the way vehicles perceive and interact with their surroundings. The advent of APS is particularly pivotal in addressing the intricate challenges of autonomous parallel parking. Vehicles must navigate limited spaces, achieve precise positioning within confined areas, and execute intricate maneuvers to ensure centimeter-level accuracy. In recent years, the swift advancements in Artificial Intelligence (AI) and Reinforcement Learning (RL) have significantly impacted autonomous driving, empowering vehicles to autonomously navigate and execute intricate maneuvers such as parallel parking. The self-learning capabilities of RL enable agents to adapt to complex scenarios and perform operations efficiently without relying on subjective human experience, introducing a new era of enhanced autonomy and precision in autonomous parallel parking systems. This thesis focuses on the development of a comprehensive autonomous parallel parking system, leveraging the capabilities of AI and RL. A sophisticated parking space detection algorithm is developed to accurately identify available parking spaces. Subsequently, three distinct approaches—Imitation Learning (IL), Deep Deterministic Policy Gradient (DDPG), and the hybrid DDPG-IL— are developed and thoroughly evaluated for maneuvering vehicles from traffic lanes to identified parking spaces. The CARLA Simulator serves as the testing ground for the autonomous parallel parking system, ensuring a thorough exploration of each approach's strengths and weaknesses.
description: Τα τελευταία χρόνια, η αυτοματοποίηση παίζει σημαντικό ρόλο στη μείωση της ανάγκης για ανθρώπινη παρέμβαση σε διάφορες εργασίες. Στον τομέα των οχημάτων, οι προηγμένες τεχνολογίες έχουν οδηγήσει στην ανάπτυξη προηγμένων συστημάτων υποβοήθησης οδήγησης (ADAS), τα οποία ενισχύουν την αυτονομία των οχημάτων. Ο κλάδος των οχημάτων βιώνει μια μετάβαση από μια προσέγγιση που επικεντρώνεται στο υλικό σε μια που επικεντρώνεται στο λογισμικό, όσον αφορά τα πλήρως αυτόνομα οχήματα, τα οποία αναμένεται να παρέχουν ενημερώσεις λογισμικού τόσο συχνές όσο αυτές που συναντώνται στα κινητά τηλέφωνα. Εντός αυτού του μετασχηματιστικού πλαισίου, τα Συστήματα Αυτόνομης Στάθμευσης (APS) εμφανίζονται ως ένας κρίσιμος τομέας εντός του ευρύτερου κλάδου των αυτόνομων συστημάτων οδήγησης, διευκολύνοντας την μετάβαση των οχημάτων από τις λωρίδες κυκλοφορίας στις θέσεις στάθμευσης. Ως μια θεμελιώδης λειτουργία της αυτόνομης οδήγησης, τα συστήματα αυτόνομης στάθμευσης επαναπροσδιορίζουν τον τρόπο με τον οποίο τα οχήματα αντιλαμβάνονται και αλληλοεπιδρούν με το περιβάλλον τους. Οι εξελίξεις στην Τεχνητή Νοημοσύνη και στην Ενισχυτική Μάθηση έχουν επηρεάσει σημαντικά την αυτόνομη οδήγηση, δίνοντας στα οχήματα τη δυνατότητα να πλοηγούνται αυτόνομα και να εκτελούν σύνθετες διαδικασίες όπως η παράλληλη στάθμευση. Οι δυνατότητες αυτό-εκπαίδευσης που προσφέρονται από την Ενισχυτική Μάθηση επιτρέπουν στα οχήματα να προσαρμόζονται σε πολύπλοκα περιβάλλοντα και να εκτελούν λειτουργίες αποτελεσματικά χωρίς να βασίζονται στην υποκειμενική ανθρώπινη εμπειρία, ανοίγοντας τον δρόμο για μια νέα εποχή αυτονομίας και ακρίβειας στα συστήματα αυτόνομης στάθμευσης. Η παρούσα μεταπτυχιακή διατριβή επικεντρώνεται στην ανάπτυξη ενός συστήματος αυτόνομης παράλληλης στάθμευσης, εκμεταλλευόμενη τις δυνατότητες της Τεχνητής Νοημοσύνης και της Ενισχυτικής Μάθησης. Αρχικά αναπτύσσεται ένας αλγόριθμος ανίχνευσης χώρων στάθμευσης και στην συνέχεια, αναπτύσσονται τρεις διακριτές προσεγγίσεις – Μάθηση μέσω Μίμησης, Βαθιά Ενισχυτική Μάθηση μέσω του αλγορίθμου Deep Deterministic Policy Gradient (DDPG) και η υβριδική DDPG-Μάθηση μέσω Μίμησης – και εξετάζονται εκτενώς για την καθοδήγηση των οχημάτων από τις λωρίδες κυκλοφορίας στους εντοπισμένους χώρους στάθμευσης. Ο προσομοιωτής CARLA λειτουργεί ως περιβάλλον δοκιμών για το σύστημα αυτόνομης παράλληλης στάθμευσης, εξασφαλίζοντας μια λεπτομερή εξερεύνηση των δυνατοτήτων και των αδυναμιών κάθε προσέγγισης.