Κατασκευή Συστήματος Αυτόνομης Οδήγησης με Βαθιά Μάθησης
Creators: name: Κωστινούδης, Ευάγγελος Γεωργίου
Publisher: name: Aristotle University of Thessaloniki
Year: 2024
Subjects: Βαθιά Μάθηση
Ενισχυτική Μάθηση
Αυτόνομη Οδήγηση
Deep Learning
Reinforcement Learning
Autonomous Driving

description: Οι ραγδαίες εξελίξεις στην τεχνητή νοημοσύνη και τη μηχανική μάθηση έχουν ανοίξει το δρόμο για σημαντικές καινοτομίες στην τεχνολογία της αυτόνομης οδήγησης. Η παρούσα διπλωματική εργασία παρουσιάζει την ανάπτυξη ενός συστήματος αυτόνομης οδήγησης που χρησιμοποιεί μεθοδολογίες βαθιάς μάθησης, εστιάζοντας συγκεκριμένα στον συνδυασμό τεχνικών ενισχυτική μάθηση και τεχνικών επιβλεπομένης μάθησης. Στην παρούσα διπλωματική, αφομοιωθήκαμε κυρίως στην βελτίωση ενός μοντέλου μέσω ενισχυτικής μάθησης. Η διασφάλιση της σταθερότητας και της σύγκλισης των αλγορίθμων ενισχυτικής μάθησης μπορεί να είναι πολύπλοκη, ιδιαίτερα σε χώρους δράσης υψηλών διαστάσεων (όπως των εισόδων από κάμερες). Επίσης, ο σχεδιασμός αποτελεσματικών συναρτήσεων ανταμοιβής που καθοδηγούν τον πράκτορα προς επιθυμητές συμπεριφορές χωρίς ακούσιες συνέπειες είναι μια λεπτή και συχνά περίπλοκη διαδικασία. Τέλος, ένα μεγάλο πρόβλημα που προκύπτει από τον συνδυασμό των δύο τεχνικών μάθησης είναι η ικανότητα του συστήματος να μην ξεχνάει τις ικανότητες που έχει μάθει μέσω της επιβλεπομένης μάθησης. Ως προϋπάρχον μοντέλο χρησιμοποιήσαμε το μοντέλο CIL++ που είναι εκπαιδευμένο μέσω επιβλεπομένης μάθησης. Έπειτα, το μοντέλο αυτό βελτιώθηκε μέσω του αλγορίθμου Phasic policy gradient. Για να αντιμετωπιστεί το πρόβλημα της καταστροφικής λήθης, εισήχθησαν τεχνικές αντιμετώπισης του προβλήματος αυτού. Επίσης, εισήχθησαν και τεχνικές που βελτιώνουν την απόδοση και την δυνατότητα σύγκλισης του αλγορίθμου ενισχυτικής μάθησης. Τα αποτελέσματα της έρευνα που έγινε στη διπλωματική αυτή δείχνουν ότι η τεχνική του συνδυασμού της επιβλεπομένης μάθησης και της ενισχυτικής μάθησης παρέχει καλύτερα αποτελέσματα σε σχέση με την χρήση μόνο επιβλεπομένης μάθησης. Επίσης, από τα αποτελέσματα φαίνεται ότι η χρήση των τεχνικών που για να μην ξεχνάει ο πράκτορας τις ικανότητες που έμαθε μέσω της επιβλεπομένης μάθησης έχουν καθοριστική συνεισφορά στην ικανότητα του πράκτορα να μην ξεχνάει.
description: Rapid advances in artificial intelligence and machine learning have paved the way for major innovations in self-driving technology. This thesis presents the development of an autonomous driving system that uses deep learning methodologies, specifically focusing on the combination of reinforcement learning and supervised learning techniques. In this thesis, we mainly focused on improving a model through reinforcement learning. Ensuring the stability and convergence of reinforcement learning algorithms can be complex, especially in high-dimensional action spaces (such as camera input data). Also, designing effective reward functions that guide the agent toward desired behaviors without unintended consequences is a delicate and often complex process. Finally, a major problem arising from the combination of the two learning techniques is the ability of the system to avoid catastrophic forgetting. In the proposed methodology, we used the CIL++ model (which is trained with a supervised learning technique) as a prior model. Then, this model was improved through the Phasic policy gradient algorithm. To deal with the problem of catastrophic forgetting, techniques were introduced to deal with this problem. Also, techniques were introduced that improve the performance and convergence of the reinforcement learning algorithm. The results of the research done in this diploma show that the technique of combining supervised learning and reinforcement learning provides better results than using only supervised learning. Also, from the results it appears that the use of the techniques for the agent not to forget the skills learned through supervised learning have a decisive contribution to the agent's ability not to forget.