Deep reinforcement learning and generative adversarial modeling in traffic applications
Authors: Σπαθάρης Χρήστος 
Published: July 2023

Η τεχνητή νοημοσύνη (ΤΝ) έχει επιφέρει σημαντικές αλλαγές σε διάφορους τομείς της καθημερινής ζωής, φέρνοντας επανάσταση στις αλληλεπιδράσεις ανθρώπου-μηχανής. Οι ευφυείς πράκτορες, που αποτελούν τα θεμελιώδη συστατικά των συστημάτων ΤΝ, έχουν την ικανότητα να αντιλαμβάνονται, να συλλογίζονται και να ενεργούν στο περιβάλλον τους για να επιτύχουν συγκεκριμένους στόχους. Από απλά συστήματα βασισμένα σε κανόνες μέχρι πολύπλοκα μοντέλα βαθιάς μάθησης, οι ευφυείς μπορούν να εκπαιδευτούν χρησιμοποιώντας μια ποικιλία τεχνικών μάθησης που εμπίπτουν στο ευρύτερο πεδίο της μηχανικής μάθησης. Ενα σημαντικό υποπεδίο της μηχανικής μάθησης που έχει αντλήσει σημαντική προσοχή, είναι η ενισχυτική μάθηση. Η ενισχυτική μάθηση επικεντρώνεται στην εκπαίδευση ευφυών πρακτόρων για τη λήψη διαδοχικών αποφάσεων αλληλεπιδρώντας με ένα περιβάλλον, αντλώντας έμπνευση από τη μάθηση δοκιμής και σφάλματος που παρατηρείται σε ανθρώπους και ζώα. Μια άλλη τεχνική μηχανικής μάθησης, γνωστή και ως μάθηση μέσω μίμησης, συνδυάζει την εποπτευόμενη μάθηση και τις αρχές της ενισχυτικής μάθησης μαθαίνοντας από τις επιδείξεις ειδικών.Η παρούσα διατριβή διερευνά την εφαρμογή τόσο των τεχνικών ενισχυτικής μάθησης όσο και αυτών της μάθησης μέσω μίμησης στο πλαίσιο των εφαρμογών κυκλοφορίας, αντιμετωπίζοντας τις σημαντικές προκλήσεις της (α) διαχείρισης συμφόρησης και (β) μοντελοποίησης τροχιάς. Οι εφαρμογές της κυκλοφορίας διαδραματίζουν ζωτικό ρόλο στη σύγχρονη κοινωνία, καθώς περιλαμβάνουν ένα ευρύ φάσμα συστημάτων και τεχνολογιών που αποσκοπούν στη διαχείριση και βελτιστοποίηση της συμπεριφοράς και της πλοήγησης των οχημάτων, συμπεριλαμβανομένων των διαφόρων τύπων μεταφοράς, όπως τα οχήματα εδάφους, τα οδικά συστήματα, τα εναέρια οχήματα και τα θαλάσσια σκάφη. Η συμφόρηση συμβαίνει όταν η ζήτηση για διαμοιραζόμενους πόρους υπερβαίνει την προσφορά, οδηγώντας σε μειωμένη αποτελεσματικότητα του συνολικού συστήματος. Η μοντελοποίηση της τροχιάς περιλαμβάνει την ανάλυση και την πρόβλεψη συμπεριφορών από ειδικούς με βάση ιστορικά δεδομένα παραδειγμάτων. Αυτές οι προκλήσεις δεν περιορίζονται στον τομέα της κυκλοφορίας, αλλά μπορούν επίσης να επεκταθούν και σε άλλους τομείς όπου προκύπτουν παρόμοια προβλήματα βελτιστοποίησης και λήψης αποφάσεων. Το παρόν διδακτορικό χωρίζεται σε τρία μέρη όπου μελετώνται τα ακόλουθα προβλήματα: (α) πλοήγηση αστικής κυκλοφορίας, (β) διαχείριση εναέριας κυκλοφορίας, και (γ) πρόβλεψη τροχιάς αεροσκαφών.Στο πρώτο μέρος, ο στόχος είναι να δημιουργηθούν αποτελεσματικά πολυπρακτορικά συστήματα για τον έλεγχο και την πλοήγηση στόλων οχημάτων σε μη σηματοδοτούμενα μεγάλης κλίμακας αστικά οδικά δίκτυα με σύνθετα σενάρια και θόρυβο. Με τη χρήση τεχνικών πολυπρακτορικής ενισχυτικής μάθησης, η μελέτη επιδιώκει να πλογήσει με ασφάλεια τα οχήματα, αποτρέποντας τις συγκρούσεις και ελαχιστοποιώντας τον χρόνο ταξιδιού. Η προτεινόμενη έρευνα συμβάλλει στην πρόοδο των ευφυών συστημάτων διαχείρισης της κυκλοφορίας με τη χρήση τεχνικών ενισχυτικής μάθησης για τη βελτιστοποίηση της ροής της κυκλοφορίας και τη μείωση της συμφόρησης στις αστικές περιοχές.Το δεύτερο μέρος επικεντρώνεται στην αντιμετώπιση των προβλημάτων συμφόρησης στον τομέα των αερομεταφορών, με ιδιαίτερη έμφαση στο πρόβλημα ισορροπίας μεταξύ ζήτησης και χωρητικότητας στην διαχείριση του εναέριας κυκλοφορίας. Χρησιμοποιώντας πολυπρακτορικά συστήματα ενισχυτικής μάθησης και αξιοποιώντας ιεραρχικές δομές, η μελέτη επιδιώκει να ελαχιστοποιήσει τις καθυστερήσεις των πτήσεων, να βελτιστοποιήσει τη χρήση του εναέριου χώρου και να μειώσει την κατανάλωση καυσίμων και το λειτουργικό κόστος. Η συνεργατική συμπεριφορά των εμπλεκόμενων πτήσεων επιτρέπει την αποτελεσματικότερη χρήση του εναέριου χώρου και την ενίσχυση της συνολικής διαχείρισης του πολυπρακτορικού συστήματος.Το τελευταίο μέρος μελετά παραγωγικά μοντέλα μάθησης και τεχνικές μοντελοποίησης τροχιών στον εναέριο τομέα. Η πρόβλεψη τροχιάς είναι υψίστης σημασίας για τη διαχείριση της συμφόρησης και οι τεχνικές μάθησης μέσω μίμησης προσφέρουν μια πολλά υποσχόμενη προσέγγιση εκπαιδεύοντας πράκτορες με σκοπό να μιμηθούν τις συμπεριφορές των ειδικών. Η πολυτροπική μάθηση μέσω μίμησης μπορεί να ενισχύσει περαιτέρω την πρόβλεψη της τροχιάς, αναλύοντας διάφορα πρότυπα συμπεριφοράς που εμφανίζονται κατά την εκτέλεση των πτήσεων. Αξιοποιώντας τα δεδομένα των ειδικών και μοντελοποιώντας διαφορετικά μοτίβα, η προτεινόμενη προσέγγιση βελτιώνει την ακρίβεια και την ευρωστία των συστημάτων πρόβλεψης τροχιάς, οδηγώντας σε βελτιωμένη διαχείριση της εναέριας κυκλοφορίας, βελτιστοποιημένο σχεδιασμό διαδρομών και ασφαλέστερες και αποδοτικότερες πτήσεις.