Adaptive optimization of intelligent agents
Authors: Μιχαηλίδης Παναγιώτης 
Published: May 2024

Στον σύγχρονο κόσμο των οικοσυστημάτων Διαδικτύου των Πραγμάτων (IoT), η πρόκληση του αποδοτικού ελέγχου παίζει κυρίαρχο ρόλο. Πολλές φορές, τα υφιστάμενα θεωρητικά και πρακτικά εργαλεία ελέγχου αδυνατούν να ανταπεξέλθουν στις δυναμικές ανάγκες των IoT εφαρμογών – ιδιαίτερα δε, εάν τα οικοσυστήματα IoT είναι μεγάλου εύρους. Αυτά τα οικοσυστήματα συχνά εμφανίζουν περίπλοκες δυναμικές, μεταβαλλόμενες στον χρόνο, και αυξημένη αβεβαιότητα - παράγοντες που επιδεινώνουν την πρόκληση του σχεδιασμού ελέγχου. Η δυναμική αυτή συμπεριφορά των IoT οικοσυστημάτων έχει ως αποτέλεσμα την παρεμπόδιση της εύρυθμης και βέλτιστής απόδοσης ελέγχου. Κατά αυτόν τον τρόπο τα συμβατικά εργαλεία ελέγχου δεν αποδίδουν κατάλληλα για ένα ευρύ φάσμα IoT εφαρμογών - ιδιαίτερα απέναντι στα μεγάλου εύρους και πολυπλοκότητας οικοσυστήματα. Κατά αυτόν τον τρόπο, στα πολύπλοκα οικοσυστήματα Διαδικτύου των Πραγμάτων (IoT), χρησιμοποιούνται συχνά αποκεντρωμένες πρακτικές ελέγχου, οι οποίες προσφέρουν αυξημένη ευελιξία, επιτρέποντας στα συστατικά τμήματα του συστήματος να λειτουργούν ανεξάρτητα, ανταποκρινόμενα σε τοπικές αλλαγές χωρίς την ανάγκη για κεντρική παρέμβαση. Αυτό μειώνει τον χρόνο αντίδρασης και αυξάνει την ανθεκτικότητα του συστήματος, καθώς τα προβλήματα σε ένα μέρος του δικτύου δεν επεκτείνονται απαραίτητα σε ολόκληρο το σύστημα. Επιπλέον, η αποκεντρωμένη προσέγγιση προσφέρει μεγαλύτερη ευελιξία, καθιστώντας ευκολότερη την προσθήκη ή αφαίρεση συσκευών στο δίκτυο χωρίς σημαντικές αναδιαμορφώσεις.Ο συνδυασμός μάλιστα, αποκεντρωμένων αλγορίθμων με την εκπαίδευση νευρωνικών δικτύων είναι δυνατόν να προσφέρει πολλαπλά θετικά απέναντι στον έλεγχο των σύνθετων IoT οικοσυστημάτων. Πρώτον, επιτρέπει την αυτόματη προσαρμογή των συστημάτων στις τοπικές συνθήκες, διασφαλίζοντας έτσι την αποδοτικότητα και την ακρίβεια των αποφάσεων ελέγχου. Δεύτερον, δίνει τη δυνατότητα για γρήγορη ενσωμάτωση καινοτόμων λύσεων και τεχνολογιών, καθώς τα νευρωνικά δίκτυα μπορούν να εκπαιδεύονται και να προσαρμόζονται δυναμικά. Τρίτον, η αποκεντρωμένη προσέγγιση αυξάνει την ανθεκτικότητα και την αξιοπιστία του συστήματος, καθώς τα προβλήματα σε ένα μέρος του δικτύου δεν επεκτείνονται απαραίτητα στο σύνολο. Κατά αυτόν τον τρόπο, η ικανότητα των νευρωνικών δικτύων να αντιμετωπίζουν πολύπλοκα και αβέβαια προβλήματα σε συνδυασμό με μια αποκεντρωμένη επεξεργασία θα μπορούσε να προσφέρει μια ισχυρή λύση για την αντιμετώπιση των προκλήσεων ελέγχου που συνοδεύουν τα σύνθετα IoT οικοσυστήματα. Ιδιαίτερα δε, εάν ήταν δυνατόν να εφαρμόσουμε πρακτικές εκπαίδευσης οι οποίες προϋποθέτουν ασύγχρονες ενημερώσεις μεταξύ των τμημάτων του Νευρωνικού Δικτύου – τα οποία αφορούν ξεχωριστά τμήματα του IoT οικοσυστήματος – θα αποτελούσε ιδανική λύση για περιβάλλοντα όπου οι συσκευές ενδέχεται να μην είναι πάντα συνδεδεμένες, να έχουν διαφορετικούς ρυθμούς επεξεργασίας – για παράδειγμα τα IoT οικοσυστήματα τα οποία βρίσκονται κατανεμημένα σε διαφορετική γεωγραφική θέση. Αυτός ο συνδυασμός αποκεντρωμένης εκπαίδευσης και ασύγχρονων ενημερώσεων θα μπορούσε να αποδώσει λύσεις σε προβλήματα ελέγχου που παραμένουν ανεπίλυτα με τις παραδοσιακές μεθόδους, όπως είναι η δυναμική προσαρμογή σε αλλαγές του περιβάλλοντος και η αντιμετώπιση αβεβαιοτήτων σε μεγάλη κλίμακα. Κατά αυτόν τον τρόπο, η παρούσα διατριβή, βασισμένη σε σύγχρονες/πρόσφατες ερευνητικές εξελίξεις, στοχεύει αρχικά στην αξιολόγηση κεντρικών και αποκεντρωμένων πρακτικών ελέγχου που βασίζονται στην πρωτότυπη αλγοριθμική του Αυτόματου Προσαρμοστικού Ελέγχου (Cognitive Adaptive Optimization: Centralized and Decentralized CAO) απέναντι σε σύνθετα συστήματα IoT σε σχέση με state-of-the-art αλγοριθμικές πρακτικές. Σε δεύτερη φάση, και με αφορμή τις CAO αποκεντρωμένες πρακτικές ελέγχου, στα πλαίσια της παρούσας διδακτορικής διατριβής εισάγεται και αξιολογείται ένας νέος Gradient-free αποκεντρωμένος αλγόριθμος που βασίζεται στην Decentralized CAO πρακτική, ο οποίος μπορείς να εκπαιδεύσει αποκεντρωμένα αλλά και ασύγχρονα τμήματα του νευρωνικού δικτύου (Neuro Distributed Cognitive Adaptive Optimization - ND-CAO). Συνεπακόλουθα, εισάγεται κι εξετάζεται η ασύγχρονη εκπαίδευση για την Gradient-free αποκεντρωμένη εκπαίδευση νευρωνικών δικτύων για πρώτη φορά στην διεθνή βιβλιογραφία, η οποία ανοίγει ανεξερεύνητους δρόμους στον τομέα της έρευνας για τα σύνθετα IoT συστήματα. Τα αλγοριθμικά εργαλεία που ελέγχθηκαν στην παρούσα διατριβή έχουν υποστεί εκτεταμένες δοκιμές και αξιολογήσεις σε πραγματικές - ή σχεδόν πραγματικές - εφαρμογές IoT, όπως οικίες, επαγγελματικά κτήρια μεγάλου εύρους, δίκτυα κυκλοφορίας οχημάτων, καθώς και στα προβλήματα καθοδήγησης σμήνους ρομποτικών συστημάτων (Centralized and Decentralized CAO). Επιπλέον, τα αλγοριθμικά εργαλεία που αναπτύχθηκαν για αποκεντρωμένη και ασύγχρονη εκπαίδευση νευρωνικών δικτύων, εφαρμόστηκαν σε πραγματικά προβλήματα εκπαίδευσης (ND-CAO). Η παρούσα εργασία μπορεί να διαχωριστεί στις παρακάτω θεματικές ενότητες: Εισαγωγή (Κεφάλαιο 1): περιγράφεται εκτενώς το προβλήματα του βέλτιστου ελέγχου απέναντι στα σύνθετα IoT οικοσυστήματα με ιδιαίτερη αναφορά στα non-convex προβλήματα για τις εφαρμογές βέλτιστου και προσαρμοστικού ελέγχου - τα οποία επίσης αφορούν την εκπαίδευση νευρωνικών δίκτυών (1.1). Στην συνέχεια της 1ης ενότητας περιγράφονται οι καθιερωμένες state-of-the-art πρακτικές ελέγχου οι οποίες εφαρμόζονται σε IoT οικοσυστήματα καθώς και οι καθιερωμένες state-of-the-art πρακτικές που εφαρμόζονται στην εκπαίδευση νευρωνικών δικτύων (1.2). Τέλος περιγράφεται η προσφορά της παρούσας ερευνητικής εργασίας απέναντι στα συγκεκριμένα πεδία βέλτιστου ελέγχου και εκπαίδευσης νευρωνικών δικτύων καθώς επίσης και οι δημοσιεύσεις που προέκυψαν στα πλαίσια της εκπόνησης της παρούσας διατριβής (1.3) Περιγραφή CAO-based Εργαλείων Βέλτιστου Ελέγχου και Εκπαίδευσης Νευρωνικών Δικτύων (Κεφάλαιο 2): περιγράφεται το έναυσμα για την δημιουργία του εκάστοτε CAO-based αλγοριθμικού εργαλείου ενώ αναλύεται λεπτομερώς η μαθηματική δομή των θεωρητικών εργαλείων: H Κεντρική και η Αποκεντρωμένη CAO-based μεθοδολογίες για βέλτιστο έλεγχο (2.1 & 2.2) Centralized and Decentralized CAO), καθώς και η Νευρο-Αποκεντρωμένη CAO-based μεθοδολογία για εκπαίδευση νευρωνικών δικτύων (2.3) (ND-CAO). Πειραματικές Διαδικασίες Ι - Εφαρμογές ΙοΤ Κεντρικών CAO-based εργαλείων (Κεφάλαιο 3): παρουσιάζονται τα αποτελέσματα από IoT εφαρμογές σε πραγματικές συνθήκες που διεξήχθησαν στα πλαίσια της αξιολόγησης των Κεντρικών CAO-based εργαλείων και αφορούσαν οικιακά κτήρια (3.1) Πειραματικές Διαδικασίες ΙΙ - Εφαρμογές ΙοΤ Αποκεντρωμένων CAO-based εργαλείων (Κεφάλαιο 4): παρουσιάζονται τα αποτελέσματα από προσομοιωμένες IoT εφαρμογές που διεξήχθησαν στα πλαίσια της αξιολόγησης των Αποκεντρωμένων CAO-based εργαλείων και αφορούσαν επαγγελματικά κτήρια (4.1), οδικά δίκτυα (4.2) και καθοδήγηση σμήνους ρομποτικών συστημάτων (4.3) Πειραματικές Διαδικασίες ΙΙΙ - Εφαρμογές Εκπαίδευσης Νευρωνικών Δικτύων μέσω Αποκεντρωμένων CAO-based εργαλείων (Κεφάλαιο 5): στην ενότητα αυτή παρουσιάζονται τα αποτελέσματα από εφαρμογές εκπαίδευσης Νευρωνικών Δικτύων με αποκεντρωμένο αλλά και με ασύγχρονο (5.1) τρόπο εκπαίδευσης που διεξήχθησαν στα πλαίσια της αξιολόγησης των Νευρο-Αποκεντρωμένων CAO-based εργαλείων.Γενικά Συμπεράσματα και Μελλοντική Έρευνα (Κεφάλαιο 6): στην ενότητα αυτή αναλύονται συγκεντρωτικά όλα τα παραπάνω αποτελέσματα και αξιολογείται η απόδοση των εργαλείων ελέγχου. Παράλληλα παρέχονται και η πιθανή μελλοντική έρευνα η οποία προκύπτει από την πρόχυσα διατριβήAnnex (Κεφάλαιο 7): στην ενότητα δίνονται οι βασικές state-of-the-art πρακτικές βελτιστοποίησης οι οποίες περιγράφονται περιληπτικά στο κυρίως κείμενοΒιβλιογραφία (Κεφάλαιο 8)