Ανάπτυξη μεθόδων υπολογιστικής νοημοσύνης για την εκπαίδευση νευρωνικών δικτύων ακτινικής συνάρτησης βάσης με έμφαση σε προσαρμοστικές τεχνικές
Authors: Καραμιχαηλίδου Δέσποινα 
Published: November 2023

Σκοπός της παρούσας διδακτορικής διατριβής είναι η ανάπτυξη νέων μεθόδων υπολογιστικής νοημοσύνης, εστιάζοντας συγκεκριμένα στην ανάπτυξη νέων αλγορίθμων εκπαίδευσης για τα δίκτυα ακτινικής συνάρτησης βάσης (radial basis function, RBF). Πρωταρχικός στόχος της έρευνας είναι η αντιμετώπιση των προκλήσεων που σχετίζονται με τη μοντελοποίηση συστημάτων του πραγματικού κόσμου, τα οποία παρουσιάζουν περίπλοκες υπολογιστικές και στατιστικές δυσκολίες. Με την ενίσχυση συμβατικών και μη μεθόδων και την ενσωμάτωση νέων προσαρμοστικών αλγορίθμων, αυτή η έρευνα επιδιώκει να ενισχύσει περαιτέρω το υπάρχον σώμα γνώσεων γύρω από την εκπαίδευση δικτύων RBF με στόχο τη μοντελοποίηση πολύπλοκων συστημάτων. Αρχικά, στο πλαίσιο μοντελοποίησης χρονικά αναλλοίωτων συστημάτων αναπτύχθηκαν τρεις νέοι αλγόριθμοι εκπαίδευσης δικτύων RBF, προσφέροντας ξεχωριστά χαρακτηριστικά και πλεονεκτήματα. Η πρώτη μεθοδολογία βασίζεται στη χρήση συμβατικών τεχνικών βελτιστοποίησης και πιο συγκεκριμένα στον αλγόριθμο Levenberg-Marquardt (LM) σε συνδυασμό με τη μέθοδο προβολής μεταβλητής (variable projection, VP) ενώ βάση της μεθόδου αποτέλεσε ο αλγόριθμος των ασαφών μέσων (fuzzy means, FM). Εκτενής πειραματισμός σε σύνολα δεδομένων αναφοράς ανέδειξε την ικανότητα του αλγορίθμου να επιτυγχάνει υψηλή ακρίβεια σε σύντομο υπολογιστικό χρόνο σε σχέση με γνωστά μοντέλα και μεθόδους της βιβλιογραφίας. Οι άλλοι δύο αλγόριθμοι εκπαίδευσης βασίζονται σε μεθευρετικές (metaheuristic) μεθόδους βελτιστοποίησης και συγκεκριμένα στον αλγόριθμο αναζήτησης ταμπού (tabu search, TS) και της διαφορικής εξέλιξης (differential evolution, DE) σε δύο καινοτόμα συνδυαστικά πλαίσια με τον αλγορίθμο των μη συμμετρικών ασαφών μέσων (non symmetric fuzzy means, NSFM). Τα προτεινόμενα σχήματα εκπαίδευσης είναι σε θέση να διαχειρίζονται μεγάλα σύνολα δεδομένων σε σύντομο υπολογιστικό χρόνο και να παίρνουν υπόψη πολλές μεταβλητές εισόδου για την αποτελεσματική μοντελοποίηση συστημάτων. Η απόδοση των αλγορίθμων αξιολογήθηκε σε συστήματα του πραγματικού κόσμου και πιο συγκεκριμένα στη μοντελοποίηση καμπυλών ισχύος ανεμογεννητριών και στη μοντελοποίηση της παραγωγής βιοαερίου σε μια μονάδα επεξεργασίας βιομηχανικών λυμάτων, αντίστοιχα. Οι συγκριτικές αναλύσεις με άλλες υπάρχουσες μεθόδους ανέδειξαν την ανώτερη απόδοση των προτεινόμενων προσεγγίσεων ως προς τις ικανότητες μοντελοποίησης, επιτρέποντας επίσης και τον εντοπισμό πιθανών δυσλειτουργιών των μονάδων. Στον τομέα των προσαρμοστικών αλγορίθμων, μέσω της παρούσας διδακτορικής διατριβής αναπτύχθηκαν δύο νέοι αλγόριθμοι για τη μοντελοποίηση ροών δεδομένων. Ο πρώτος αλγόριθμος ενσωματώνει τον προσαρμοστικό αλγορίθμο FM με τις περιστροφές Givens, διαμορφώνοντας ένα νέο συνδυαστικό πλαίσιο FM-Givens. Η προσέγγιση αυτή διευκολύνει την αποτελεσματική συνεχή εκπαίδευση σε ροές δεδομένων μεγάλου όγκου και υψηλών διαστάσεων, όπως αποδεικνύεται από την εκτεταμένη πειραματική διαδικασία σε πραγματικά και τεχνητά σύνολα ροών δεδομένων. Αυτή η έρευνα ώθησε μεταγενέστερες μελέτες στον τομέα των προσαρμοστικών μεθόδων εκπαίδευσης για να ξεπεραστούν κάποια προβλήματα που συνεπάγονται από τη χρήση κλασικών ελαχίστων τετραγώνων. Συγκεκριμένα, ο δεύτερος αλγόριθμος που αναπτύχθηκε αφορά στην ενσωμάτωση ενός τροποποιημένου προβλήματος αναδρομικών ελάχιστων τετραγώνων (recursive least squares, RLS). Τα αποτελέσματα ανέδειξαν την υπεροχή του αλγορίθμου σε σύγκριση με γνωστές μεθόδους της βιβλιογραφίας ενώ σε σύγκριση με τον αλγόριθμο FM-Givens, τα πειραματικά αποτελέσματα έδειξαν ότι ο αλγόριθμος FM-RLS προσφέρει πολλά πλεονεκτήματα, συμπεριλαμβανομένου του χαμηλού υπολογιστικού κόστους και της αποδοτικότητας, τα οποία τον καθιστούν κατάλληλο για μεγάλα σύνολα δεδομένων και ροές δεδομένων. Μία ακόμα πρόκληση της παρούσας διδακτορικής διατριβής είναι να ξεπεράσει τις δυσκολίες που σχετίζονται με τη μοντελοποίηση μη γραμμικών χρονοσειρών με τη χρήση δικτύων RBF. Έτσι προτείνεται ένα νέο υβριδικό μοντέλο που συνδυάζει τα χαρακτηριστικά ενός μοντέλου αυτοπαλίνδρομου κινητού μέσου (autoregressive moving average, ARMA) με τα δίκτυα RBF. Για το νέο υβριδικό μοντέλο ARMA-RBF, αναπτύσσεται ένας νέος αλγόριθμος εκπαίδευσης δύο φάσεων που επιτρέπει τον αυτόματο προσδιορισμό της δομής και των παραμέτρων του δικτύου. Η έρευνα αποδεικνύει ότι η προτεινόμενη προσέγγιση εξασφαλίζει τη σύγκλιση των κέντρων και, επιπλέον, διατυπώνει τις απαιτούμενες προϋποθέσεις για την επίτευξη σύγκλισης των βαρών. Εκτεταμένες αξιολογήσεις σε σύνολα χρονοσειρών αναφοράς που πραγματοποιήθηκαν δείχνουν ότι το προτεινόμενο μοντέλο υπερτερεί των ανταγωνιστών του όσον αφορά την ακρίβεια μοντελοποίησης, ενώ παράλληλα επιτυγχάνει ταχύτερους υπολογιστικούς χρόνους σε σύγκριση με γνωστές μεθόδους τις βιβλιογραφίας. Τα ευρήματα της παρούσας έρευνας συμβάλλουν στην πρόοδο των τεχνικών μοντελοποίησης μη γραμμικών χρονοσειρών με τη χρήση δικτύων RBF, παρέχοντας μια πολλά υποσχόμενη προσέγγιση για την αντιμετώπιση προβλημάτων πρόβλεψης στον πραγματικό κόσμο. Τέλος, αυτή η διδακτορική διατριβή επικεντρώνεται και στην ανάπτυξη νέων μεθόδων ενισχυτικής μάθησης (reinforcement learning, RL) που βασίζονται σε πλήρως προσαρμοστικά δίκτυα RBF με πρωταρχικούς στόχους τη βελτίωση της ακρίβειας και τη μείωση της πολυπλοκότητας. Η αξιολόγηση των νέων τεχνικών ενισχυτικής μάθησης πραγματοποιείται χρησιμοποιώντας δύο συστήματα ελέγχου της αναφοράς, συγκεκριμένα ένα απλό εκκρεμές και ένα σύνθετο περιστροφικό ανάστροφο εκκρεμές (ΠΑΕ). Πρόκειται για δύο πολύπλοκα και μη γραμμικά συστήματα με κλιμακωτή δυσκολία για τα οποία οι παραδοσιακές μέθοδοι ελέγχου αντιμετωπίζουν προκλήσεις ελλείψει ακριβών μοντέλων. Στόχος και στα δύο συστήματα είναι η καθοδήγηση του εκκρεμούς στην άνω κατακόρυφη θέση μέσω πλήρους ελέγχου από έναν καινοτόμο αλγόριθμο ενισχυτικής μάθησης που βασίζεται σε προσαρμοστικά δίκτυα RBF. Τα ευρήματα της παρούσας έρευνας αναδεικνύουν την αποτελεσματικότητα του προτεινόμενου αλγορίθμου στα απαιτητικά συστήματα ελέγχου.