Supervised and unsupervised deep learning methodologies
Authors: Νούση Παρασκευή 
Published: May 2022

Τα τελευταία χρόνια, οι μέθοδοι Βαθιάς Μάθησης (ΒΜ) έχουν υπερτερήσει άλλων σε διάφορους τύπους προβλημάτων, συμπεριλαμβανομένης και της ταξινόμησης, ομαδοποίησης και παλινδρόμησης δεδομένων. Μέρος της επιτυχίας τους αποτελεί η εισαγωγή ολοένα και βαθύτερων αρχιτεκτονικών, οι οποίες έχει αποδειχτεί πως βελτιώνουν την απόδοση των μεθόδων αυτών σε τέτοιου είδους προβλήματα, με κόστος όμως σημαντική αύξηση στην υπολογιστική πολυπλοκότητά τους. Στην παρούσα διδακτορική διατριβή μελετήθηκαν διάφοροι μέθοδοι ΒΜ, υπό το πρίσμα της Επιβλεπόμενης αλλά και της Μη Επιβλεπόμενης Μάθησης, με απώτερο στόχο τη βελτίωση της απόδοσής τους, διατηρώντας το υπολογιστικό τους κόστος σε χαμηλά επίπεδα. Κίνητρο για τον περιορισμό αυτό αποτέλεσε αφενός η δημοτικότητα που γνώρισαν οι τεχνικές ΒΜ τα τελευταία χρόνια, καθότι εφαρμογές όπως η ανίχνευση και παρακολούθηση αντικειμένων, μεταξύ άλλων, βρίσκονται σχεδόν σε όλες τις σύγχρονες κινητές συσκευές. Αφετέρου, η έλευση των μη επανδρωμένων αεροσκαφών και άλλων ρομπότ, τα οποία μπορούν να υποστηρίξουν μόνο μικρές, ενσωματωμένες συσκευές στην παρούσα στιγμή, επηρέασε επίσης την επιλογή των αλγορίθμων που μελετήθηκαν στη συγκεκριμένη διατριβή. Αρχικά, προτάθηκε ένα γενικό πλαίσιο για διακριτική αυτοκωδικοποίηση, με στόχο την αντιμετώπιση προβλημάτων ταξινόμησης και ομαδοποίησης, χρησιμοποιώντας ελαφριά νευρωνικά δίκτυα. Προς αυτή την κατεύθυνση, διερευνήθηκαν οι Αυτοκωδικοποιητές και εισήχθησαν σε αυτούς διακριτικά κριτήρια υπό το γενικότερο πλαίσιο της Ένθεσης Γράφων. Προτάθηκε μια σειρά κριτηρίων με επίβλεψη από τις πραγματικές ετικέτες των δεδομένων και μη, και οι αναπαραστάσεις που έμαθε ο προτεινόμενος Διακριτικός Αυτοκωδικοποιητής υποβλήθηκαν σε αξιολόγηση σε πολλαπλά σύνολα δεδομένων, όπου και αποδείχτηκε πως είναι ικανός να εφαρμόσει τη γνώση του σε άγνωστα δεδομένα. Στη συνέχεια, μελετήθηκε το πρόβλημα της παρακολούθησης αντικειμένων, με στόχο την εφαρμογή των αντίστοιχων αλγορίθμων σε ενσωματωμένες συσκευές. Συγκεκριμένα, αναπτύχθηκε ένα γενικό πλαίσιο ταυτόχρονης ανίχνευσης και παρακολούθησης αντικειμένων, το οποίο υποστηρίζει οποιονδήποτε αλγόριθμο ανίχνευσης και, με σχεδόν μηδενικό κόστος, αυξάνει σημαντικά τις επιδόσεις του στη μακροπρόθεσμη παρακολούθηση αντικειμένων. Στο ίδιο πρόβλημα ακολουθώντας διαφορετική προσέγγιση, αναπτύχθηκε ένας αλγόριθμος παρακολούθησης αντικειμένων βασισμένος σε ιστογράμματα βαθιών συνελικτικών χαρακτηριστικών. Τα ιστογράμματα έχουν χρησιμοποιηθεί με σχετική επιτυχία στο πρόβλημα αυτό στο παρελθόν, και ο συνδυασμός ιστογραμμάτων και συνελικτικών χαρακτηριστικών αλλά και χαρακτηριστικών από διάφορα επίπεδα του δικτύου αποδείχθηκε πειραματικά ανώτερος από τις συγκρινόμενες μεθόδους. Στη συνέχεια, μελετήθηκε ξανά η χρήση μη επιβλεπόμενων αυτοκωδικοποιητών, αυτή τη φορά στο πεδίο της Αστροφυσικής, και συγκεκριμένα στο πρόβλημα της παρένθετης μοντελοποίησης βαρυτικών κυμάτων απο δυαδικά συστήματα μελανών οπών. Η χρήση των αυτοκωδικοποιητών μας οδήγησε στην ανακάλυψη μιας σπειροειδούς σχέσης μεταξύ των συντελεστών της παρένθετης μοντελοποίησης και των ανεξάρτητων μεταβλητών, την οποία και τυποποιήσαμε και εισάγαμε σε ελαφριά νευρωνικά δίκτυα τα οποία επέδειξαν βελτιωμένη απόδοση στο πρόβλημα παλινδρόμησης των συντελεστών. Τέλος, επιστρέφοντας στο πρόβλημα της ταξινόμησης, προτάθηκε η χρήση τεχνικών ένθεσης ετικετών, προκειμένου να ληφθεί υπόψη κατά τη διάρκεια της εκπαίδευσης η εγγενής ασάφεια που εμπεριέχεται σε σύνολα δεδομένων ταξινόμησης που χρησιμοποιούν δυαδικές ετικέτες για την κωδικοποίηση των κλάσεων. Προτάθηκε μία παραλλαγή που αφορά την ασάφεια μεταξύ κλάσεων και μία δεύτερη που αφορά την ασάφεια μεταξύ δειγμάτων, και αποδείχθηκε πως η προτεινόμενη μέθοδος διευκολύνει τη διαδικασία εκπαίδευσης και οδηγεί σε καλύτερη γενίκευση σε άγνωστα δείγματα.