Tensor signal modeling for high-dimensional deep learning systems
Authors: Γιαννόπουλος Μιχαήλ 
Published: August 2023

Η έκρηξη πληροφορίας που πυροδοτείται από τη δημιουργία μιας τεράστιας ποσότητας δεδομένων ανά πάσα στιγμή, οπουδήποτε στον κόσμο, υποδηλώνει ότι ζούμε σε μια εποχή κατακλυσμού δεδομένων. Αν και οι παραδοσιακές μέθοδοι μοντελοποίησης μέσω μητρών είναι συνήθως κατάλληλες για την επεξεργασία τους, όταν οι διαστάσεις των δεδομένων αυξάνονται ως άμεση απόρροια των πολυ-παραγοντικών μηχανισμών δημιουργίας τους, οι περιορισμοί τους γίνονται εμφανείς και μπορεί να ϑέσουν σε κίνδυνο την αποτελεσματική επεξεργασία τους. Ως εκ τούτου, απαιτείται ο σχεδιασμός σύγχρονων μεθόδων βασισμένων σε τανυστές ανώτερων διαστάσεων, ειδικά προσαρμοσμένων για την εκμετάλλευση των συσχετίσεων στις εγγενείς διαστάσεις των δεδομένων. Η κύρια συνεισφορά της παρούσας διατριβής είναι η ανάπτυξη ενός καινοτόμου πλαισίου για την επεξεργασία δεδομένων ανώτερων διαστάσεων, καθώς και η επίδειξη της πρακτικής χρησιμότητάς του σε εφαρμογές που άπτονται των τομέων της επεξεργασίας σήματος και της μηχανικής μάθησης. Στο πρώτο μέρος αυτής της διατριβής αρχικά παραθέτουμε τις ϑεμελιώδεις έννοιες της μοντελοποίησης και επεξεργασίας δεδομένων ανώτερων διαστάσεων, δηλαδή των τανυστών και των παραγοντοποιήσεών τους. Αυτές οι δομές επεξεργασίας ανώτερης τάξης κατέστησαν εφικτή τη μοντελοποίηση και τον αποτελεσματικό χειρισμό δεδομένων ανώτερων διαστάσεων σε πραγματικά προβλήματα. Συγκεκριμένα, υιοθετούμε προσεγγίσεις βασισμένες σε τανυστές για την αποτελεσματική απόδοση τιμών σε ελλιπείς μετρήσεις και τις συγκρίνουμε με προηγμένες τεχνικές που βασίζονται σε μήτρες, τόσο από την σκοπιά της επεξεργασίας σήματος όσο και από εκείνη της μηχανικής μάθησης, στο πλαίσιο του προβλήματος της εποπτευόμενης ταξινόμησης. Δείχνουμε ότι η χρήση δομών επεξεργασίας τανυστών ανώτερης τάξης παρουσιάζει εμφανή πλεονεκτήματα και επομένως η επεξεργασία δεδομένων ανώτερων διαστάσεων στις ονομαστικές τους διαστάσεις μπορεί να οδηγήσει σε σαφώς βελτιωμένα συστήματα.Δεδομένου ότι οι προσεγγίσεις βαθιάς μάθησης έχουν κυριαρχήσει στον τομέα της μηχανικής μάθησης, στο δεύτερο μέρος αυτής της διατριβής αρχικά αποσαφηνίζουμε τις ϑεωρητικές τους βάσεις προκειμένου να εξοικειωθούμε με τους κύριους μηχανισμούς επεξεργασίας τους. Επικεντρώνουμε την προσοχή μας στα συνελικτικά νευρωνικά δίκτυα, τα οποία είναι ειδικά προσαρμοσμένα για προβλήματα απεικόνισης, εξετάζοντας κάθε δομικό τους στοιχείο. Στη συνέχεια, ϑεωρούμε αρκετές εφαρμογές επιβλεπόμενης μάθησης κατώτερης τάξης στην περιοχή της επεξεργασίας σήματος, μοντελοποιώντας τα αντίστοιχα προβλήματα ως περιπτώσεις ταξινόμησης συνελικτικών νευρωνικών δικτύων χαμηλής τάξης. Δείχνουμε ότι τα χαμηλής τάξης συνελικτικά νευρωνικά δίκτυα παρουσιάζουν εξαιρετικές επιδόσεις καθώς η διάσταση των δεδομένων εισόδου τους αυξάνεται και, κατά συνέπεια, η επέκτασή τους για την αντιμετώπιση προβλημάτων επιβλεπόμενης μάθησης ανώτερης τάξης αξίζει να επιχειρηθεί. Συνδυάζοντας τη ϑεωρητική καθώς και την πρακτική γνώση που προέκυψε από τα προαναφερθέντα, το τελευταίο μέρος της παρούσας διατριβής εστιάζει στην επέκταση των συνελικτικών νευρωνικών δικτύων χαμηλής τάξης στα ανάλογα ανώτερης τάξης, προκειμένου να αντιμετωπιστούν αποτελεσματικά πρακτικά προβλήματα επιβλεπόμενης μάθησης ανώτερων διαστάσεων. Πιο συγκεκριμένα, εισάγουμε την έννοια των συνελικτικών νευρωνικών δικτύων N-διαστάσεων, επεκτείνοντας τη βασική έννοια της συνέλιξης στη γενική περίπτωση. Η αντίστοιχη επέκταση πραγματοποιείται μέσω παραγοντοποιήσεων τανυστών καθώς και σωρευμένων συνελίξεων, με τα πλεονεκτήματα και τα μειονεκτήματα κάθε μεθόδου να επισημαίνονται ως προς την ενσωμάτωσή της σε σύγχρονα συστήματα βαθιάς μάθησης. Αξιοποιώντας την σχεδιασμένη επέκταση της εν λόγω βασικής λειτουργίας, ακολούθως επαληθεύουμε την απόδοσή της σε διάφορες εφαρμογές επιβλεπόμενης μηχανικής μάθησης εγγενώς υψηλών διαστάσεων στον τομέα της τηλεπισκόπησης, που κυμαίνονται από ταξινόμηση έως παλινδρόμηση. Τα εξαχθέντα πειραματικά αποτελέσματα καταδεικνύουν ξεκάθαρα ότι η μοντελοποίηση σημάτων μέσω τανυστών σε συνδυασμό με αρχιτεκτονικές συνελικτικών νευρωνικών δικτύων προσφέρουν απτά πλεονεκτήματα προς την αποτελεσματική επεξεργασία και μάθηση δεδομένων ανώτερων διαστάσεων, στο πλαίσιο ανάπτυξης καινοτόμων συστημάτων βαθιάς μάθησης.