Machine learning approaches for time series problems
Authors: Ναλμπάντης Χριστόφορος 
Published: July 2022

Αυτή η διατριβή παρουσιάζει πρωτότυπη έρευνα στη διασταύρωση των περιοχών της μηχανικής μάθησης και των χρονοσειρών. Τα δεδομένα χρονοσειρών βρίσκονται παντού στη φύση ή στην καθημερινή μας ζωή. Κάθε ακολουθία δεδομένων όπου η σειρά από άποψη χρόνου έχει σημασία αποτελείται από μια χρονοσειρά. Αυτός ο τύπος δεδομένων έχει μοναδικές ιδιότητες. Τα δεδομένα χρονοσειρών προκύπτουν από τη δυναμική σύνθετων συστημάτων και είναι υψηλών διαστάσεων. Αυτές οι πτυχές αναδεικνύουν πολλές νέες προκλήσεις κατά την προσπάθεια εξαγωγής χρήσιμων πληροφοριών από δεδομένα χρονοσειρών χρησιμοποιώντας μεθόδους μηχανικής μάθησης. Εστιάζουμε τόσο σε πρακτικές όσο και σε θεωρητικές πτυχές των μεθόδων μηχανικής μάθησης όταν ασχολούμαστε με δεδομένα χρονοσειρών. Οι τρεις βασικοί πυλώνες της συνεισφοράς μας περιλαμβάνουν νέες αρχιτεκτονικές μηχανικής μάθησης, αναπαραστάσεις ενσωμάτωσης χρονοσειρών και σχεδιασμό μοντέλων βαθιάς μάθησης με βάση τις θεωρητικές αρχές της πληροφορίας. Οι ερευνητικοί μας στόχοι καθοδηγούνται από τρία κοινά προβλήματα χρονοσειρών, όπως ο διαχωρισμός τυφλών πηγών, η ταξινόμηση και η παλινδρόμηση. Οι τομείς των δεδομένων που χρησιμοποιούνται σε αυτό το έργο καλύπτουν ενέργεια, ομιλία και υγεία. Όσον αφορά τον πρώτο τομέα, επιλέξαμε το πρόβλημα της μη παρεμβατικής παρακολούθησης φορτίου (NILM). Από τον τομέα της ομιλίας τα προβλήματα που αντιμετωπίζονται είναι η ταξινόμηση εντολών ομιλίας και η αναγνώριση ομιλητή. Τέλος, στον τομέα της υγείας πραγματοποιήσαμε πειράματα σχετικά με ηλεκτροκαρδιογραφήματα εξόρυξης (ECGs) και εκτίμηση οστικής ηλικίας. Μία από τις πρώτες συνεισφορές μας είναι μια ολοκληρωμένη διερεύνηση των προαναφερθέντων πραγματικών προβλημάτων, όπου εντοπίσαμε ερευνητικές ευκαιρίες. Ο πρώτος πυλώνας των επιστημονικών μας συνεισφορών περιλαμβάνει νέες λύσεις μηχανικής εκμάθησης για το πρόβλημα του NILM. Προτείνουμε ένα νέο σύστημα μηχανικής μάθησης στοίβαξης, έναν μηχανισμό μάθησης μεταφοράς που χρησιμοποιεί τεχνικές απεικόνισης για χρονοσειρές και τρεις νέες νευρωνικές αρχιτεκτονικές. Οι μέθοδοί μας συγκρίνονται με τις υπάρχουσες και επιδεικνύουν αποτελέσματα αιχμής. Επιπλέον, αντιμετωπίζουμε διάφορα ζητήματα αξιολόγησης εισάγοντας νέα μέτρα/προσεγγίσεις αξιολόγησης και ανάπτυξη νέων πλαισίων αναφοράς. Η δεύτερη σημαντική συμβολή αυτής της έρευνας αφορά τις αναπαραστάσεις χρονοσειρών. Η αναπαράσταση χρονοσειρών είναι μια ενεργή ερευνητική κατεύθυνση τις τελευταίες δεκαετίες. Με την άνοδο του Διαδικτύου των πραγμάτων (IoT) και την έκρηξη δεδομένων χρονοσειρών από διάφορους αισθητήρες, είναι προφανές ότι είναι επιτακτική μία αποτελεσματική αναπαράσταση χωρίς απώλεια χρήσιμων πληροφοριών. Προτείνουμε μια νέα αναπαράσταση ενσωμάτωσης χρονοσειρών, που ονομάζεται Signal2Vec. Το Signal2Vec είναι μια μη εποπτευόμενη προσέγγιση για τη μετατροπή μιας δεδομένης χρονοσειράς σε διανύσματα. Ο προτεινόμενος αλγόριθμος συγκρίνεται με τις υπάρχουσες μεθόδους αναπαράστασης χρονοσειρών από τον τομέα της επεξεργασίας σήματος και της θεωρίας του χάους. Οι εργασίες αξιολόγησης είναι μια ταξινόμηση πολλών κατηγοριών ενεργειακών δεδομένων και το πρόβλημα του NILM το οποίο θεωρείται ως προσέγγιση ταξινόμησης πολλαπλών ετικετών. Το Signal2Vec ξεπερνά τις άλλες μεθόδους και επιδεικνύει αποτελέσματα τελευταίας τεχνολογίας στις προαναφερθείσες εργασίες. Η τρίτη επιστημονική μας προσθήκη αγγίζει δύο ερευνητικούς κλάδους, τη βαθιά μάθηση και τη θεωρία της πληροφορίας. Η θεωρία της πληροφορίας είναι ένα ισχυρό εργαλείο για τη μηχανική μάθηση από τα πρώτα βήματα του πεδίου. Σήμερα, οι αρχές της θεωρίας της πληροφορίας χρησιμοποιούνται για να γεφυρωθεί το χάσμα μεταξύ θεωρίας και πράξης στη βαθιά μάθηση. Παρά την επιτυχία της βαθιάς μάθησης σε πολλούς τομείς, ο σχεδιασμός τέτοιων μοντέλων βασίζεται στη διαδικασία της δοκιμής και του λάθους. Μια αυστηρή μαθηματική θεωρία υπερπαραμετροποιημένων μοντέλων εξακολουθεί να λείπει. Οι προσπάθειές μας επικεντρώνονται σε ένα δημοφιλές στοιχείο των σύγχρονων νευρωνικών αρχιτεκτονικών, που ονομάζεται pooling και περιλαμβάνει τόσο θεωρητικά όσο και εμπειρικά αποτελέσματα. Μελετάμε τις υπάρχουσες λειτουργίες pooling μέσα από το πρίσμα της θεωρίας πληροφοριών και προσπαθούμε να απαντήσουμε στο ερώτημα ποια συνάρτηση θα πρέπει να επιλεγεί κατά το σχεδιασμό ενός νέου νευρωνικού δικτύου με μια εργασία και ορισμένα δεδομένα. Στη συνέχεια, αναπτύσσουμε δύο νέες λειτουργίες pooling που βασίζονται στην αρχή της μέγιστης εντροπίας και στην αρχή της συμφόρησης πληροφορίας (IB). Τα θεωρητικά μας αποτελέσματα επαληθεύονται μέσω πειραμάτων. Οι προτεινόμενες μέθοδοι συγκρίνονται με άλλες και παρουσιάζουν ανώτερη απόδοση σε εργασίες ταξινόμησης και παλινδρόμησης, κατά την επίλυση προβλημάτων στους τομείς της ομιλίας και της υγείας. Αυτή η επιστημονική εργασία είναι ένα βήμα προς πιο αξιόπιστες και αποτελεσματικές μεθόδους μηχανικής μάθησης για προβλήματα χρονοσειρών. Ελπίζουμε ότι τα ευρήματά μας θα αποτελέσουν κίνητρο για τους μελλοντικούς ερευνητές και θα χρησιμεύσουν ως εργαλεία για μηχανικούς σε βιομηχανικές εφαρμογές υψηλού αντίκτυπου