Analysis and Innovation in Time Series Classification Algorithms and Methods: Towards a Superior Convolutional Algorithm with Feature Selection
Creators: name: Βέη, Σοφία Νικολάου
Publisher: name: Aristotle University of Thessaloniki
Year: 2024
Subjects: Κατηγοριοποίηση
Αλγόριθμος
Χρονοσειρές
Classification
Algorithm
Time Series

description: Time series classification is a dynamic subfield of machine learning with wide - ranging real-world applications, necessitating specialized approaches due to the temporal nature of the data. This thesis contributes to the ongoing evolution of time series classification methods by addressing key challenges and exploring innovative techniques. Drawing inspiration from a systematic literature review of the last decade, we set out to rigorously evaluate and compare the performance of a wide range of time series classification algorithms. Leveraging a diverse set of datasets, we comprehensively assess twenty-one - plus one new - predictors. Our evaluation incorporates various distinct performance evaluation measures, shedding light on the advantages, drawbacks, and optimal conditions for each model’s use. Expanding upon existing research, we introduce innovative classifiers designed to address the limitations of previous benchmark methods like 1NN - DTW, with which we compare all the models presented. in some cases, these specifically exhibit exceptional accuracy, remarkable speed, and robustness to noise, outperforming their predecessors by multiple orders of magnitude. Their low computational complexity and high classification accuracy render them a compelling choice for scenarios involving extensive time series data or real time analytics. Based on the results we produce, on the second part of the present thesis we introduce a new, convolution - based algorithm, ConvFS (Convolutional Feature Selection), which achieves an incredible balance between accuracy and time. Our approach exhibits the highest performance in terms of time complexity, due to the use of random kernels in combination with feature selection - a method which we first introduce in combination with convolutional classifiers - especially when taking into consideration that time series classifiers, especially deep-leaning models, possess increased time complexities. In conclusion, this thesis advances the field of time series classification by providing a comprehensive evaluation of algorithms and exploring deep time series classification, introducing additionally, a new model. Through our evaluations, we additionally contribute to providing insightful results for the baseline 1NN - DTW for all the datasets recently added to the UCR archive, which the current bibliography lacks. These contributions are poised to have a lasting impact on research and applications in this dynamic and evolving domain.
description: Η ταξινόμηση χρονοσειρών είναι ένα δυναμικό υποπεδίο της μηχανικής μάθησης με ευρύ φάσμα εφαρμογών στον πραγματικό κόσμο, που απαιτεί εξειδικευμένες προσεγγίσεις λόγω της χρονικής φύσης των δεδομένων. Η παρούσα διπλωματική εργασία συμβάλλει στη συνεχιζόμενη εξέλιξη των μεθόδων ταξινόμησης χρονοσειρών αντιμετωπίζοντας βασικές προκλήσεις και διερευνώντας καινοτόμες τεχνικές. Αντλώντας έμπνευση από μια συστηματική βιβλιογραφική ανασκόπηση της τελευταίας δεκαετίας, θέσαμε ως στόχο την αυστηρή αξιολόγηση και σύγκριση των επιδόσεων διαφόρων αλγορίθμων ταξινόμησης χρονοσειρών. Αξιοποιώντας ένα ποικίλο σύνολο συνόλων δεδομένων, αξιολογούμε διεξοδικά είκοσι ένα αλγορίθμους παραμετρικών μοντέλων, διαχωρίζοντάς τους σε κατηγορίες, προσθέτοντας σε αυτούς ένα δικό μας, εξελιγμένο μοντέλο ταξινόμησης. Στην ανάλυσή μας παρουσιάζουμε καινοτόμους ταξινομητές, που έχουν σχεδιαστεί για να αντιμετωπίσουν τους περιορισμούς προηγούμενων μεθόδων, όπως ο 1-NN DTW, με τον οποίο συγκρίνονται όλοι οι αλγόριθμοι που χρησιμοποιούμε. Αρκετοί από αυτούς παρουσιάζουν εξαιρετική ακρίβεια, αξιοσημείωτη ταχύτητα και ανθεκτικότητα στο θόρυβο, ξεπερνώντας τους προκατόχους τους κατά πολλές τάξεις μεγέθους. Η χαμηλή υπολογιστική πολυπλοκότητά τους και η υψηλή ακρίβεια ταξινόμησης τους καθιστούν επιτακτικές επιλογές για σενάρια που περιλαμβάνουν εκτεταμένα δεδομένα χρονοσειρών ή αναλύσεις σε πραγματικό χρόνο. Βασιζόμενοι στα αποτελέσματα που εξάγουμε, στο δεύτερο μέρος της παρούσας διπλωματικής εισάγουμε έναν νέο convolution αλγόριθμο, τον ConvFS (Convolutional Feature Selection), που επιτυγχάνει πρωτοφανή ισορροπία μεταξύ ακρίβειας και χρόνου. Η προσέγγισή μας πετυχαίνει τις υψηλότερες ταχύτητες μεταξύ των είκοσι-ένα υπόλοιπων αλγορίθμων ταυτόχρονα πετυχαίνοντας την ακρίβεια των State-of-the-Art αλγορίθμων, χάρη στη χρήση τυχαίων πυρήνων (random kernels) σε συνδυασμό με επιλογή χαρακτηριστικών (feature selection) - μέθοδος η οποία εισάγεται πρώτη φορά στη βιβλιογραφία σε convolutional αλγορίθμους - ειδικά όταν λαμβάνεται υπόψη ότι οι ταξινομητές χρονοσειρών, και κυρίως τα deep-learning μοντέλα, απαιτούν πολύ χρόνο. Συμπερασματικά, η παρούσα διπλωματική προάγει το πεδίο της ταξινόμησης χρονοσειρών παρέχοντας μια ολοκληρωμένη αξιολόγηση αλγορίθμων και με βάση αυτή καταλήγει στη δημιουργία ενός πιο σύγχρονου, γρήγορου και αποτελεσματικού μοντέλου. Μέσα από την αξιολόγηση των αλγορίθμων της βιβλιογραφίας και του ConvFS συνεισφέρουμε παράλληλα στη δημιουργία αποτελεσμάτων για τον 1ΝΝ - DTW που χρησιμοποιείται ως βάση για την ταξινόμηση χρονοσειρών στα τελευταία σύνολα δεδομένων του UCR. Οι παραπάνω συνεισφορές ελπίζουμε να έχουν επίδραση στην έρευνα και τις εφαρμογές σε αυτόν τον δυναμικό και εξελισσόμενο τομέα.