Fatigue Detection Using Deep Long Short-Term Memory Autoencoders
Creators: name: Μπαλάσκας, Κωνσταντίνος Δημητρίου
Publisher: name: Aristotle University of Thessaloniki
Year: 2020
Subjects: Μηχανική Μάθηση
Ανίχνευση Κούρασης
Εξαγωγή Χαρακτηριστικών
Machine learning
Fatigue detection
Feature extraction

description: The aim of the particular thesis is detecting fatigue from runners' kinetic data, that have been acquired with IMU sensors, by the use of machine learning algorithms and specifically an LSTM Autoencoder. The kinetic data were gathered with the aid of accelerometers, gyroscopes and microcontrollers, embedded into IMU sensors on the cervical area and lower back of runners during a test of cardiovascular fatigue. The obtained measurements consisted of three-axes angular velocity, angular displacement (following a preprocessing stage) and total acceleration, organized in 18 variable datasets. The nature of an LSTM Autoencoder demands the use of overlapping time series subsequences as its input, which was accomplished with the use of a moving window algorithm. Networks of this variance are trained to recreate the input sequence by compressing or expanding the dimensionality of the training matrix, thus creating a meaningful representation at the point of highest reduction or expansion that can be extracted after the completion of the training procedure. Deep LSTM Autoencoders of three hidden layers were create along the lines of two opposite approaches: the undercomplete (compression) and the overcomplete (expansion) LSTM Autoencoder. While the former has been extensively researched and showcased for its feature learning abilities, the latter's abilities have not been fully discovered. Our novel feature learning approach with the overcomplete LSTM Autoencoder required the enforcement of sparsity and contractivity constraints. For both approaches, the model's ability to extract substantial features was studied through three methodologies: exclusively extract temporal features or combine temporal and spectral information (with the use of FFT), either before or after the training procedure. The extracted features were intended for clustering by three separate clustering algorithms (KMeans, Agglomerative, DBSCAN) with the aim of emergence of clusters to code pre-fatigue and post-fatigue behaviour. Separation in time between the two states is recognized by the algorithm as the primal stage of fatigue. Both approaches performed admirably on the feature learning task by creating well separated clusters. The use of exclusively temporal features was favoured over the involvement of spectral information, as they would lead to a fatigue detection decision that corresponded to the first stage of respiratory fatigue, removing the ability of the model to predict that decision at an earlier stage, before it is manifested on the runner's cardiorespiratory system. The overcomplete approach was chosen to implement the finalized model, due to its slightly better performance and its ability to offer higher volume of information per feature to the clustering algorithms. The inference procedure was implementing by extracting the trained final model and replacing the unsupervised clustering algorithms with a supervised SVM classifier for the prediction stage. The model, despite its deliberately limited training with only a single runner's data, could identify and detect fatigue with acceptably high degree of confidence for 43% of the representative sample, showcasing the model's ability to generalize its findings to a limited but specific running mechanism. The thesis concludes with a detailed analysis of an online detection algorithm for implementation on a measuring device or an embedded system.
description: Στόχος της διπλωματικής εργασίας είναι ο εντοπισμός κούρασης από κινηματικά δεδομένα δρομέων με τη χρήση αλγορίθμων μηχανικής μάθησης, και συγκεκριμένα LSTM Autoencoder. Τα κινηματικά δεδομένα συλλέχθηκαν με τη χρήση επιταχυνσιομέτρων, γυροσκοπίων και μικροελεγκτών, ενσωματωμένα εντός αισθητήρων IMU τοποθετημένους στην αυχενική περιοχή και μέση των δρομέων κατά την διάρκεια ελέγχου καρδιοαναπνευστικής αντοχής. Οι μετρήσεις αποτελούνταν από τριαξονικές τιμές γωνιακής ταχύτητας, γωνιακής μετατόπισης (έπειτα από στάδια προεπεξεργασίας) και ολική επιτάχυνση, οργανωμένες σε σύνολο 18 μεταβλητών. Η φύση ενός LSTM Autonecoder απαιτεί την χρήση επικαλυπτόμενων, χρονικά προσδιορισμένων υπο-ακολουθιών ως εισόδους, γεγονός που υλοποιήθηκε με τη χρήση ενός αλγορίθμου κινουμένου παραθύρου. Νευρωνικά δίκτυα της μορφής αυτής εκπαιδεύονται με στόχο την ανακατασκευή της ακολουθίας εισόδου συμπιέζονται η επεκτείνοντας τις διαστάσεις των δεδομένων εκπαίδευσης, δημιουργώντας έτσι μία επουσιώδη αναπαράσταση στο σημείο μέγιστης ή ελάχιστης διάστασης, η οποία εξάγεται αφού εκπαιδευτεί το δίκτυο. Βαθιοί LSTM Autoencoders τριών κρυφών επιπέδων χρησιμοποιήθηκαν ακολουθώντας δύο προσεγγίσεις: συμπίεση και επέκταση. Ενώ η πρώτη έχει μελετηθεί εκτενώς στη βιβλιογραφία για τις ικανότητές της στην μάθηση χαρακτηριστικών, οι ικανότητες της δεύτερης στον κλάδο αυτό δεν έχουν αναδειχθεί. Η καινοτόμος προσέγγισή μας στην μάθηση χαρακτηριστικών με τον LSTM Autoencoder επέκτασης απαιτεί την επιβολή συγκεκριμένων περιορισμών (sparsity, contractivity). Η ικανότητα του μοντέλου να εξάγει επουσιώδη χαρακτηριστική μελετήθηκε και για τις δύο προσεγγίσεις κατά μήκος τριών αξόνων: με εξαγωγή αποκλειστικά χρονικών χαρακτηριστικών και με συνδυασμό χρονικών και φασματικών χαρακτηριστικών (μέσω αλγορίθμου FFT), είτε πριν ή μετά την διαδικασία εκπαίδευσης. Τα εξαγόμενα χαρακτηριστικά οδηγούνται σε τρεις αλγορίθμους ομαδοποίησης (KMeans, Agglomerative, DBSCAN) με στόχο την ανάδειξη ομάδων που θα κωδικοποιούν την συμπεριφορά πριν και μετά την εμφάνιση κούρασης. Ο διαχωρισμός μεταξύ των δύο καταστάσεων αναγνωρίζεται από τον αλγόριθμο ως το πρώιμο στάδιο της κινηματικής κούρασης. Αμφότερες οι προσεγγίσεις οδήγησαν σε επαρκώς διαχωρισμένες ομάδες με αξιόλογη απόδοση. Η εξάλειψη των φασματικών χαρακτηριστικών αποφασίστηκε λόγω της ανάδειξης μεταβολικής κούρασης από αυτά, αφαιρώντας τη δυνατότητα στο μοντέλο να προβλέψει τη κινηματική κούραση σε προγενέστερο επίπεδο, πριν εκδηλωθεί στο αναπνευστικό σύστημα του δρομέα. Η προσέγγιση επέκτασης προτιμήθηκε, χάρη στα βέλτιστα χαρακτηριστικά που δημιουργούσε και την δυνατότητα παροχής μεγαλύτερου όγκου δεδομένων στους αλγορίθμους ομαδοποίησης. Κατά τη διαδικασία γενίκευσης (inference) χρησιμοποιήθηκε μία βελτιστοποιημένη μορφή του συνόλου δεδομένων (13 μεταβλητές) και υλοποιήθηκε το τελικό μοντέλο, αφού αντικαταστάθηκαν οι μη-επιβλεπόμενοι αλγόριθμοι ομαδοποίησης με έναν επιβλεπόμενο ταξινομητή SVM. Το μοντέλο, παρά την στοχευμένη εκπαίδευσή του με δεδομένα ενός μόνο δρομέα, εντοπίζει την κούραση με αποδεκτή ακρίβεια στο 43% του αντιπροσωπευτικού δείγματος δρομέων, αναδεικνύοντας την ικανότητά του να γενικεύει τα αποτελέσματά του προς μία στοχευμένη αλλά ευρεία ομάδα μηχανισμών τρεξίματος. Η διπλωματική εργασία ολοκληρώνεται με την αναλυτική περιγραφή αλγορίθμου εντοπισμού κούρασης σε πραγματικό χρόνο από ενσωματωμένη συσκευή μέτρησης.