Multi-channel EMG pattern classification based on deep learning
Authors: Τσίγγανος Παναγιώτης 
Published: December 2021

Τα τελευταία χρόνια, ένα τεράστιο σύνολο δεδομένων που παράγονται από διάφορες εφαρμογές σε τομείς όπως τα κοινωνικά δίκτυα και η υγειονομική περίθαλψη έχουν ανοίξει το δρόμο για την ανάπτυξη μοντέλων μηχανικής μάθησης με υψηλή απόδοση. Η βαθιά μάθηση έχει μεταμορφώσει το πεδίο της ανάλυσης δεδομένων βελτιώνοντας δραματικά την ακρίβεια σε εφαρμογές ταξινόμησης και πρόβλεψης. Σε συνδυασμό με τις εξελίξεις στην ηλεκτρομυογραφία, συνέβαλε στην ανάπτυξη νέων εφαρμογών αναγνώρισης χειρονομιών και κινήσεων του χεριού, όπως διεπαφές ανθρώπου υπολογιστή, αναγνώριση νοηματικής γλώσσας, έλεγχο ρομποτικών συστημάτων και παιχνίδια φυσικής αποκατάστασης. Ο σκοπός αυτής της διατριβής είναι να αναπτύξει νέες μεθόδους για την ανάλυση των σημάτων ηλεκτρομυογραφίας με βάση τη βαθιά μάθηση για το πρόβλημα της αναγνώρισης χειρονομιών. Συγκεκριμένα, εστιάζουμε σε μεθόδους για την προετοιμασία δεδομένων και την ανάπτυξη μοντέλων υψηλής απόδοσης, ακόμη και όταν λίγα δεδομένα είναι διαθέσιμα. Τα σήματα ηλεκτρομυογραφίας ανήκουν γενικά στην κατηγορία των μονοδιάστατων χρονοσειρών, έχουν όμως πλούσιο συχνοτικό περιεχόμενο. Διάφορα σύνολα χαρακτηριστικών έχουν προταθεί στη βιβλιογραφία, ωστόσο, λόγω της στοχαστικής φύσης των σημάτων, η ακρίβεια της ταξινόμησης εξαρτάται από το συνδυασμό των χαρακτηριστικών και του ταξινομητή. Από την άλλη πλευρά, η εκπαίδευση των μοντέλων βαθιάς μάθησης μειώνει την προσπάθεια που απαιτείται για την εύρεση των κατάλληλων χαρακτηριστικών και του μοντέλου ταξινόμησης, ωστόσο απαιτείται ακόμη μια σωστή προεπεξεργασία των σημάτων. Ένα άλλο πρόβλημα είναι ότι οι διακυμάνσεις στη διάρκεια της χειρονομίας, στην τοποθέτηση του αισθητήρα και στη φυσιολογία των μυών απαιτούν συνεχή προσαρμογή των εκπαιδευμένων μοντέλων χρησιμοποιώντας νέα καταγεγραμμένα δεδομένα. Αρχικά, παρουσιάζονται οι σχετικές έννοιες και η βιβλιογραφία που αφορούν στο πρόβλημα της ταξινόμησης κινήσεων του χεριού με τεχνικές μηχανικής μάθησης. Η μελέτη του προβλήματος ξεκινά με ένα απλό συνελικτικό νευρωνικό δίκτυο που επιτρέπει τη διερεύνηση των σημαντικών παραμέτρων. Την είσοδο του μοντέλου αποτελούν εικόνες του σήματος που δημιουργούνται με τη μέθοδο των κυλιόμενων παραθύρων και έχουν διαστάσεις που εξαρτώνται από τη διάρκεια του παραθύρου και των αριθμό των αισθητήρων. Στη συνέχεια αναζητήθηκαν τεχνικές που να επιτρέπουν την καλύτερη μοντελοποίηση της χρονικής εξάρτησης των σημάτων. Η χρήση ακολουθιών φράκταλ και συγκεκριμένα της καμπύλης Χίλμπερτ επιτρέπει την αναδίπλωση μιας χρονοσειράς στον 2Δ χώρο διατηρώντας τη γειτνίαση των σημείων και επιτρέποντας το συσχετισμό μακρινών σημείων. Η εκπαίδευση νευρωνικών δικτύων με δεδομένα αυτής της μορφής οδηγεί σε σημαντική βελτίωση της ακρίβειας τους. Η σύγκριση με άλλες καμπύλες φράκταλ φανερώνει την βελτιωμένη απόδοση των νευρωνικών δικτύων που χρησιμοποιούν την καμπύλη Χίλμπερτ. Επιπλέον, παρουσιάζεται ένα συνελικτικό δίκτυο που επιτρέπει τη χρήση πολλαπλών επιπέδων της καμπύλης φράκταλ συμβάλλοντας στην εκπαίδευση μοντέλων με λιγότερες παραμέτρους χωρίς να επηρεάζεται αρνητικά η ακρίβεια. Ακολουθεί η μελέτη χρονικών συνελικτικών δικτύων τα οποία προτιμώνται για την καλύτερη απόδοση τους σε σχέση με τα αναδρομικά δίκτυα. Η ανάλυση των εξαγόμενων χαρακτηριστικών δείχνει την ικανότητα αυτών των δικτύων στη μοντελοποίηση χρονοσειρών. Για την ταξινόμηση χρησιμοποιείται ως τελευταίο στάδιο της αρχιτεκτονικής ένα επίπεδο προσοχής που συνοψίζει τα πιο σημαντικά χαρακτηριστικά του σήματος. Στη συνέχεια της διατριβής παρουσιάζεται η συστηματική μελέτη τεχνικών επαύξησης δεδομένων. Αρχικά, αναλύονται οι σχετικές μελέτες στη βιβλιογραφία που αφορούν την αύξηση δεδομένων χρονοσειρών καθώς και μοντέλα προσομοίωσης σημάτων ηλεκτρομυογραφίας. Από τις τεχνικές που βρέθηκαν στη βιβλιογραφία αξιολογούνται η πρόσθεση Γκαουσιανού θορύβου, η στρέβλωση του πλάτους του σήματος, καθώς και δύο τεχνικές που αφορούν στη δημιουργία τεχνητών σημάτων. Επίσης, γίνεται χρήση της αποσύνθεσης του σήματος με τη χρήση της αποσύνθεσης κυματίων, ενώ παρουσιάζονται τρεις διαφορετικοί τρόποι συνδυασμού των παραπάνω τεχνικών. Τόσο η ποιοτική όσο και η ποσοτική ανάλυση των αποτελεσμάτων σε δύο διαφορετικές βάσεις δεδομένων δείχνουν ότι αυτές οι μέθοδοι μπορούν να βελτιώσουν σημαντικά την αναγνώριση των κινήσεων. Έπειτα, εξετάζονται οι τεχνικές μεταφοράς μάθησης με σκοπό την ανάπτυξη μοντέλων ακόμα και όταν λίγα δεδομένα είναι διαθέσιμα. Αναπτύσσεται μια πειραματική διαδικασία για την αξιολόγηση της βελτιστοποίησης ταυτόχρονων εργασιών. Η υπόθεση που διερευνάται είναι εάν η χρήση βοηθητικών εργασιών, όπως η εκτίμηση της παραγόμενης δύναμης κατά την εκτέλεση των κινήσεων, μπορεί να βελτιώσει την κύρια εργασία που είναι η σωστή ταξινόμηση της κίνησης. Μια εναλλακτική μέθοδος είναι η προσαρμογή πεδίου. Συγκεκριμένα υποθέτουμε ότι ένα νευρωνικό δίκτυο εκπαιδευμένο για την ταξινόμηση των κινήσεων σε μία βάση δεδομένων μπορεί να εξάγει χαρακτηριστικά που να είναι χρήσιμα για την ταξινόμηση των κινήσεων μιας άλλης βάσης δεδομένων. Παράλληλα διερευνάται και η επίδραση της προεπεξεργασίας στην εκπαίδευση των μεταφερόμενων μοντέλων. Τα αποτελέσματα παρουσιάζουν σημαντική βελτίωση για το στάδιο προεπεξεργασίας που διατηρεί μόνο την ανερχόμενη φάση του σήματος, πράγμα που σημαίνει ότι γίνεται σωστή πρόβλεψη της εκτελούμενης κίνησης χρησιμοποιώντας ένα ποσοστό της διάρκειας του σήματος. Επιπλέον, διαφορές στην απόδοση εντοπίζονται μεταξύ των νευρωνικών δικτύων. Η διατριβή ολοκληρώνεται με την περίληψη των σημαντικών συμπερασμάτων καθώς και με προτάσεις για μελλοντική έρευνα.