Deep Learning and Machine Learning Decoders of EEG during Hand Movements
Creators: name: Μάρκογλου, Δέσποινα Συμεών
Publisher: name: Aristotle University of Thessaloniki
Year: 2024
Subjects: Διεπαφή Ανθρώπου-Υπολογιστή
Ηλεκτροεγκεφαλογράφημα
Δίκτυα Μετασχηματιστών
Brain-Computer Interface (BCI)
EEG decoding
Transformer Networks

description: This study investigates advanced machine learning and deep learning methods for analyzing electroencephalographic (EEG) signals to improve the performance and reliability of Brain-Computer Interfaces (BCIs). Using the "Reach and Grasp movement dataset" from the "BNCI Horizon 2020" database, which includes EEG data from gel, wet, and dry recording systems, we explore the classification of two hand movements—palmar grasp and lateral grasp—along with the resting state. Six models were tested: three machine learning models (Bagged Tree, Gaussian SVM, Cosine KNN) and three deep learning models (Conformer, Robust CNN, Robust Conformer), with the Robust Conformer developed in this study to integrate features of CNN and transformer networks. CNNs in these models capture local data features, while transformers enhance the ability to learn long-term dependencies, contributing to the efficacy of EEG signal decoding. To evaluate model performance and generalizability, the Leave-One-Subject-Out (LOSO) method was used, training on data from all but one participant and testing on the excluded participant, iteratively repeated for each participant. Results showed that deep learning models outperformed machine learning models, with the Robust Conformer achieving the highest classification accuracy across all recording systems. The inclusion of transformers in the Robust Conformer was pivotal for enhancing classification accuracy, underscoring their value in EEG signal processing. This research advances BCI technology by developing a new deep learning model for effective EEG analysis, demonstrating the LOSO method’s effectiveness for generalization, and validating transformer networks as beneficial for EEG classification accuracy. The findings support the potential of these advancements to enable more sophisticated and reliable BCI systems for applications ranging from neurorehabilitation to assistive technologies.
description: Σκοπός της παρούσας εργασίας είναι η μελέτη προηγμένων μεθόδων μηχανικής και βαθιάς μάθησης για την ανάλυση ηλεκτροεγκεφαλογραφημάτων (EEG) με στόχο την ενίσχυση της αξιοπιστίας και της απόδοσης των Διεπαφών Ανθρώπου-Υπολογιστή (BCI). Για την ανάλυση χρησιμοποιήθηκε το σύνολο δεδομένων "Reach and Grasp movement" από τη βάση "BNCI Horizon 2020," το οποίο περιέχει σήματα EEG από τρία διαφορετικά συστήματα καταγραφής (γέλης, υγρό και ξηρό). Διερευνήθηκε η κατηγοριοποίηση δύο κινήσεων του χεριού—η παλαμιαία και η πλάγια λαβή—καθώς και η κατάσταση ηρεμίας, με χρήση έξι μοντέλων, εκ των οποίων τα τρία είναι μηχανικής μάθησης (Bagged Tree, Gaussian SVM, Cosine KNN) και τα υπόλοιπα τρία βαθιάς μάθησης (Conformer, Robust CNN, Robust Conformer). Το Robust Conformer, που αναπτύχθηκε στο πλαίσιο της παρούσας μελέτης, συνδυάζει Συνελικτικά Νευρωνικά Δίκτυα (CNN) και Δίκτυα Μετασχηματιστών (Transformer Networks), επιτρέποντας τον εντοπισμό τοπικών χαρακτηριστικών μέσω των CNN και την ανίχνευση μακροχρόνιων εξαρτήσεων μέσω των δικτύων μετασχηματιστών. Η αποδοτικότητα των μοντέλων αξιολογήθηκε με τη "Μέθοδο Αποκλεισμού ενός Συμμετέχοντα" (Leave-One-Subject-Out), όπου τα δεδομένα εκπαίδευσης περιλαμβάνουν όλες τις καταγραφές πλην μίας, η οποία χρησιμοποιείται για την επαλήθευση των αποτελεσμάτων. Η διαδικασία επαναλήφθηκε για κάθε συμμετέχοντα. Τα αποτελέσματα ανέδειξαν την υπεροχή των μοντέλων βαθιάς μάθησης έναντι των μοντέλων μηχανικής μάθησης, με το Robust Conformer να επιτυγχάνει τη μεγαλύτερη ακρίβεια σε όλες τις καταγραφές EEG. Η ενσωμάτωση δικτύων μετασχηματιστών συνέβαλε σημαντικά στη βελτίωση της ακρίβειας, αποδεικνύοντας την αξία τους στην αποκωδικοποίηση σημάτων EEG. Η μελέτη προάγει την ανάπτυξη νέων δικτύων βαθιάς μάθησης για αποδοτικότερη επεξεργασία εγκεφαλικών σημάτων, αξιολογεί την ικανότητα γενίκευσης μέσω της μεθόδου LOSO, και υποδεικνύει ότι τα δίκτυα μετασχηματιστών αποτελούν πολύτιμο εργαλείο για την ακριβέστερη κατηγοριοποίηση EEG, με σκοπό την ανάπτυξη εξελιγμένων BCI συστημάτων.