Beyin bilgisayar arayüzü sistemlerinde aynı uzuvdaki hareketlerin sınıflandırılması
Classification of movements in the same limb in brain computer interface systems
Yazar: CANSU HATIL
Danışman: DR. ÖĞR. ÜYESİ EDA AKMAN AYDIN
Gazi Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: Beyin-bilgisayar arayüzü = Brain-computer interface ; Evrişimli sinir ağları = Convolutional neural networks ; Uzamsal dikkat = Spatial attention

Özet:
Beyin Bilgisayar Arayüzü (BBA) insanlar ile bilgisayar gibi elektronik cihazlar arasındaki iletişimi sağlayan bir teknolojidir. BBA kullanıcılarına beynin normal çıkış yolları olan kas ve sinir hücrelerini kullanmadan doğrudan beyin aktivitesinin analizi ile çıkış birimlerinin kontrolünü sağlamaktadır. BBA kontrollü nöroportezler ya da robotik sistemlerin gerçek yaşamda kullanımının yaygınlaşabilmesi için serbestlik derecesinin arttırılması gerekmektedir. Bu ise, aynı uzuvda yüksek doğrulukla çözümlenebilen hareket sayısının arttırılması ile sağlanabilir. Harekete ilişkin kortikal potansiyeller (HİKP) ve ERD/ERS sinyalleri özellikle harekete dayalı BBA sistemlerinde yaygın olarak kullanılan sinyallerdir. ERD/ERS sinyalleri hareketin uygulanması ya da imgelenmesi (Mİ) sırasında oluşurken, HİKP hareket niyeti ile birlikte hareketin yaklaşık iki saniye öncesinde gözlemlenen sinyallerdir. Bu çalışmada, aynı uzuvda yüksek doğrulukla çözümlenebilen hareket sayısının arttırılması amaçlanmaktadır. Bu amaçla, bir Evrişimsel Sinir Ağı (ESA) modeli geliştirilmiş, geliştirilen ESA modeline uzamsal dikkat mekanizması eklenerek, modelin performansı üzerindeki etkisi incelenmiştir. Modelin giriş verisi olarak, 61 kanaldan kaydedilen EEG sinyallerinin skalogram görüntülerini içeren bir görüntü matrisi uygulanmıştır. Önerilen yöntemler, omurilik yaralanmalı 10 hastadan, aynı uzuvda beş farklı hareket sırasında toplanan EEG sinyallerini içeren bir veri kümesi üzerinde test edilmiştir. Önerilen ESA modeli kullanılarak 3 sınıflı HİKP sinyalleri ile ortalama %68,36 ve Mİ sinyalleri ile %78,57 doğruluk elde edilmiştir. Uzamsal dikkat modeli eklenmesi durumunda doğruluk oranlarının HİKP sinyallerinde %76,20 ve Mİ sinyallerinde %87,07'ye yükseldiği ortaya konmuştur. Hareket sayısının 5'e arttırılması durumunda, önerilen ESA modeli ile HİKP sinyallerinde ortalama %56,45 ve Mİ sinyallerinde ise ortalama %60,15 doğruluk oranlarına erişilmiştir. ESA modele, UDM'nin eklenmesi ile doğruluk oranlarının, HİKP sinyalleri için %71,58 ve Mİ sinyalleri için ise %74,38'e arttığı gözlemlenmiştir. Sonuç olarak, UDM'nin 3 ve 5 hareketin sınıflandırılmasında hem HİKP hem de Mİ sinyalleri için doğruluk oranlarını önemli derecede arttırmıştır. Bununla birlikte, HİKP'nin de aynı uzuvdaki çok sınıflı sınıflandırma problemlerinde yüksek doğruluklarla kullanılabileceği ortaya konmuştur.

Abstract:
Brain Computer Interface (BCI) is a technology that enables communication between people and electronic devices such as computers. BCI provides users with control of output units by directly analyzing brain activity without using the brain's normal output pathways, namely muscles and nerve cells. In order for BCI-controlled neuroprosthetics or robotic systems to be widely used in real life, the degree of freedom needs to be increased. This can be achieved by increasing the number of movements that can be resolved with high accuracy in the same limb. Movement-related cortical potentials (MRCP) and ERD/ERS signals are signals commonly used especially in movement-based BCI systems. While ERD/ERS signals occur during the implementation or imagery (MI) of the movement, MRCP are signals observed approximately two seconds before the movement together with the intention of movement. In this study, it is aimed to increase the number of movements that can be resolved with high accuracy in the same limb. For this purpose, a Convolutional Neural Network (CNN) model was developed, and the spatial attention mechanism was added to the developed ESA model and its effect on the performance of the model was investigated. An image matrix containing scalogram images of EEG signals recorded from 61 channels was applied as input data for the model. The proposed methods were tested on a dataset containing EEG signals collected from 10 patients with spinal cord injuries during five different movements of the same limb. Using the proposed ESA model, an average of 68,36% accuracy was achieved with 3-class MRCP signals and 78,57% with MI signals. It was revealed that the accuracy rates increased to 76,20% for MRCP signals and 87,07% for MI signals when the spatial attention model was added. When the number of movements was increased to 5, an average of 56,45% for MRCP signals and 60,15% for MI signals were achieved with the proposed ESA model. It was observed that the accuracy rates increased to 71,58% for MRCP signals and 74,38% for MI signals with the addition of UDM to the ESA model. As a result, UDM significantly increased the accuracy rates for both MRCP and MR signals in the classification of 3 and 5 movements. In addition, it was shown that MRCP can also be used with high accuracy in multi-class classification problems on the same limb.