İki serbestlik dereceli hareket kontrolü için zihinsel görev sınıflandırma tabanlı beyin- bilgisayar arayüzü tasarımı
Mental task classification based brain-computer interface design for 2 dof movement control
Yazar: ÇAĞLAR UYULAN
Danışman: YRD. DOÇ. DR. TÜRKER TEKİN ERGÜZEL
Üsküdar Üniversitesi / Sağlık Bilimleri Enstitüsü / Nörobilim Ana Bilim Dalı
Derece: Yüksek Lisans, 2016
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Arayüzler = Interfaces ; Beyin = Brain ; Bilgisayar destekli iletişim = Computer aided communication ; Bilgisayar yazılımları = Computer softwares ; Bilgisayarlar = Computers ; Nöroloji = Neurology ; Öznitelik = Feature extraction ; Öznitelik çıkarma = Feature

Özet:
Bu tezde, bilgisayar ortamında oluşturulmuş bir nesnenin, alfabenin tersten sayılması,
küpün zihinsel olarak döndürülmesi, sağ el hareketini düşünülmesi, sol kol hareketinin
düşünülmesi ve matematiksel işlemlerin yapılması ile iki eksen üzerinde, sağ, sol,
yukarı ve aşağı yönlerde hareket etmesini sağlayan bir beyin-bilgisayar arayüzü
tasarlanmış ve bu beyin-bilgisayar arayüzü aracılığı ile gerçek-zamanda, verili
yörüngelerin takibi yapılmıştır.
Öncelikle, kullanıcıdan alınan EEG sinyalleri, Emotiv şirketi tarafından üretilen EPOC
kulaklığı ile gerçek-zamanlı olarak kaydedilmiştir. Başlık, beynin her iki
yarımküresinde yedişer adet olmak üzere toplam 14 kanal içermektedir. Kaydedilen bu
veriler Matlab ortamına aktarılıp sırasıyla filtreleme, öznitelik çıkartma, öznitelik
indirgeme, öznitelik seçimi, sınıflandırma ve kontrol sinyaline kodlama işlemlerinden
geçirilmiştir. Veriler kaydedilirken "Matlab&Simulink" ortamı ile etkileşen bir beyin-bilgisayar arayüzü olan "Simulink EEG Importer" programı kullanılmıştır. Bu sayede,
EPOC kulaklığından gelen, gerçek-zamanlı EEG verileri "Matlab&Simulink"
simülasyon modeline aktarılabilmektedir. Simulink bloğu, EEG datasını bir vektör
formatında almakta ve sonraki sinyal işleme aşamaları için Simulink ortamında
tutmaktadır. Örnekleme frekansı 128 Hz.'dir. Ham data, artefakların ve gürültülerin
ortadan kaldırılabilmesi için, öncelikle 50 Hz.'lik "bant durdurucu" filtreden, sonra da
0.5-45 Hz.'lik kesim frekanslarına sahip 6.dereceden "Butterworth bant-geçiren"
filtreden geçirilerek filtrelenmiştir.
Özniteliklerin çıkartılmasında, 7. seviyede "Daubechies-4" dalgacık fonksiyonu tabanlı
dalgacık paketi ayrıştırması ve "Symlet-2" dalgacık fonksiyonu tabanlı dalgacık filtre
bankası metotları uygulanmıştır. Çıkartılan özniteliklerin boyutu, temel bileşenler
analizi ile indirgenmiştir. Öznitelik vektörleri, geri yayılım algoritmasını kullanan, çok
katmanlı algılayıcı yapay sinir ağı ile sınıflandırılmıştır.
Zihinsel görevler gerçekleştirilirken, her bir zihinsel görev için 0-30 saniye aralığında
40 epokluk eğitim datası ve 10 epokluk test datası toplanmıştır. Daha sonra bu veriler
1'er saniyelik parçalara bölünerek toplamda 14(sensörkanalı) × [4(görev) ∗
40(epok) ∗ 31(saniye)] eğitim veri matrisi ve 14(sensörkanalı) × [4(görev) ∗
10(epok) ∗ 31(saniye)] test veri matrisi elde edilmiştir.
Yapay sinir ağı için seçilmiş parametreler; 190 nöronlu 1 gizli katman, 0.03'lük
öğrenme oranı ve 0.2'lik momentum oranı, performans kriteri "mse" olarak belirlenmiş,
eğitim algoritması, "ölçekli paylaşım gradyanı" olarak seçilmiştir.
Eğitim seti örneğinin %60'ı eğitim, %20'si doğrulama ve %20'si de test için
kullanılmıştır. Bu sınıflandırma sonucunda, beyin-bilgisayar arayüzü yörünge takibi
kontrolü için giriş sinyalleri elde edilmiştir. Yörünge takibi kontrol stratejisi, "sağ-sol-yukarı-aşağı" yönlerde hiyerarşik olarak yapılmıştır. Deneysel testler, verilen referans yörüngenin takibini sağlayacak şekilde gerçekleştirilmiştir.
Dalgacık filtre bankası öznitelik çıkartma metodu ile gerçekleştirilen sınıflandırmada,
en iyi eğitim ve test veri kümeleri için, kapalı-çevrimde %89.6'lık, açık-çevrimde ise
%81.5'lik sınıflandırma doğruluğu elde edilmiştir.
Doğruluk değerini arttırmak için, parçacık sürü optimizasyonuna dayalı öznitelik seçimi
uygulanmıştır. Bunun sonucunda açık-çevrim sınıflandırma doğruluğu %82.94 ve
Kappa değeri 0.776 olarak elde edilmiştir. Beyin-bilgisayar arayüzü yörünge takibine
ilişkin rekognisyon performansı da 4 zihinsel görev için %81.38 olarak elde edilmiştir.
Çoklu zihinsel görev değiştirilmesine dayalı, gerçek-zamanlı yörünge takibine ilişkin
"normalize edilmiş hatanın karesinin ortalamasının karekökü" değeri, 0.2818 olarak
hesaplanmıştır. Ayrıca, çoklu zihinsel görev değiştirilmesi yolu ile, belirlenen hedeflere
ulaşılmıştır.

Abstract:
In this thesis, brain-computer interface, which controls the movement of an object
created in a software environment in two axis through right, left, up and down
directions via four mental tasks (reciting the alphabet backwards, imagination of
rotation of a cube/motor imagery of right hand movement, motor imagery of left arm
movement, performing mathematical operations) has designed and the trajectroy
tracking in real-time has been performed.
Primarily, EEG signals acquired from user was recorded with Emotiv-EPOC neuroheadset
in real-time. The headset consist of 14 electrode channel, which is located
equally in both of two hemisphere. The recorded data were transfered into the Matlab
environment and filtering, feature extraction, feature reduction, feature selection,
classification, decoding into control signal, processes have been realized, respectively.
While recording data, "Simulink EEG Importer" program, which interacts with the
"Matlab&Simulink" was used. By the help of this program, EEG data obtained from
EPOC neuro-headset can be directed real-time into the "Matlab&Simulink" simulation
model. The simulink model receives the EEG data in vector format and holds in
Simulink environment for later signal processing. The sampling frequency is 128 Hz.
The raw data has been filtered by using a bandstop filter with a 50 Hz. cut-off frequency
and a Butterworth bandpass filter with 0.5-45 Hz. cut-off frequency, in order to
eleminate artifacts and noise.
In feature extraction process, "Daubechies-4" wavelet function based seventh level
"Wavelet Packet Decomposition" and "Symlet-2" wavelet function based seventh level
"Wavelet Filter Bank" methods were applied. The dimensions of the extracted features
were reduced via Principal Component Analysis. The feature vectors have been
classified by using multilayer percepron neural network with back propagation
algorithm.
While performing mental tasks, 40 epoch training data and 10 epoch test data were
collected in 30 seconds for each epoch and mental task. After that, these data split up
into 1 second parts.
In total, 14(sensor channel) × [4(task) ∗ 40(epoch) ∗ 31(second)] training and
14(sensor channel) × [4(task) ∗ 10(epoch) ∗ 31(second)] test data matrices have
been obtained.
The selected parameters for artificial neural network are; 1 hidden layer with 190
neurons, 0.03 learning rate, 0.2 momentum rate, performance measure "mse", training
algorithm, "scaled conjugent gradient".
The training set were divided into 60% for training part, 20% for validation part, 20%
for test part. In consequence of this classification, the input signals to control the brain-computer interface were obtained.
The trajectory tracking control strategy was done in the "right-left-up-down" directions
hierarchically. Experiments have been performend in order to track the given reference
trajectory. Offline and online classification accuracies were obtained with wavelet filter
bank method for best training and test data set as 89,6%, 81.5%, respectively.
In order to increase the classification accuracy, Particle Swarm Optimization based
feature selection method was applied.
As a result of this process, online classification accuracy and Kappa value were
obtained as 82.94%, 0.776, respectively. The real-time recognition performance for BCI
related to the trajectory tracking for 4 mental task has been achieved as %81.38.
The normalized root mean square error value for the real-time trajectory tracking via
performing multi task switching, have been evaluated as 0.2818. It has been reached by
using multi-mental task switching to the desired targets.