Çalışma belleği ve negatif değerlikli duyguların EEG tabanlı kestirim sistemi
EEG based working memory and negative emotional valence estimation system
Yazar: BORA CEBECİ
Danışman: PROF. DR. AYDIN AKAN
İstanbul Üniversitesi-Cerrahpaşa / Lisansüstü Eğitim Enstitüsü / Biyomedikal Mühendisliği Ana Bilim Dalı / Biyomedikal Mühendisliği Bilim Dalı
Derece: Doktora, 2021
Konu: Biyomühendislik = Bioengineering ; Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
20.yy. son çeyreğinde yeni bir disiplin olarak ortaya çıkan bilişsel sinirbilim, beynin işleyişine dair önemli sonuçlar elde etmiş, zihinsel süreçleri açıklayıcı teoriler üretebilmiştir. Elde edilen bu başarılar ve son 20 yılda gelişen non-invazif fonksiyonel görüntüleme teknikleri ile birlikte beynin işleyişi üzerine çalışmalar hem oldukça hız kazanmış hem de popüler bir alan olmuştur. Sinirbilimin disiplinlerarası yapısı Beyin Bilgisayar Arayüzü (BBA) çalışmaları ile birlikte mühendislere beyin sinyallerinin tıp uygulamaları dışında da kullanılabileceği bir kapı açmıştır. Böylece makine kontrolü, iletişim, mental durum takibi, duygu kestirimi gibi çeşitli günlük işler için uygulamalar geliştirilmektedir. BBA uygulamaları ile insan makine etkileşimi, beyin sinyalleri aracılığıyla doğrudan bir iletişim sürecine evrilmektedir. Çalışmada, BBA'nın dolaylı bir kullanımı olan, kullanıcıya ekstra bellek yükü vermeyen pasif BBA türü uygulanmıştır. Bu tez çalışmasında, iki farklı karakteristikteki Elektroensefalogram (EEG) verisi ile karar verme süreçlerinde etkili olan mental iş yükü durumu ve duygu (emosyon) durumu kestirimi hedeflenmiştir. Analizde, bu iki EEG verisi için iki ayrı bileşen ayrıştırma yöntemi kullanılmış, öznitelik çıkarmada uzamsal ve zamansal olarak ayrıcı parametreler belirlenmiştir. Sınıflandırıcılar maliyet hassasiyeti gözetilerek, Yanlış-Artı Oranı'nı en düşük verecek şekilde eğitilmiştir.
Mental iş yükü durum kestirimi, çalışma belleği testi n-Geri paradigması kullanılarak kaydedilmiş veri kümesinin birey bazlı ve tek denemeli analizi ile yapılmıştır. N-Geri paradigması 2-geri bellek yükü ile çalıştırılmış ve katılımcının bu bellek yükü altında hızlı ve yavaş cevapları sınıflandırılmıştır. Çalışma belleği deneyleri ve kestirimleri literatürde daha çok hedef uyaran üzerinden yapılmaktadır. Bu çalışmada, gelen bilginin belleğe kaydedildiği süreç olan koşullayıcı uyaran kayıtları kullanılmış ve anlamlı başarı elde edilmiştir. Bileşen ayrıştırmada, veri uyumlu yapısıyla EEG gibi karmaşıklığı yüksek ve durağan olmayan sinyallere uygulanabilen, gerçek zamanlı kullanıma elverişli Çok Değişkenli Görgül Kip Ayrışımı yöntemi kullanılmıştır. Öznitelik seçiminde, Olaya İlişkin Potansiyel analizinde standart olarak kullanılan pozitif/negatif tepe noktaları yerine uyarana kenetli dinamik iki bölgenin RMS oran hesabı önerilmiştir. Birinci yöntemde zaman bölgesi dinamik olarak belirlenerek, EEG verisinin denemeler arası değişkenliğine uyumlu bir parametre oluşturulmaktadır. Tanımlanan ikinci öznitelik ile frontalden oksipitale ikili elektrotlar arası faz farkı değişimi hesaplanmaktadır. Özniteliklerde kullanılan eşik değerler de veriye güdümlü olarak belirlenmektedir. Veri kümesinde örnek adedinin az olmasından dolayı örnek arttırma yapılarak da sonuçlar çıkarılmış, ancak her iki veri kümesi ile de benzer sonuçlar elde edilmiştir. Koşullu uyaran verisinde DVM ve naive Bayes algoritmaları ile 0,13 standart sapma ile ortalama %79 doğruluk başarımı, 0,21 Yanlış-Artı Oranı, 0,50 ve üzeri kappa değerleri elde edilmiştir. Arttırılmış veri kümesi sınıflandırılması ortalama %78 doğruluk başarımı, 0,5 YA-Oranı, 0,46 üzerinde kappa değerleri vermektedir. Hedef uyaran analizinde de DVM ve naive Bayes sınıflandırıcılar ile ortalama %79 doğruluk oranı 0,10 standart sapma değeriyle, 0,2 YA-Oranı, ortalama 0,55 kappa değerinde elde edilmiştir.
Duygu durum kestiriminde, hem süregiden aktivite olarak hem de duygu tetikleme gücü yüksek olan film uyaranlı EEG verisi kullanılmıştır. Türk filmlerinden seçilmiş film parçaları katılımcının verdiği değerlik skorları üzerinden analize alınmıştır. Bu veri setinde kullanılan Bağımsız Bileşen Analizi metodundan uzamsal filtre görevi görecek şekilde yararlanılmıştır. Birey bazlı üretilen bağımsız bileşenlerin spektrogram sonucu üzerinden ayrıcı olan frekans bölgeleri öznitelik olarak seçilmiştir. Bireysel yapılan analizlerin sonuç ortalamaları, k-NN için 0,50 kappa katsayısında %85 doğruluk ve 0,10 YA-Oranı, ÇKA algoritması için 0,50 kappa katsayısında %84 doğruluk ve 0,05 YA-Oranı olarak elde edilmiştir. Bu sonuçlara göre Çok Katmanlı Algılayıcının daha düşük Yanlış-Artı hatası ürettiği bulunmuştur. 
Önerilen mental iş yükü ve negatif değerlik duygu kestirim sistemi, beyin sinyalleri aracılığıyla insan makine etkileşiminde güvenliği arttırmada ek, yeni bir parametre sunmaktadır. Başarılı sonuçlar sunan bu kestirim sistemi, bir ön kayıt ile kullanıcıya özgü öznitelikler tanımlandıktan sonra sistem kalibre edilerek mental ve duygusal durum takibi için uygundur. Çalışma hayatında verimsizliğe ve sağlık sorunlarına yol açan yorgunluk kestiriminde, makine kontrolü çalışmalarında ve güvenli karar verme süreçlerinde destek sistem olarak kullanılabilir.

Abstract:
In the last quarter of the 20th century, cognitive neuroscience emerged as a new discipline has achieved important results about brain functions and could have generated interpretive theories about cognitive processes. By means of this achieved successes and improving non-invasive functional monitoring techniques, studies on the brain functions have both gain momentum and become a popular field. Brain-computer interface (BCI) opened a new door to use Electroencephalogram (EEG) signals out of medical applications. In this way it can be able to develop applications for daily life such as machine controlling, communication, mental state monitoring, and emotion estimation. In this study, passive BCI which is an indirect usage of BCI without extra memory load, was studied and it was aimed to estimate mental workload state and emotion state, which are affecting making a decision, by EEG datasets with two different characteristics. There were used two decompositions methods for these EEG datasets. In feature extraction it was determined spatial and temporal discriminating parameters. Classifiers were trained by taking into account cost sensitivity for decreasing False-Positive (FP) Rate.
Mental workload state estimation was made by individually and single-trial analyzing of the dataset which was recorded with n-Back paradigm. N-Back paradigm was run with 2-back workload level and it was classified subject's fast and slow responses at this workload level. In literature, working memory experiments and estimations was made by using target stimulus. In this study, it was studied encoding stimulus records which are the process of encoding the knowledge and was achieved significant results. In the decomposition step, it was used empirical mode decomposition method which can be applied non-stationary and complex signals such as EEG signal, and is capable of real time usage. The RMS ratio of two dynamic regions which coupled with stimulus was proposed as a feature. General technic in the event-related potential analysis is using standard positive/negative peaks' values. By dynamical defining of temporal region provides an adaptive parameter for variability of EEG data between trials. The second defined feature is the change of phase difference between electrode couples from frontal to occipital. Threshold values used in calculation of features was defined data driven. An analysis was also made for data which was increased the sample size, because of the small dataset and it was obtained similar success level with this increased dataset. For the encoding stimulus dataset, SVM and naïve Bayes algorithms achieved an average accuracy of 79% with standard deviation 0.13, 0.21 of false positive rate and kappa value of 0.50 and above. The classification result for encoding increased dataset is 78% of accuracy, 0.5 false positive ratio and kappa value of 0.46 and above. For the target dataset, SVM and naïve Bayes algorithms achieved an average accuracy of 79% with 0.1 of standart deviation, 0.2 of false positive rate and above 0.55 of kappa value.
In the emotion estimation part of the analysis, it was used EEG recordings during film clips running which of advantages are capable of strong mood induction and spontaneous activity. The film clips chosen from Turkish films were analyzed according to ratings of subjects. Independent component analysis was applied as a spatial filtering method. The distinctive frequency bands in the spectrogram of independent component were chosen as a feature values. The average of subject specific analyzing results for k-NN (IBk-3) is 85% of accuracy, 0.10 FP-Rate with 0.50 kappa value, for multilayer perceptron is 84% of accuracy, 0.05 FP-Rate with 0.50 kappa value. According to these results, it has been found that classification with multilayer perceptron produces less FP-Rate score. 
The proposed system for mental workload and negative valence estimation by EEG signal offers a new parameter for increasing safety in human machine interaction. This estimation system is sufficient for mental and emotional state monitoring by calibrating the system after pre-recording to extract subject specific features. In the working life, this kind of system can be applied to detection of fatigue, which causes ineffectiveness and healthy issues, and to safe decision making during machine control.