Makine öğrenmesi algoritmaları ile engellilere yönelik EEG işaretlerinin sınıflandırılması
Classification of EEG signals for the disabled with machine learning algorithms
Yazar: ALİ OSMAN SELVİ
Danışman: PROF. DR. ABDULLAH FERİKOĞLU
Sakarya Uygulamalı Bilimler Üniversitesi / Lisansüstü Eğitim Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2022
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: Arayüz programı = Interface program ; Elektroensefalografi = Electroencephalography ; Makine öğrenmesi = Machine learning ; Çoklu sinyal sınıflandırma = Multiple signal classificaton ; Öznitelik = Feature extraction ; İnsan-bilgisayar etkileşimi = Human-computer interaction

Özet:
EEG cihazları kolay erişilebilirlik ve düşük maliyetleri sebebiyle Beyin Bilgisayar Arayüzü (BBA) sistemlerinde sıklıkla tercih edilmektedir. BBA sistemleri beyin fonksiyonlarını yitirmemiş ancak Amyotrofik Lateral Skleroz, Lyme Hastalığı, Multiple Skleroz, beyin sapı felci veya ciddi omurilik yaralanması gibi kronik nöro-kas hastalıkları nedeniyle felç olan kişilerin düşünme ve odaklanma yeteneklerini kullanarak çevreleri ile iletişim kurmalarını sağlamak üzere tasarlanmaktadır. BBA sistemlerinin en önemli performas ölçütü yüksek sınıflandırma başarımı ve kullanıcıdan bilgisayar ortamına aktarılan dakikadaki bit oranı (Bilgi Transfer Oranı - BTO) ile ölçülmektedir. Performans ölçütlerinin başarımında, kullanılan uyaran paradigması, öznitelik çıkarım yöntemi ve sınıflandırıcı algoritması değişken oranlarda etkilidir. Tasarlanan BBA sistemlerinin bir çoğu çok sayıda uyaran ve tekrar yardımı ile yüksek oranda BTO performansı amaçlamaktadır. Bu dezavantajlı (engelli) bireylerin bu eğitim sürelerini başarılı tamamlamaları çok zordur. Bu tez çalışmasında, bireylerin temel gereksinimlerini temsil eden Doktor, Polis, İtfaiye ve Aile temalarını içerir Unity üzerinde hazırlanan 2x2 görsel uyarıcı matrisi katılımcılara gösterilmiştir. Emotiv EPOC+ cihazı ile toplanan EEG verilerinden 10 gönüllü katılımcının EEG verileri kullanılmıştır. Yüksek oranda BTO elde etmeye yönelik uyaranlar sabit sıra katılımcıya gösterilmiştir. Kayıt altına alınan EEG işaretlerinin işlenmesinde her bir uyaran bölümünde P300 işareti incelemesi yapmak yerine 4 uyaranı kapsayan işaretin tamamı bir bütün olarak incelenmiştir. Tasarlanan BBA sisteminin sınıflandırma başarımını arttırmaya yönelik Spektral Entropi ve Anlık Frekans Bileşeni  özniteliklerine öznitelik birleştirme işlemi uygulanmıştır. Sonuçlar Welch öznitelik çıkarım yöntemi ile karşılaştırılmıştır. Bu tez çalışmasında tasarlanan  BBA sistemi üzerinden elde edilen öznitelik verilerinin sınıflandırılması için Çift Yönlü Uzun Kısa Süreli Bellek Ağı (ÇYUKSBA) mimarisi önerilmiştir. Ayrıca önerilen sınıflandırma ağının başarım performansının kıyaslanmak için Tek Boyutlu Evrişimsel Sinir Ağları (TBESA) ve Destek Vektör Makinaları (DVM) ile de sınıflandırma işlemi gerçekleştirilmiştir. Sonuçlar analiz edildiğinde en yüksek sınıflandırma başarımına eğitim veri kümesi için %98.6, test veri kümesi için %96.9 olarak ÇYUKSBA'nın öznitelik birleştirme uygulanmış veriler ile ulaştığı görülmüştür. Tasarlanan BBA sistemi BTO performansı açısından incelendiğinde test veri kümesi için 40.4189 bit/dakika gibi yüksek bir değere ulaştığı görülmektedir. Elde edilen yüksek BTO değeri bu tez çalışmasında önerilen uyaran paradigması ve veri işleme tekniğinin engelli bireylere yönelik BBA çalışmalarına bir temel oluşturacağı ve katkı sunacağı öngörülmektedir.

Abstract:
EEG devices are frequently preferred in Brain Computer Interface (BCI) systems due to their easy accessibility and low cost. BCI systems are designed to enable people who have not lost their brain functions, but who are paralyzed due to chronic neuromuscular diseases such as amyotrophic lateral sclerosis, Lyme disease, Multiple Sclerosis, brain stem paralysis or severe spinal cord injury, to communicate with their environment by using their thinking and focusing abilities. The most important performance criterion of BCI systems is measured by high classification performance and bit rate per minute (Information Transfer Rate - ITR) transferred from the user to the computer environment. The stimulus paradigm, feature extraction method and classifier algorithm used are effective at varying rates for the performance criteria. Many of the designed BCI systems aim at high ITR performance with the help of multiple stimuli and repetitions. It is very difficult for disadvantaged (disabled) individuals to successfully complete these training periods. In this thesis, the 2x2 visual stimulus matrix prepared on Unity, which includes the themes of  Doctor, Police, Firefighter and Family, which represents the basic needs of individuals, is shown to the participants. EEG data of 10 volunteer participants were used from the EEG data collected with the Emotiv EPOC+ device. A fixed order of stimuli to achieve high ITR is shown to the participant. In the processing of the recorded EEG signals, instead of examining the P300 signal in each stimulus section, all the signals containing the 4 stimuli are examined completely. In order to increase the classification performance of the designed BCI system, feature fusion process is applied to Spectral Entropy and Instantaneous Frequency Component features. The results were compared with the Welch feature extraction method. In this thesis, Bidirectional Long Short Term Memory Network (Bi-LSTM) architecture, is proposed for the classification of feature data obtained through the designed BCI system. In addition, classification process was carried out with One-Dimensional Convolutional Neural Networks (1DCNN) and Support Vector Machines (SVM) to compare the performance of the proposed classification network. When the results are analyzed, it is seen that Bi-LSTM achieved the highest classification accuracy is achieved with 98.6% for the training dataset and 96.9% for the test dataset, with the data on which feature fusion is applied. When the designed BCI system is examined in terms of ITR performance, it is seen that it has reached a high value of 40.4189 bits/minute for the test dataset. It is predicted that the obtained high ITR value, the stimulus paradigm and data processing technique proposed in this thesis, could commence a basis and contribute to BCI studies for disabled individuals.