EEG sinyalleri kullanılarak derin öğrenme yöntemiyle beyin klavyesi arayüzü tasarımı
Brain keyboard interface design with deep learning method using EEG signals
Yazar: MELİH DEMİR
Danışman: DOÇ. DR. MUSTAFA TOSUN
Kütahya Dumlupınar Üniversitesi / Lisansüstü Eğitim Enstitüsü / İleri Teknolojiler Ana Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Biyomühendislik = Bioengineering ; Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: Biyomedikal uygulamalar = Biomedical applications ; EEG =

Özet:
Beyin-bilgisayar arayüzü (BBA) çalışmaları yeni yönleriyle araştırmacıların ilgisini
çekmeye devam etmektedir. Beyin klavyesi olarak tanımlanan beyin sinyalleriyle harflerin
tahmin edilmesi önemli araştırma alanlarından biridir. Bu çalışmaların en önemli motivasyonu
dünya çapında çeşitli nedenlerle konuşamayan on milyonlarca insanın iletişim sorunlarına
çözüm bulmaktır. P300 ve Sabit Durum Görsel Uyarılmış Potansiyeller (SSVEP'ler) gibi EEG
sinyalleri çoğunlukla BBA'lara yönelik çalışmalarda kullanılmıştır. Ancak bireyler bu sinyalleri
alırken ışık gibi sürekli uyaranları içeren paradigmalara maruz kalmakta, bu durum zamanla
yorgunluğa yol açabilmekte ve uyaranlara dikkat etme performanslarını düşürebilmektedir.
Ayrıca bu sinyallerin alınması ve işlenmesi zaman alıcıdır. Bu çalışmada, bu sorunları çözmek
için EEG sinyallerini kullanan bir beyin klavyesinin tasarımı için önerilen dört paradigmanın
farklı EEG kanalları üzerindeki etkileri incelenmektedir. Bu paradigmalar, harfleri sadece hayal
etmek, harfleri dil hareket ettirerek ve dudaklar hareketsizken telaffuz etmek, harfleri sessiz
veya sesli olarak telaffuz etmek gibi koşullara dayanmaktadır. Paradigma kaynaklı beyin
sinyallerinin özellik vektörleri olarak EEG verilerinin 8-30 Hz frekans aralığındaki güç spektral
yoğunluğu (PSD) değerleri kullanılmıştır. Bu özellik vektörleri Uzun-kısa süreli bellek (LSTM),
Destek vektör makinesi (SVM) ve k-en yakın komşu (k-NN) algoritmaları ile sınıflandırılmıştır.
En yüksek doğruluk LSTM derin öğrenme algoritması ile elde edilmiştir. Bu en yüksek
doğruluk oranı %98,66 ile 13.kanala karşılık gelen O1 kanalında, dil ve dudak hareketleri ile
harflerin sesli telaffuzu ile yapılan kayıtlarda gerçekleşmiştir. Ayrıca 2. kanala karşılık gelen
AF4 elektrodunda ise, dil ve dudakların hareket ettiği harflerin sessizce telaffuz edildiği kayıt
koşulunda %97,88 doğruluk elde edilmiştir. Sonuç olarak, yenilikçi EEG kayıt paradigması ile
elde edilen sınıflandırma çıktısı, insan-makine etkileşiminde gelecekteki uygulamalar için umut
verici bir potansiyele sahiptir.

Abstract:
Brain-computer interface (BCI) studies continue to captivate researchers with new dimensions.
Predicting letters through brain signals, termed as a brain keyboard, stands out as a significant
research area. The primary motivation behind these studies is to address communication
challenges for millions of people worldwide who, for various reasons, cannot speak. EEG
signals, such as P300 and Steady-State Visual Evoked Potentials (SSVEPs), have been
commonly used in BCI research. However, individuals exposed to paradigms containing
continuous stimuli like light while receiving these signals may experience fatigue over time,
leading to a decline in attention to stimuli and performance. Additionally, acquiring and
processing these signals is time-consuming. This study explores the effects of four proposed
paradigms on different EEG channels for designing a brain keyboard using EEG signals to
address these challenges. The paradigms are based on conditions such as imagining letters,
moving the tongue and lips to pronounce letters while keeping them silent, and pronouncing
letters silently or aloud. Power spectral density (PSD) values in the 8-30 Hz frequency range of
EEG data serve as feature vectors for paradigm-induced brain signals. These feature vectors are
classified using Long Short-Term Memory (LSTM), Support Vector Machine (SVM), and k-
Nearest Neighbors (k-NN) algorithms. The highest accuracy is achieved with the LSTM deep
learning algorithm. The highest accuracy rate, 98.66%, is obtained in recordings involving the
pronunciation of letters through tongue and lip movements in the O1 channel corresponding to
the 13th channel. Furthermore, a 97.88% accuracy is achieved in recordings involving silent
pronunciation of letters with tongue and lip movements in the AF4 electrode corresponding to
the 2nd channel. In conclusion, the classification output obtained with the innovative EEG
recording paradigm holds promising potential for future applications in human-machine
interaction.