Tanıdık ve tanımadık yüz uyaranları içeren EEG işaretlerinin derin öğrenme ile sınıflandırılması
Classification of EEG signals containing familiar and unfamiliar face stimulus using deep learning
Yazar: MELİKE ÖZMEN ARSLAN
Danışman: PROF. DR. HAMDİ MELİH SARAOĞLU
Kütahya Dumlupınar Üniversitesi / Lisansüstü Eğitim Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı / Elektronik Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: EEG =   ; Yüz tanıma = Face recognition

Özet:
İnsanlar, yüz tanıma konusunda yeteneklidir ve bir yüzü beyninde kolaylıkla 
tanıyabilir. Tanıdık ve tanımadık yüzleri ayırt etmek bazı zihinsel hastalıklar, güvenlik 
operasyonları ve adli soruşturmalarda araştırma konusu olarak kullanılabilir. Tanıdık bir 
yüzü tanımanın altında yatan nöral değişiklikler bilim insanlarının odak noktası olmuştur. 
Bu nöral değişiklikler Elektroensefalografi (EEG) sinyalleri ile izlenebilmektedir. EEG, 
kafa derisinden elektrotlar yardımıyla kaydedilen beyne ait elektriksel bir aktivitedir. 
Olaya İlişkin Potansiyeller (OİP) bir uyarana karşı EEG sinyalleri içerisinde oluşan 
tepkilerdir. Yüz tanıma esnasında beyinde OİP'ler oluşur.  
Bu çalışmada tanıdık ve tanımadık yüz uyaranlarına karşı oluşan EEG 
sinyallerindeki potansiyelleri yüksek doğruluk ile sınıflandırmak amaçlanmıştır. 
Çalışmada 35 sağlıklı katılımcıya gösterilmek üzere iki paradigma önerilmiştir. Tanıdık 
ve tanımadık yüz uyaran görüntüleri paradigma-1'de 1000 ms, paradigma-2'de 500 ms 
gösterilmiştir. Kaydedilen EEG sinyallerine sırasıyla ortalama referans yöntemi ile 
yeniden referans alma, EEG sinyallerinin filtrelenmesi, verilerin dönem aralıklarına 
bölünmesi işlemleri uygulanmıştır. Elde edilen tanıdık ve tanımadık yüz uyaran veri 
parçalarının grafikleri çizdirilip OİP'ler incelenmiş, O1 ve O2 kanallarında N250 
potansiyelleri görülmüştür. Elde edilen N250 potansiyellerinin sınıflandırılması için derin 
öğrenme algoritmalarından olan Çift Yönlü Uzun Kısa Süreli Bellek Ağı (ÇYUKSBA) 
kullanılmıştır. Sınıflandırma adımında veri seti %80 oranında eğitim ve %20 oranında 
test verisi olarak ayrılmıştır. Sonuçlar analiz edildiğinde O2 kanalı, paradigma-1'de 
%95,6 ve paradigma-2'de %96,7 sınıflandırma başarım oranı ile en yüksek doğruluk 
oranına ulaşmıştır.

Abstract:
People are skilled at facial recognition and can easily recognize a face in their 
brain. Distinguishing familiar and unfamiliar faces can be used as a research subject in 
some mental illnesses, security operations and criminal investigations. The neural 
changes underlying recognizing a familiar face have been the focus of scientists. These 
neural changes can be monitored with Electroencephalography (EEG) signals. EEG is an 
electrical activity of the brain recorded with the help of electrodes from the scalp. Event 
Related Potentials (ERP) are responses occurring within EEG signals to a stimulus. ERPs 
occur in the brain during face recognition. 
In this study, it was aimed to classify the potentials in EEG signals against familiar and 
unfamiliar face stimuli with high accuracy. Two paradigms were proposed to be 
demonstrated to 35 healthy participants. Familiar and unfamiliar face stimulus images 
were shown for 1000 ms in paradigm-1 and 500 ms in paradigm-2. Re-referencing the 
recorded EEG signals with the average reference method, filtering the EEG signals, and 
dividing the data into period intervals were applied respectively. Graphs of the obtained 
familiar and unfamiliar face stimulus data were drawn and ERPs were examined, and 
N250 potentials were observed in O1 and O2 channels. Bidirectional Long Short Term 
Memory Network (Bi-LSTM) which is one of the deep learning algorithms, was used to 
classify the obtained N250 potentials. In the classification step, the data set is divided into 
80% training data and 20% test data. When the results were analyzed, the O2 channel 
achieved the highest accuracy rate with a classification performance rate of 95.6% in 
paradigm-1 and 96.7% in paradigm-2.