Derin öğrenme kullanarak EEG tabanlı duygu tanıma
EEG-based emotion recognition using deep learning
Yazar: TUĞÇE KILIÇ
Danışman: PROF. DR. SERAL ÖZŞEN
Konya Teknik Üniversitesi / Lisansüstü Eğitim Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
Günümüzün en temel ihtiyaçlarından biri olan iletişimi destekleyen jest ve mimiklerin yanı sıra duyguları da görünür hale getirebilmek birçok alanda önem kazanmıştır. Duyguları ifade edebilmek sağlıklı veya hasta bireyler için önemli bir iletişim kaynağıdır. Yaşadıkları bazı sağlık durumlarından ötürü duygularını ifade etmekte güçlük çeken insanlar için duygu tanıma, yaşam koşullarını iyileştirmede oldukça önem arz etmektedir. Bu çalışmada beyinde oluşan dalgaların duygu tanıma için EEG sinyalleri incelenerek duygu durumları tespit edilebildiğinden derin öğrenme kullanarak duygu tanıma hedeflenmiştir. Makine öğrenmesi yöntemleriyle yapılan sınıflama, derin öğrenme algoritmaları ile yapılan sınıflama performansı bakımından geride kaldığından derin öğrenme yöntemi tercih edilmiştir. 
Bu tez çalışmasında Konya Teknik Üniversitesi Elektrik – Elektronik Mühendisliği ve Mimarlık bölümlerinde öğrenim gören 8 (mühendis: 4, mimar: 4) katılımcı yer almıştır. Açık kaynaklı yazılım paketi PsychoPy aracılığıyla deney düzeneği oluşturularak ikonik ve sıradan mimari yapıların duygu durumları üzerindeki etkilerini incelemek için katılımcılara bu mimari yapıların görüntüleri belirli ve eşit sürelerde izletilmiştir. Bu deney düzeneği uygulanırken EEG sinyalleri, 14 kanallı Emotiv EPOC X kablosuz EEG başlığı ile eş zamanlı olarak EmotivPro programında kaydedilmiştir. Kaydedilen ham EEG sinyallerine Butterworth filtre uygulandıktan sonra sinyallere normalizasyon işlemi yapılmıştır. Ardından zaman-frekans analizleri KZFD ve SDD mimar ve mühendis katılımcı gruplarına ayrı ayrı uygulanmıştır. Mimari uyarıcı görüntülerle oluşturulan bu veri seti, basit ESA modeli ile sınıflandırılmıştır. Sonuçta, KZFD analiz yöntemiyle mimar katılımcı grubunda yüksek sınıflama (validasyon) doğruluğuna 91,67% ulaşılmıştır.  Mühendis katılımcı grubunda ise KZFD analiz yöntemiyle 89.52% doğruluk ile sınıflandırılmıştır. SDD analizi ile yapılan sınıflama oranları, KZFD ile yapılan sınıflama oranlarından daha düşük oranda doğruluk üretmiştir. Yapılan bu çalışmayla mimari yapıların duygu durumları üzerinde etkisi olduğu incelenmiş olup EEG sinyalleri ile derin öğrenme kullanarak yüksek performans sonuçlarıyla gözlemlenmiştir.

Abstract:
It has gained importance in many areas to support communication, one of the most basic needs of today, and to make visible the extraordinary brightness of facial expressions. Simplifying emotions has important contact information for healthy or sick individuals. For people who have difficulty expressing emotions due to some health conditions they experience, emotion recognition is very important in their life capacities. Since emotional states can be detected by examining EEG treatment for emotion recognition of the waves occurring in the brain, emotion recognition is aimed using deep learning. The deep learning method was preferred because the classification made with machine learning methods was left behind in terms of classification performance with deep learning methods.
In this thesis study, 8 (engineer: 4, architect: 4)  participants studying at Konya Technical University Electrical - Electronics Engineering and Architecture departments took part. An experimental setup was created through the open source software package PsychoPy, and participants were shown images of these architectural structures for certain and equal periods of time to examine the effects of iconic and ordinary architectural structures on emotional states. While applying this experimental setup, EEG signals were recorded simultaneously in the EmotivPro program with the 14-channel Emotiv EPOC X wireless EEG headset. After applying a Butterworth filter to the recorded raw EEG signals, the signals were normalized. Then, time-frequency analyzes were applied separately to STFT and CWT architect and engineer participant groups. This data set, created with architectural stimulus images, was classified with the simple CNN model. As a result, a high classification (validation) accuracy of 91.67% was achieved in the architect participant group with the STFT analysis method.  In the engineer participant group, it was classified with 89.52% accuracy by the STFT analysis method. Classification rates made with SDD analysis produced lower accuracy than classification rates made with KZFD. In this study, it was examined that architectural structures have an effect on emotional states, and high performance results were observed using EEG signals and deep learning.