Çok değişkenli sinyal işleme teknikleri kullanarak eeg ile duygu durum analizi
Emotion state analysis by using multivariate signal processing techniques via eeg signals
Yazar: PINAR ÖZEL
Danışman: PROF. DR. AYDIN AKAN
İstanbul Üniversitesi-Cerrahpaşa / Lisansüstü Eğitim Enstitüsü / Biyomedikal Mühendisliği Ana Bilim Dalı / Biyomedikal Mühendisliği Bilim Dalı
Derece: Doktora, 2019
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
Sinyal işleme yöntemlerini kullanarak duygu tespiti ve duygusal modellemede sınıflandırma süreci için kullanılacak optimum öznitelik kümesi elde etmek,  üzerinde yoğun olarak çalışılan bir konudur.  Son yıllarda Hilbert tabanlı Görgül Kip Ayrışımı yöntemi kullanılarak yapılan duygu durum analizi araştırmaları beyin bilgisayar arayüzü çalışmalarında önemli bir yer tutmaktadır. Daha yeni çalışmalarda ise Görgül Kip Ayrışımı (GKA) sonrası elde edilen özgül kip fonksiyonlarına uygulanan zaman, frekans, zaman-frekans bölgesindeki özniteliklerle sınıflandırmalar gerçekleştirilmiştir. Bu tezde, EEG sinyalleri yoluyla Görgül Kip Ayrışımı'nın çok değişkenli uzantısı kullanılarak elde edilen özgül kip fonksiyonlarına çoklu çözünürlük analizi ve senkrosıkıştırma yöntemi  uygulandıktan sonra elde edilen özniteliklerle sınıflandırmanın yapıldığı bir duygu durum analizi önerilmiştir. Ayrıca yöntemdeki mod karıştırma, ortogonalite gibi eksiklere çözüm olarak önerilen Gürültü Destekli Çok Değişkenli Görgül Kip Ayrışımı ve Adaptif Ortogonal Çok Değişkenli analiz yöntemleri de duygu durum analizi modeli olarak değerlendirilmiştir. Öte yandan,  Çok Değişkenli Senkrosıkıştırma Dönüşümü kompakt bir lokalize zaman-frekans temsilini oluşturmak için bir işlem sonrası tekniğidir. EEG sinyalleri kullanılarak Çok Değişkenli Senkrosıkıştırma Dönüşümü ile üç boyutlu duygusal durum sınıflandırması için bir yaklaşımı da tez çalışmasında önerilen diğer bir konudur. Ortak protokol oluşturması amacı ile ve önerilen yöntemlerle elde edilen öznitelikleri  DEAP veri setindeki genel olarak bütün katılımcıların  EEG sinyalleri kullanılarak, çıkış vektoru olarak öz-değerlendirme-anketi etiketleri, sınıflandırma sürecinde en yakın komşu sınıflandırıcı, karar ağacı, topluluk sınıflandırıcı, destek vektör makineleri kullanılarak duygusal durum sınıflandırmaları değerlendirilmiştir.

Abstract:
Emotion detection by utilizing signal processing methods and the optimum feature set to be used for the classification  process in emotional modelling is a is a challenging area. In recent years, utilizing Hilbert-based Empirical Mode Decomposition  for emotional state sensing researches attracted attention in the brain computer interfaces.  In more recent studies, models of emotional state recognition have been presented in which the classification is performed by utilizing the features obtained after applying the time, frequency, and time-frequency domain methods to intrinsic mode functions achieved by operating Empirical Mode Decomposition.  In this thesis,  an emotion recognition model is proposed in which the classification process of the features obtained after Multi-resolution Analysis and Synchrosqueezing methods are applied to the intrinsic mode functions obtained using the multivariate extension of the Empirical Mode Decomposition from EEG signals. Furthermore, Noise-assisted multivariate methods of empirical mode decomposition and Adaptive orthogonal multivariate method of it are also evaluated as an emotion analysis model as a solution of mod mixing and orthogonality problems of the intrinsic mode functions. On the other hand,  an approach for emotional state classification by the investigation of EEG signals via Multivariate Synchrosqueezing Transform is presented for a 3D dimensional emotion space because of the fact that Multivariate Synchrosqueezing Transform is a post-processing technique to compose a compact localized time-frequency representation yielding multivariate synchrosqueezing coefficients. For the purpose of setting  a common protocol for all proposed methods,  the features sets of all the  proposed methods in this thesis  are categorized using EEG signals of all participants in the DEAP dataset in the classification process in which self-evaluation questionnaire tags are used as output vectors and the nearest neigh-boring classifier, decision tree, ensemble classifier, support vector machines are used for classifiers.