Yüz imgelerinden 2 boyutlu kip ayrışım yöntemleri kullanılarak duygu sezimi
Emotion detection using 2-dimensional mode decomposition methods from facial images
Yazar: SERKAN TÜZÜN
Danışman: PROF. DR. AYDIN AKAN
İstanbul Üniversitesi-Cerrahpaşa / Lisansüstü Eğitim Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2024
Konu: Bilim ve Teknoloji = Science and Technology ; Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: Bilgisayarlı görüntüleme = Computer imaging ; Görüntü sınıflandırma = Image classification ; Yüz görüntüsü = Face image ; Yüz ifadelerinden duyguları anlama = Emotion recognition ability

Özet:
İnsanlar kendileri ve çevreleriyle sürekli bir etkileşim ve iletişim içindedirler. Bu iletişim sadece sözlü olarak değil, jest ve mimikler aracılığıyla da gerçekleşir. İstemli veya istemsiz olarak sergilenen vücut hareketleri ve yüz ifadeleri, bireyin duygusal durumu hakkında önemli ipuçları taşır. Bu evrensel davranış örüntüleri, farklı kültürler arasında bile duyguları yansıtma konusunda ortak özellikler gösterir.

Duygu tanıma teknolojisinin gelişimi, toplum ve iş dünyası için büyük önem taşır. Özellikle perakende ve pazarlama alanında, müşterilerin duygu ve tercihlerini anlamak, ürünlerin daha etkili bir şekilde sunulmasını sağlar. Aynı zamanda, güvenlik ve eğitim gibi alanlarda da duygu tanıma sistemlerinin kullanımı giderek artmaktadır. Örneğin, eğitimde öğrencilerin yüz ifadelerinin analizi ile derslere olan ilgileri değerlendirilebilir, bu da öğrenme süreçlerinin iyileştirilmesine yardımcı olur.

Yüz ifadesi analizi ve duygu tanıma üzerine yapılan çalışmalar, geleneksel yöntemler ve derin öğrenmeye dayalı yöntemler olmak üzere iki ana kategori altında incelenebilir. Geleneksel yöntemler, öznitelik mühendisliği ve makine öğrenme yöntemleri ile sınıflandırma yaparken; derin öğrenmeye dayalı yöntemler, özellikle evrişimli sinir ağlarının kullanımıyla ön plana çıkmıştır.

Bu tez çalışmasında iki boyutlu yüz imgelerinden duygu tanıma probleminin çözümünde, kip ayrışım yöntemleri kullanımının getireceği üstünlükler irdelenmiştir. Yüz imgeleri sonlu sayıda kip ile temsil edilerek, önerilen yaklaşımda yüz imgesi yerine bu kipler kullanılmaktadır. Üç önemli iki boyutlu kip ayrışım yöntemi ele alınmıştır. İki Boyutlu Görgül Kip Ayrıştırma (BEMD), İki Boyutlu Değişken Kip Ayrıştırma (2D-VMD) ve Geometrik Kip Ayrıştırma (GMD) yöntemleri ile elde edilen kipler duygu tanımada belirleyici olan öznitelikleri elde etmek için kullanılmıştır.

BEMD, 2D-VMD ve GMD her biri birbirinden farklı avantajlara ve zorluklara sahiptir. BEMD, doğrusal olmayan ve durağan olmayan sinyalleri işlemede öne çıkarken, kip karışımı yaşayabilir. 2D-VMD, belirli frekans bantlarını izole etmede net bir avantaj sunarken, çeşitli veri setlerine uyum sağlamada sınırlı kalabilir. GMD, geometrik yapıları işlemede son derece etkili olmasına rağmen, daha genel görüntü işleme senaryolarında uygulanabilirliği sınırlı olabilir. 

Yüz imgelerinden duygu tanıma probleminin çözümünde, yüz imgesi yerine bu üç yöntemle elde edilen kiplerin kullanılmasının getirdiği katkılar, hem geleneksel makine öğrenme yöntemleri, hem de derin öğrenme yaklaşımları ile test edilerek elde edilen duygu kestirim sonuçları değerlendirilmiştir.

Abstract:
People are in interaction and communication with themselves and with people around them. This communication occurs not only verbally but also through gestures and facial expressions. Body movements and facial expressions, whether voluntary or involuntary, carry significant clues about an individual's emotional state. These universal behavioral patterns exhibit common characteristics across different cultures in reflecting emotions.

The development of emotion recognition technology holds significant importance for society and the business world. In particular, in the retail and marketing sectors, understanding customers' emotions and preferences enables more effective presentation of products. Additionally, the use of emotion recognition systems is increasing in areas such as security and education. For example, in education, analyzing students' facial expressions can assess their interest in lessons, aiding in the improvement of learning processes.

Studies on facial expression analysis and emotion recognition can be divided into two main categories: traditional methods and deep learning-based methods. While traditional methods perform classification by using feature engineering and machine learning methods, deep learning-based methods have come to the forefront, especially with the use of convolutional neural networks.

In this thesis, the advantages of using mode decomposition methods in solving the problem of emotion recognition from two-dimensional face images have been examined. Face images are represented by a finite number of modes, and these modes are used instead of face images in the proposed approach. Three important two-dimensional mode decomposition methods have been considered. The modes obtained by the Two-Dimensional Empirical Mode Decomposition (BEMD), Two-Dimensional Variable Mode Decomposition (2D-VMD) and Geometric Mode Decomposition (GMD) methods have been used to obtain the descriptive features that for emotion recognition.

BEMD, 2D-VMD and GMD each have different advantages and challenges. While BEMD stands out in processing nonlinear and nonstationary signals, it may experience mode mixing. While 2D-VMD offers a clear advantage in isolating certain frequency bands, it may be limited in adapting to various data sets. Although GMD is extremely effective in processing geometric structures, its applicability in more general image processing scenarios may be limited.

In solving the problem of emotion recognition from face images, the contributions of using the modes obtained with these three methods instead of face images were tested with both traditional machine learning methods and deep learning approaches, and the obtained emotion estimation results were evaluated.