Görüntü verileri kullanılarak duygu analizi kestirimi
Emotion analysis estimation using image data
Yazar: GAMZE BALLIKAYA
Danışman: DR. ÖĞR. ÜYESİ DUYGU KAYA
Fırat Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı / Telekomünikasyon Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: Derin öğrenme = Deep learning ; Duygu analizi = Sentiment analysis ; Duygu ifadesi = Expressed emotion ; Evrişimli sinir ağları = Convolutional neural networks ; Makine öğrenmesi = Machine learning

Özet:
Görüntü verilerinden duygu durum tahmininin gerçekleştirilmesi ile güvenlik sistemleri, tıp dünyasında bazı hastalıkların erken teşhisi, insan-bilgisayar etkileşimi, güvenli sürüş gibi konularda kapsamlı uygulamaların geliştirilmesine olanak sunulmaktadır. Bu tez çalışmasında insanların yüz görüntülerinden duygu durumlarının tahmininin gerçekleştirilmesi amacıyla yüz ifade analizi sistemi önerilmiştir. Problemin çözümü için önerilen sistemde, veri kümeleri birleştirilerek modellerin eğitimi için kullanılan veri sayıları arttırılmıştır ve farklı modellerin veri kümeleri üzerinde gösterdikleri performanslar değerlendirilmiştir. Sistem; görüntülerden yüz bölgesinin çıkarılması, elde edilen yüz bölgelerine ait öznitelik vektörlerinin oluşturulması ve özniteliklerin sınıflandırılması olmak üzere 3 temel aşamadan meydana gelmektedir. 
Japon Kadın Yüz İfadesi (JAFFE) ve Genişletilmiş Cohn Kanade (CK+) veri setlerinin kullanıldığı bu çalışmada önce Çok Görevli Kademeli Evrişimsel Sinir Ağları (MTCNN) ile görüntülerdeki yüz bölgeleri çıkarılmıştır. Daha sonra AlexNet ve ResNet modelleri ile öznitelik vektörleri elde edilmiştir ve geleneksel makine öğrenmesi algoritmalarından olan K-En Yakın Komşuluk (KEK) ve Destek Vektör Makinası (DVM) algoritmaları ile sınıflandırılmıştır. Bu tez çalışmasında en yüksek performans iki veri setinin birleştirildiği durumda, AlexNet+DVM yöntemi ile %95,8 olarak elde edilmiştir.

Abstract:
With the realization of mood estimation from images, it is possible to develop comprehensive applications in subjects such as security systems, early diagnosis of certain diseases in the medical world, human-computer interaction, and safe driving. In this thesis, a facial expression analysis system is proposed in order to estimate the mood of people from facial images. In the system proposed to solve the problem, the data sets used for training the models were increased by combining the data sets and the performances of different models on the data sets were evaluated. The system consists of 3 basic stages; extracting the face region from the images, creating the feature vectors of the obtained face regions and classifying the features. 
In this study, in which Japanese Female Facial Expression (JAFFE) and Extended Cohn Kanade (CK+) datasets were used, facial regions in the images were first extracted with Multitask Convolutional Neural Networks (MTCNN). Then, feature vectors were obtained with AlexNet and ResNet models and classified with K-Nearest Neighborhood (KNN) and Support Vector Machine (SVM) algorithms, which are traditional machine learning algorithms. In this thesis, the highest performance was obtained with the AlexNet+SVM method as 95.8% when the two data sets were combined.