Evrişimli sinir ağı modelleri kullanarak yüz ifadelerinden duygutespitinde optimizasyon yöntemlerinin performanskarşılaştırmaları
Comparisons of optimization methods in detecting emotion fromfacial expressions using convolutional neural network models
Yazar: BERRİN İŞLEK
Danışman: PROF. DR. HAMZA EROL
Mersin Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Derin öğrenme = Deep learning ; Evrişimli sinir ağları = Convolutional neural networks ; Optimizasyon = Optimization ; Sınıflandırma = Classification ; Yüz ifadesi = Facial expressions

Özet:
Bu tez çalışmasında, bir derin öğrenme yöntemi olan Evrişimli Sinir Ağı (CNN) modelleri
kullanarak yüz ifadelerinden duygu tespitinde optimizasyon yöntemlerinin performans karşılaştırılması
yapılmaktadır. Evrişimli sinir ağı modellerinden VGG16, VGG19 ve MobileNet modelleri
kullanılmaktadır. Optimizasyon yöntemi olarak Adagrad, Adadelta ve Stokastik Gradyan İnişi
(Stochastic Gradient Descent) kullanılmıştır. Veri seti olarak Ohio Eyalet Üniversitesi'ne ait Compound
Emotion (CE) tercih edilmektedir. Bu veri seti doğal duygu ile birlikte 22 duygu kategorisini
tanımlamaktadır. Veri seti karmaşık ve temel duyguları içermektedir. Bu çalışmada veri setindeki temel
duygular olan; mutlu, üzgün, şaşırmış, doğal, iğrenme, korkulu ve öfkeli duyguları üzerine
durulmaktadır. Bu veri setindeki örnek görüntüler 230 kişinin görüntülerinden oluşturulmuştur.
Böylelikle veri setindeki temel duygular 1610 görüntüden oluşmaktadır. Bu çalışmada, veri setini ve
sonuçları iyileştirmek için veri arttırma işlemi uygulanmaktadır. Bu işlem sonucunda toplam 5478
görüntü elde edilmektedir. Duygu veri setinin ve performans karşılaştırmalarında donanım desteği veren
Google Colaboratory (Colab) çalışma ortamı tercih edilmiştir. Kodlama işlemi Python programlama dili
kullanılarak yapılmıştır. Çalışma sonucunda, yüz ifadelerinin temel duygu tespitinde üç Evrişimli Sinir
Ağı modelinin üç optimizasyon yöntemindeki performans karşılaştırmaları yapılmaktadır. Duygular,
her model ve optimizasyon yöntemi için ayrı ayrı analiz edilmiştir. En başarılı tespit edilen duygular
belirlenmiştir. Modelde ve yöntemlerde iyi sonuç vermeyen duygular tespit edilmiştir. Modeller için en
uygun optimizasyon yöntemi değerlendirilmiştir.

Abstract:
In this thesis, a performance comparison of optimization methods in detecting emotion from
facial expressions is made by using Convolutional Neural Network (CNN) models, which is a deep
learning method. Among the convolutional neural network models, VGG16, VGG19 and MobileNet
models are used. Adagrad, Adadelta and Stochastic Gradient Descent (SGD) were used as optimization
methods. Compound Emotion (CE) from Ohio State University is preferred as the data set. This dataset
defines 22 emotion categories along with neutral emotion. The dataset contains compound and basic
emotions. In this study, the basic emotions in the data set are; happy, sad, surprised, natural, disgusted,
fearful and angry emotions are emphasized. The sample images in this dataset were created from images
of 230 people. Thus, the basic emotions in the dataset consist of 1610 images. In this study, data
augmentation is applied to improve the data set and results. As a result of this process, a total of 5478
images are obtained. The Google Colaboratory (Colab) working environment, which provides hardware
support, is preferred for the emotion data set and performance comparisons. The coding process was
done using the Python programming language. As a result of the study, performance comparisons of
three Convolutional Neural Network models in three optimization methods in basic emotion detection
of facial expressions are made. Emotions are analyzed separately for each model and optimization
method. The most successful detected emotions were determined. Emotions that did not give good
results were detected in the model and methods. The most appropriate optimization method for the
models was evaluated.