Bulut tabanlı derin öğrenme modelleri kullanılarak insansı robotlarda duygu analizi
Analysis of emotion in humanoid robots using cloud–based deep learning models
Yazar: MUHAMMED COŞKUN IRMAK
Danışman: PROF. DR. ABDULSAMET HAŞILOĞLU
Atatürk Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2021
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Derin öğrenme = Deep learning ; Duygu analizi = Sentiment analysis ; Görüntü işleme = Image processing ; Görüntü işleme-bilgisayarlı = Image processing-computer assisted ; Makine öğrenmesi = Machine learning

Özet:
Amaç: Bu çalışmada, bir insansı robotun gözlerine yerleştirilen kameralar yardımıyla alınan görüntülerden, gerçek zamanlı olarak duygu analizi yapılması amaçlanmıştır. Aynı zamanda, yüz ifadelerinden, yedi temel duygunun (mutluluk, üzüntü, şaşkınlık, sinir, korku, iğrenme ve nötr) sınıflandırılması için yeni bir bulut tabanlı derin öğrenme modeli önerilmiş ve modelin geçerliliği test edilmiştir. 
Yöntem: Alınan görüntülerden duygu analizinin yapılabilmesi için yeni bir Derin Evrişimli Sinir Ağı (DESA) modeli önerilmiştir. Önerilen modelin eğitiminde FER-2013 ve MuxSpace görüntü kümeleri kullanılmıştır. Bu veri setlerindeki görüntü sayılarını artırmak amacıyla gönüllü katılımcılardan yüz görüntülerini alıp etiketleme işlemi yaparak ilgili klasörlere kaydeden harici bir yazılım geliştirilmiştir. Eğitilen modelin ağırlık dosyaları kullanılarak, gerçek zamanlı duygu analizi yapan bir program hazırlanmıştır. Önerilen modelin, eğitim ve test işlemleri ile gerçek zamanlı duygu analizi işlemleri, Google Colaboratory bulut ortamında, Python programlama diliyle gerçekleştirilmiştir. Tasarlanan insansı robotun, tespit edilen duygu ifadelerine karşılık, yapması gereken hareketleri belirleyebilmek amacıyla bir anket çalışması düzenlenmiştir.
Bulgular: Önerilen modelin eğitiminde FER-2013 veri seti kullanılarak %70 doğruluk değeri elde edilirken, yeni oluşturulan veri seti (FerMux+) ile doğruluk değeri %74'e yükseltilmiştir. Robot kafa hareketlerinin belirlenmesi için yapılan anket çalışmasında, katılımcılar; sinirli (%39,3), nötr (%43,7) ve şaşkınlık (%32,9) duyguları için ileri, üzüntü (%64,5) ve iğrenme (%27,5) duyguları için aşağı, mutluluk (%38,1) ve korku (%25,7) duyguları için yukarı bakmayı tercih etmişlerdir.
Sonuç: Önerilen model ile elde edilen doğruluk değeri, yazar bilgisi dâhilinde, literatürdeki FER-2013 veri seti kullanılarak yapılan duygu analizi çalışmaları ile kıyaslandığında bildirilen en yüksek sonuçtur. Ayrıca bu tez çalışması kapsamında oluşturulan yeni görüntü kümesi ile doğruluk değeri iyileştirilmiştir.

Anahtar Kelimeler: gerçek zamanlı duygu analizi, yüz ifadesi tanıma, derin evrişimli sinir ağları, bulut tabanlı derin öğrenme, insansı robot

Abstract:
Purpose: In this study, it is aimed to analyze emotions in real-time from images taken with the help of cameras placed in the eyes of a humanoid robot. At the same time, a new cloud-based deep learning model was proposed for the classification of seven basic emotions (happiness, sadness, surprise, anger, fear, disgust and neutral) from facial expressions and the validity of the model was tested.
Method: A new Deep Convolutional Neural Network (DCNN) model has been proposed for emotional analysis from the images taken. In the training of the proposed model were used FER-2013 and MuxSpace image sets. In order to increase the number of images in these datasets, an external software has been developed that takes facial images from volunteer participants and records them in the relevant folders by labeling. A program that performs real-time emotion analysis was prepared by using the weight files of the trained model. The training and testing processes and real-time emotion analysis processes of the proposed model were carried out in the -Google Colaboratory cloud environment- with Python programming language. A survey study was conducted in order to determine the movements that the designed humanoid robot should do in response to the detected emotional expressions. 
Findings: While 70% accuracy value was obtained by using FER-2013 dataset in the training of the proposed model, the accuracy value increased to 74% with the newly created dataset (FerMux+). In the survey study conducted to determine robot head movements, the participants preferred to look forward for feelings of anger (39,3%), neutral (43,7%) and surprise (32,9%), to look down for feelings of sadness (64,5%) and disgust (27,5%) and to look up for feelings of happiness (38,1%) and fear (25,7%).
Results: The accuracy value obtained with the proposed model is the highest reported result, to the author's knowledge, when compared to emotion analysis studies using the FER-2013 data set in the literature. In addition, the accuracy value has been improved with the new image set created within the scope of this thesis.

Keywords: real time emotion analysis, facial expression recognition, deep convolutional neural networks, cloud based deep learning, humanoid robot