Görüntü işleme tabanlı yüz ifadelerinden duygu analizi
Sentiment analysis from face expressions based on image processing
Yazar: ORHAN EMRE AKSOY
Danışman: DR. ÖĞR. ÜYESİ SELDA GÜNEY
Başkent Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı / Elektrik Elektronik Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: Duygu tanıma = Emotion recognition ; Evrişimli sinir ağları = Convolutional neural networks ; Sınıflandırma = Classification ; Yüz ifadelerinden duyguları anlama = Emotion recognition ability ; Öznitelik çıkarma = Feature

Özet:
Bu tez çalışmasında, gerçek zamanlı görüntülerde insan yüz ifadelerinin sınıflandırılma çalışması yapılmıştır. Gerçek zamanlı tanıma işlemini gerçeklemenin birtakım faydaları bulunmaktadır. Örnek vermek gerekirse; toplu fotoğraflarda ruh halinin analiz edilmesi bu bakımdan ilgi çekici bir örnektir. Bir etkinlik sırasında çekilmiş fotoğraflarda bulunan insanların yüz ifadelerinin algılanması, bu kişilerin genel anlamda ne derece eğlendiğine ilişkin niceliksel veri sağlayabilir. İçerik duyarlı görüntü erişimini bir diğer örnek olarak verebiliriz, söz gelimi bir veri tabanından, sadece şaşıran insanların olduğu fotoğraflara erişilebilir. Bu çalışma kapsamında; yüz ifadelerine ilişkin 7 farklı duygu sınıflanmış olup; bunlar "mutluluk", "üzüntü", "şaşkınlık", "iğrenme", "öfke", "korku" ve "nötr" olarak sıralanmaktadır. Python programlama diliyle yazılan uygulama ile FER2013, JAFFE ve CK+ veri setlerini kullanarak, farklı ifadelerde klasik makine öğrenme yöntemlerinden k-En Yakın Komşuluk ve Destek Vektör Makineleri kullanılırken, derin öğrenme yöntemlerinden aktarımlı öğrenme ile AlexNet, ResNet, DenseNet ve Inception mimarileri kullanılmış, detaylı analizler yapılmıştır. Ayrıca bu çalışmada; klasik makine öğrenme yöntemleri ve derin öğrenme mimarilerini kıyaslarken, 2 farklı uygulama ile gerçek zamanlı ve gerçek zamanlı olmayan uygulamalar da karşılaştırılmıştır. Bu çalışma, en uygun mimariye sahip derin öğrenme tekniklerine dayanan gerçek zamanlı ifade tanıma sistemlerinin, sadece bir yazılım ile bilgisayar donanımı aracılığıyla yüksek doğruluklarla uygulanabileceğini göstermektedir.

Abstract:
In this thesis, the classification study of human facial expressions in real-time images was investigated. Real-time recognition has a number of benefits, for example; analysis of mood in group photos is an interesting example in this regard. The perception of facial expressions of people in photographs taken during an event can provide quantitative data on how much fun these people have in general. Another example is context-aware image access, where, for example, only photos of people who are surprised can be accessed from a database. This scope of work; 7 different emotions related to facial expressions were classified; these are listed as "happiness", "sadness", "surprise", "disgust", "anger", "fear" and "neutral". With the application written in Python programming language, classical machine learning methods k-Nearest Neighborhood and Support Vector Machines and AlexNet, ResNet, DenseNet, Inception architectures are used from deep learning methods and detailed analyzes are made in FER2013, JAFFE and CK+ datasets. In this study, while comparing classical machine learning methods and deep learning architectures, real-time and non-real-time applications were also compared with two different applications. This study shows that real-time expression recognition systems based on deep learning techniques with the most appropriate architecture can be implemented with high accuracy via computer hardware with only one software.