Derin öğrenme ve makine öğrenmesi tabanlı yüz ifadelerini tanımasistemi
Deep learning and machine learning based facial expressionrecognition system
Yazar: MUHAMMED KEREM TÜRKEŞ
Danışman: DR. ÖĞR. ÜYESİ YILDIZ AYDIN
Erzincan Binali Yıldırım Üniversitesi / Fen Bilimleri Enstitüsü / Yapay Zeka ve Robotik Ana Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Derin öğrenme = Deep learning ; Makine öğrenmesi = Machine learning ; Yapay zeka = Artificial intelligence

Özet:
İnsanlar arasındaki yüz yüze iletişimde kelimeler, ses tonu ve yüz ifadeleri verimli etkileşim açısından çok önemli bir konumdadır. Jestlerin ve yüz ifadelerinin kişilerarası ilişkiler üzerinde önemli bir etkiye sahip olduğu gözlemlenmektedir. Yüz ifadelerinden duygu tanıma işlemleri sayesinde tıp, eğitim, güvenlik başlıca olmak üzere birçok alanda çeşitli işlemlerde kolaylık sağlanmaktadır. Bu çalışma kapsamında, yüz ifadelerinden duygu tahmini işlemi gerçekleştirilen çalışmalardaki verimi artırmak amacıyla hibrit yaklaşım yöntemleri kullanılmıştır. Geliştirilen bu uygulama, öznitelik çıkarımı ve sınıflandırma olmak üzere iki adımdan oluşmaktadır. Bu tez çalışması kapsamında, ilk adımda SIFT, SURF, KAZE öznitelikleri SVM, XGB, RF, LR sınıflandırıcıları kullanılarak sınıflandırılmıştır. İkinci adımda ise CNN, ResNet50, VGG16 yöntemleri ile sınıflandırma işlemi yapılmıştır. Hibrit metotların ilk aşamasında derin öğrenme ve klasik makine sınıflandırıcılarının kendi aralarında kombinasyonel olarak kullanımıyla, SIFT, SURF, KAZE, ResNet50, VGG16 ile elde edilen öznitelikler SVM, XGB, RF, LR ve derin öğrenme metotları kullanılarak sınıflandırılmıştır. Hibrit metotların ve çalışmanın son aşamasında ise Hessian dedektörü ile tespit edilen anahtar nokta konumlarına SIFT tanımlayıcı inşa edilerek elde edilen hibrit öznitellik (HessianSIFT), SVM, XGB, RF, LR sınıflandırıcıları ile sınıflandırılmıştır. Elde edilen deney sonuçlarına göre, ResNet50 ve SVM'nin birlikte kullanılmasıyla yüz ifadelerinden tespit edilen duyguların tanıma başarısı %100 olarak belirlenmiştir.

Abstract:
In face-to-face communication, words, tone of voice, and facial expressions are crucial for efficient interaction. It is observed that gestures and facial expressions significantly impact interpersonal relationships. Thanks to emotion recognition from facial expressions, various operations in many fields, especially medicine, education, and security, are facilitated. Within the scope of this study, hybrid approach methods were used to increase the efficiency of studies that performed emotion prediction from facial expressions. This developed application consists of two steps: feature extraction and classification. Within the scope of this thesis study, in the first step, SIFT, SURF, and KAZE features were classified using SVM, XGB, RF, and LR classifiers. In the second step, classification was performed using CNN, ResNet50, and VGG16 methods. In the first stage of hybrid methods, by using deep learning and classical machine classifiers in combination with each other, the features obtained with SIFT, SURF, KAZE, ResNet50, VGG16 were classified using SVM, XGB, RF, LR, and deep learning methods. In the final stage of the hybrid techniques and study, the hybrid feature (HessianSIFT) obtained by building a SIFT descriptor on the critical point locations detected with the Hessian detector was classified with SVM, XGB, RF, LR classifiers. According to the experimental results, the recognition success of emotions detected from facial expressions was determined as 100% using ResNet50 and SVM together.