Makine öğrenmesi yöntemleri ve derin öğrenme yöntemeleri ile yüz ifadesi tanıma
Facial expression recognition using machine learning techniques and deep learning methods
Yazar: NIBRAS FAROOQ AKRAM ALKHALEELI
Danışman: PROF. DR. YAŞAR BECERİKLİ
Kocaeli Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Yüz ifadeleri, bir kişinin zihinsel ve psikolojik durumunun sezgisel, istemsiz bir yansımasını ifade eder ve istemsiz duygular açısından zengindir. Yüz ifadelerine yansıyan duygular, insanlar arasındaki en önemli iletişim biçimlerinden biridir. Bu çalışmada, yedi  Yüz ifadesi (Mutluluk, Şaşkınlık, Korku, Doğallık , Kızgınlık, Üzüntü ve İğrenme) kullanılmıştır. Ayrıca, yüzdeki duygu tanıma problemini çözmek için iki farklı yaklaşım sunulmuştur. İlk yöntem, makine öğrenimi algoritmalarını kullanan geleneksel yöntemlerdir. İkinci yöntem, evrişimli sinir ağları aracılığıyla yüz ifadelerini tanıyarak derin öğrenmeyi kullanmaktır.
Makine öğrenmesi yönteminde, yüz tanıması yapılıp göz, kaş, burun ve ağız bölgeleri çıkarılır. Bu bölgelerden, yüz ifadesi özellikleri YGH(HOG) ve YİÖ(LBP) kullanılarak çıkarılır. Yüz ifadelerinin özellikleri çıkarıldıktan sonra, duyguları sınıflandırma ve tespit etmek için makine öğrenimi algoritmaları kullanılır. İki tür öznitelik çıkarma yöntemi (YGH ve YİÖ) ile dört tür sınıflandırma algoritması (DVM, Naive Bayes, RO(RF)
 ve KYK(KNN)) karşılaştırılmıştır. YGH ve veri seti (KDEF) kullanarak %91,83, %83,67, %81,63 ve %74,48 doğruluk oranları elde edilmiştir. YİÖ ve veri seti (KDEF) kullanarak %88,77 , %74,48 , %78,57 ve %67,34  doğruluk oranları elde edilmiştir.
Yüz ifadelerini tanımak için evrişimli sinir ağlarını kullanmaya gelince, DwResNet, VGG-DVM ve Mobile-DVM modelleri önerilmiş. Önerilen DwResNet modeli iki temel prensibi birleştirir, birincisi ağın derinliğini artırmak, ikincisi ise kalan bağlantıdır. Sonuç olarak %93,87 doğruluk oranı elde edilmiştir.
VGG-DVM'de, önce VGGNet  kullanarak öznitelikleri çıkarılıp daha sonra öznitelikleri makine öğrenmesi DVM sınıflandırma algoritması kullanarak sınıflandırılır. Mobile-DVM modelinde, VGG-DVM  modelinde olduğu gibi, önce MobileNet kullanarak öznitelikleri çıkarılıp daha sonra öznitelikleri DVM sınıflandırma algoritması kullanarak sınıflandırılmıştır. Sonuç olarak VGG-DVM=%92,17 ve Mobile-DVM= %93,53 doğruluk oranı elde edilmiştir.

Abstract:
Facial expressions express an intuitive, involuntary reflection of the mental and psychological state of a person, and they are rich in involuntary emotions. Emotions that are reflected in facial expressions are among the most important forms of communication between people. In this study, seven facial expressions (happy, surprise, fear, normal, anger, sadness, disgust) were used. In addition, two different approaches are presented to solve the facial emotion recognition problem. The first method is traditional methods using machine learning algorithms. The second method is to use deep learning by recognizing facial expressions through convolutional neural networks.
In the machine learning method, the face is recognized and the eye, eyebrow, nose and mouth regions are extracted. From these regions, facial expression features are extracted using HOG and LBP. After extracting the features of facial expressions, machine learning algorithms are used to classify and detect emotions. Two types of feature extraction methods (HOG and LBP) and four types of classification algorithms (SVM, Naive Bayes, RF and K-NN) were compared. Using HOG and data set (KDEF), accuracy rates of 91.83%, 83.67%, 81.63% and 74.48% were obtained. Using LBP and data set (KDEF), accuracy rates of 88.77%, 74.48%, 78.57% and 67.34% were obtained.
Regarding the use of convolutional neural networks for facial expression recognition, DwResNet, VGG-DVM and Mobile-DVM models have been proposed. The proposed DwResNet model combines two basic principles, the first is increasing network depth and the second is residual connectivity. As a result, an accuracy rate of 93.87% was obtained.
In the VGG-DVM, the features are first extracted using VGGNet and then the features are classified using the machine learning SVM classification algorithm. In the Mobile-DVM model, as in the VGG-DVM model, the features are first extracted using MobileNet and then the features are classified using the SVM classification algorithm. As a result, an accuracy rate of VGG-DVM=92.17% and Mobile-DVM=93.53% was obtained.