Yüz ifadelerinin geometrik ve görünüm tabanlı öznitelikler kullanılarak tanınması
Recognition of facial expressions using geometric and appearance-based features
Yazar: NURİ ÖZBEY
Danışman: PROF. DR. MEHMET BİLGİNER GÜLMEZOĞLU
Eskişehir Osmangazi Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı / Telekomünikasyon  - Sinyal İşleme Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: Destek vektör makineleri = Support vector machines ; Temel bileşenler analizi = Principal components analysis ; Veri setleri = Data sets ; Yüz ifadelerinden duyguları anlama = Emotion recognition ability ; Yüz ifadesi = Facial expressions ; Öznitelik seçimi = Attribute selection

Özet:
Yüz ifadesi tanıma ve analiz etme, son yıllarda popüler bir konu haline gelmiştir.
Önceden insan-makine etkileşimi, güvenlik, psikolojik analiz ve eğlence amaçlı
kullanılırken, son zamanlarda web sitesi ve pazarlama uygulamaları ile sosyal medyada
eğlence uygulamaları araştırmacıları bu konu üzerinede çalışmaya yoğunlaştırdı.
Literatürdeki çalışmalar artmasına rağmen bu konudaki tanıma hassasiyeti ve zorluğu halen
devam etmektedir. Bu konudaki çalışmaları ve tanımaları farklılaştıran en büyük etki
insanın doğal yapısı gereği ortaya çıkan farklı ırklardaki farklı yüz tiplerinin oluşması
olmuştur. Tek bir tipteki ifade tanıma başarısı çok iyi olmasına rağmen farklı tiplerde ortaya
çıkan tanıma zorluğu halen bir yarış olarak devam etmektedir.
Gerçekleştirilen bu tez çalışmasında literatürdeki yapılan çalışmalara ek yeni bir
öznitelik çıkarımı ve veri kümesi üzerindeki dengeleme ile daha hassas ve daha başarılı bir
yöntem önerilmiştir. Bu tez çalışmasında önerilen yöntemler kıyaslanırken, video olarak
geçmiş imgelerdeki değişimlere dayalı bir sınıflandırma yerine, tek bir resim üzerinden
sınıflandırma gerçekleştirilmeye çalışılmıştır. Çalışmanın ilk aşaması olarak ayırt edici
özellik olarak öznitelik türetme ile başlamıştır. Bu aşamada üç farklı yöntem olarak,
geometrik öznitelikler, Yönlü Gradyanlar Histogramı (YGH) ve Yerel İkili Örüntüler (YİÖ)
kullanılmıştır. Geometrik öznitelik türetme aşamasında, yeni yaklaşımlar önerilmiş ve bu
öznitelikler türetilirken noktalar arasındaki mesafe farklarından yararlanılmıştır. Deneysel
çalışmalarda genişletilmiş Cohn - Kanade (CK+) veri kümesi kullanılmış ve yüz ifadeleri
10 katlı çapraz doğrulama yöntemi kullanılarak 4 farklı sınıflandırıcı( Destek Vektör
Makinesi (DVM), Rassal Orman (RO),Lojistik Regresyon Sınıflandırıcısı (LRS) ve Ortak
Vektör Yaklaşımı (OVY)) ile sınıflandırılmıştır. Sınıflandırma başarısını arttırmak için
Ardışık İleri Öznitelik Seçimi (AİÖS) , Ardışık Geri Öznitelik Seçimi (AGÖS) ve Temel
Bileşen Analizi (TBA) ile öznitelik boyut indirgeme işlemi yapılmıştır.

Abstract:
Facial expression recognition and analysis has become a popular topic in recent
years. Facial expression recognition was previously used for human-machine interaction,
security, psychological analysis, and entertainment. Recently, website marketing
applications and entertainment applications in social media have focused researchers on this
issue. Although the studies in the literature have increased, the sensitivity and difficulty of
recognition on this subject still continues. The biggest effect that differentiated studies and
recognitions on this subject was the formation of different face types in different races,
which emerged as a result of the natural structure of human beings. Although the success of
expression recognition in one type is very good, the recognition difficulty in different types
still continues as a race.
In this thesis, a more sensitive and more successful method is proposed with a new
feature extraction and balancing on the data set in addition to the studies in the literature.
When comparing these methods, it is tried to classify on a single image instead of a
classification based on the change in the past frames as video. As the first stage of the study,
it started with feature extraction as a distinguishing feature. At this stage, three different
methods, geometric attributes, Histogram of Oriented Gradients (HOG), Local Binary
Pattern (LBP) were used. In the geometric feature generation stage, new approaches have
been proposed and the distance differences between the points have been used while
deriving these features. In the experimental studies, The Extended Cohn - Kanade (CK+)
dataset was used and 4 different classifiers were used for facial expressions using the
10-fold cross validation method; It is classified by Support Vector Machines (SVM),
Random Forest (RF), Logistic Regression Classifier (LRC) and Common Vector Approach
(CVA). In order to increase the classification success, feature selection was performed with
Sequential Forward Feature Selection (SFFS) , Sequential Backward Feature Selection
(SBFS) and Principal Components Analysis (PCA).