Yüz imgelerinden duygu tanıma
Expression recognition from face images
Yazar: CANER GACAV
Danışman: DOÇ. DR. KEMAL ÖZKAN
Eskişehir Osmangazi Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı / Telekomünikasyon  - Sinyal İşleme Bilim Dalı
Derece: Yüksek Lisans, 2018
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
Yüz ifadesi tanıma, insan-bilgisayar etkileşimi ve davranış analizi gibi birçok konuda uygulaması olan popüler bir yapay görme problemidir. Birçok bilgisayarlı görü uygulamasında olduğu gibi yüz ifadesi tanımada da aydınlatma ve kontrast farklılıkları problemi zorlaştıran etkenlerdir. Özellikle yüzün düzlemsel olmayan yapısı, burun ve çene gibi çıkıntılı bölgeler ile göz çukurları gibi girintili alanlar yüz üzerindeki ışık dağılımının farklı olmasına yol açmaktadır. Yüz ifadesi tanımadaki problemlerden bir diğeri de yüz tespit yöntemlerinin çok-ölçekli çalışmalarından dolayı buldukları yüzlerin hizalanmamış olmasıdır. Bu durum bazı yüz bölgelerinin farklı yüz bölgelerinden gelen vektörlerle karşılaştırılmasına neden olacağından tanıma başarısını olumsuz yönde etkilemektedir. Bu çalışma yüz ifadesini tanıma problemini çözmeye odaklanan iki çalışmadan oluşmaktadır. İlk çalışmada, yüz imgesinden elde edilen nirengi noktaları kullanılarak elde edilen özniteliklerden hangilerinin yüz ifadesi tanımada daha etkili olduğu incelenmektedir. Bir yüzde tespit edilen nirengi noktalarının ikili kombinasyonları arasındaki uzaklıklardan bir vektör oluşturulur. Kullanılan öznitelikler, yüzün nötr ve belirgin bir ifadeye sahip olduğu hallerinden elde edilen uzaklık vektörlerindeki değişimdir. Elde edilen öznitelik vektörü, yüz ifadelerini tanımada fayda sağlamayacak elemanları da içermektedir. Ardışık ileri öznitelik seçimi uygulanarak bu öznitelik vektöründeki en faydalı elemanlardan oluşan bir altküme belirlenmiştir. İkinci çalışmada ise, birçok nesne tespit probleminde başarılı sonuçlar veren yönelimli gradyan histogramlarının HOG kontrast farklılıklarına daha duyarlı bir versiyonu olan Felzenszwalb HOG FHOG'un yüz ifadesi tanıma problemindeki başarımı irdelenmiştir. Bununla beraber hizalanma probleminin neden olduğu performans düşümlerine engel olmak için de nirengi noktaları kullanılarak hizalama yapılması önerilmiştir.

Abstract:
Facial expression recognition is a popular computer vision subject that has many applications such as human-computer interaction and behaviour analysis.As for many computer vision problems, lighting and contrast differences increase the difficulty of the problem. Especially the non-planar structure of the face, protruding regions such as the nose and chin and recessed regions such as eye sockets cause variations in lighting. Another problem with facial expression recognition problems is that the multi-scale detection methods do not align the faces accurately. This leads to comparing features that are extracted from different facial regions, which degrades performance. In this work, to solve facial expression recognition problem, it was focused on two different solutions. In the first study, it is investigated the effectiveness of features derived from facial landmarks in facial expression recognition. Distances between two combinations of facial landmarks constitute a distance vector. Features we use are the changes in the distance vectors extracted from expressive and neutral states of the face. The obtained feature vector contains elements that are relatively useless in expression recognition. By applying forward sequential feature selection, a subset of the most effective elements is formed. The chosen features are classified using a multi-class support vector machine. In the second study, the performance of Felzenszwalb HOG (FHOG) features at facial expression recognition is investigated. Additionally, aligning with respect to the facial landmarks is proposed to prevent performance degradation due to misalignment.