Makine öğrenmesi ile gerçek zamanlı videodan yüz ifadesi analizi
Facial expression recognition with machine learning in real-time video
Yazar: MUHAMMET BEKİR DABANOĞLU
Danışman: DR. ÖĞR. ÜYESİ TOLGA BERBER
Karadeniz Teknik Üniversitesi / Fen Bilimleri Enstitüsü / İstatistik ve Bilgisayar Bilimleri Ana Bilim Dalı
Derece: Yüksek Lisans, 2018
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Sayısal görüntü işleme = Digital image processing

Özet:
Bu çalışmada, altı temel ifadeden oluşan, mutluluk, üzüntü, korku, tiksinme, şaşırma ve öfke ifadelerinin, makine öğrenmesi yardımıyla, kişiden bağımsız olarak gerçek zamanlı videodan tanınması amaçlanmıştır.
Yüz ifadesi tanımanın üç hayati adımı bulunmaktadır. Bunların ilki, görüntüden yüz görüntüsü elde etmek, ikincisi ifadeleri iyi temsil edecek öznitelikler elde etmek ve son adım ise başarılı bir makine öğrenme yöntemi ile birlikte ifade tanımanın gerçekleştirilmesidir.  Çalışmada görüntüden yüz görüntüsü elde etmek için "Haar Basamaklı Sınıflandırıcıları Yöntemi" kullanılmıştır. Elde edilen yüz görüntülerinden ifadeleri temsil etmek için İkili Yerel Örüntüler (Local Binary Pattern - LBP)  öznitelik olarak kullanılmış ve son olarak bu öznitelikler çeşitli makine öğrenmesi yöntemleri ile  sistematik olarak Cohn-Canadian veritabanından alınan görüntülerden çeşitli verisetleri oluşturularak incelenmiştir.  Yapılan kapsamlı analizlerde Yerel İkili Örüntülerin yüz ifadesi tanımada etkili olduğu gözlemlenmiştir. Deneylerden sonra, yüz ifadesi tanımada en başarılı bulunan yöntem ve veri seti, gerçek zamanlı videodan alınan görüntüler üzerinde denenmiş ve sonuçlar çalışma içerisinde sunulmuştur. 
Elde edilen sonuçlara göre, dört sınıftan (ifadesiz, mutluluk, şaşırma ve üzüntü) oluşan veri seti, Destek Vektör Makineleri sınıflandırıcı kullanılarak en yüksek tanıma oranı olan %85,37 tanıma doğruluğuna ulaşılmıştır.  İncelenen temel altı yüz ifadesi içerisinde diğer sınıflarla en az karıştırılan iki duygu ise şaşırma ve mutluluk olarak gözlemlenmiştir. 
	
Anahtar Kelimeler: Yüz İfadesi Analizi, Görüntü İşleme, Yerel İkili Örüntüler, Makine    
                   Öğrenmesi

Abstract:
The purpose of this work is to recognize six basic expressions such as happiness, sadness, fear, disgust, surprise and anger streamed from a real-time video, using machine learning methods.
There are three vital steps in recognition of a facial expression. The first step is to obtain a face from the image, the second is to obtain the feature that will best represent the facial expression and the final step is to recognize facial expression with a successful machine learning method. In this work, to retrieve the facial image, "Haar Cascade Method" was used as well as Local Binary Patterns (LBP) for features to represent facial expressions. Finally, these attributes were systematically analyzed by using various machine learning methods and by generating various datasets from the images extracted from the John-Canadian Database. Local Binary Patterns (LBP) were observed to be effective to recognize the facial expression as a result of a comprehensive analysis. The most successful method and dataset in recognition of facial expressions were selected and tested on a real-time video stream followed by the results being presented in the study.
According to these results, which consist of four class datasets (neutral, happiness, surprise and sadness) reached the highest recognition rate of 85,37% using the Support Vector Machine classifier and among the six basic facial expressions, happiness and surprise have highest recognition rate.

Keywords: Facial Expression Analysis, Image Processing, Local Binary Patterns, Machine 
          Learning