İmge kümeleri ile yüz tanımada yüz hizalanması ve önleştirme yöntemleri
Face alignment and frontalization methods for image set based face recognition
Yazar: GOLARA GHORBAN DORDINEJAD
Danışman: PROF. DR. HAKAN ÇEVİKALP
Eskişehir Osmangazi Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı / Telekomünikasyon  - Sinyal İşleme Bilim Dalı
Derece: Doktora, 2023
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
Günümüzde, tek bir yüz imgesi yerine imge kümelerinin kullanımı yüz tanıma performansını artırdığı için önemli bir konu haline gelmiştir. Küme içindeki yüz imgeleri her zaman ideal poz ve aydınlatma koşulları altında bulunmamaktadır. Bu nedenle, farklı poz açıları gibi olumsuz durumların etkilerini önlemek için ön işlemlere ihtiyaç duyulur. Yüz önleştirme, farklı poz açılarına sahip yüz imgeleriniönleştirdiği için küme tabanlı yüz tanıma performansını iyileştiren önemli ön işlemlerden biridir. Bu tez çalışmasında, her kümeye ait ön cepheden yüz imgelerini kullanarak yeni bir yüz önleştirme yöntemi geliştirilmiştir ve küme tabanlı yüz tanıma performansı üzerindeki etkileri analiz edilmiştir. Teknik olarak; "Rotate-Render" yöntemi temel alınmıştır. İmge kümesinde yer alan ön cepheden yüz imgesini kayıp fonksiyonuna entegre ederek üç boyutlu bir yapı ve üretken çekişmeli ağ modelinin eğitimi ile yeni bir yüz önleştirme modeli önerilmiştir. Bu tez çalışmasında, orijinal Rotate-Render (RR) modeli ve önerilen Frontal (ön cephe) yüz tabanlı Rotate-Render (FRR) modelinin HONDA/UCSD ve ESOGU-285 veri tabanları üzerinde performansları istatiksel metrikler ile karşılaştırılmıştır. Önleştirilen yüz imgeleri için öznitelikler elde edilerek yine bu tez kapsamında önerilen "Ayırt Edici Afin ve Konveks Zarf" sınıflandırıcıları ile modellenmiştir. Tez kapsamındaki bulgular incelendiğinde, küme tabanlı yöntemin nesnel ve öznel olarak yüz tanıma performansını iyileştirdiği gözlemlenmiştir. Tezin literatüre katkısı olarak; ön cephe tabanlı yüz önleştirme modeli ve CNN modelinden elde edilen öznitelikleri üzerinde yüksek başarım sağlayan "Ayırt Edici Afin ve Konveks Zarf" sınıflandırcıları önerilmiştir.

Abstract:
Nowadays, the utilization of image sets instead of single face image has become a significant topic due to its enhancement of face recognition performance. The face images within a set are not always captured under ideal pose and lighting conditions. Therefore, preprocessing techniques are necessary to mitigate the effects of adverse conditions such as different pose angles. Face frontalization, which frontalize face images with different pose angles, is one of the important preprocessing steps that improves set-based face recognition performance. In this dissertation, a new face frontalization method was developed by utilizing frontal face images from each sets, and its effects on set-based face recognition performance were analyzed. Technically, a three-dimensional structure and a generative adversarial network model were trained for face frontalization by building upon the "Rotate-Render" method and integrating frontal images into the loss functions. This study compared the performances of the original Rotate-Render (RR) model and the proposed Frontal-based Rotate-Render (FRR) model using statistical metrics on the HONDA/UCSD and ESOGU-285 databases. The "Discriminative Affine and Convex Hull" classifiers, which were proposed within the scope of this dissertation, were utilized to model the features obtained from frontalized face images. The experiments of the dissertation revealed that the set-based method objectively and subjectively improved face recognition performance. As a contribution to the literature, frontal-based face frontalization and high-performance "Discriminative Affine and Convex Hull" classifiers derived from the CNN model's features were proposed.