Yüz ifadelerinin görünüm tabanlı ve dinamik özellikleri kullanılarak olumsuz koşullar altında hibrit yüz tanıma
Hybrid face recognition under adverse conditions using appearance-based and dynamic features of facial expressions
Yazar: MURAT TAŞKIRAN
Danışman: DOÇ. DR. NİHAN KAHRAMAN ; PROF. DR. ÇİĞDEM EROĞLU ERDEM
Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı / Elektronik Bilim Dalı
Derece: Doktora, 2022
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: Biyometrik = Biometric ; Sinir ağları = Nerve net ; Yüz ifadelerinden duyguları anlama = Emotion recognition ability ; Yüz tanıma = Face recognition

Özet:
Biyometrik sistemler, bir bireyin benzersiz fiziksel veya davranışsal özelliklerini ölçmeyi ve analiz etmeyi amaçlamaktadır. Biyometrik sistemlerin temel özelliği, kendine özgü özelliklere sahip vücut yapılarının kullanılmasıdır. Literatürde fizyolojik özellikleri (parmak izi, iris, avuç içi izi, yüz vb.) kullanan biyometrik sistemler ile davranışsal özellikleri (imza, yürüme, konuşma kalıpları, yüz dinamikleri vb.) kullanan sistemler bulunmaktadır. Son zamanlarda yüz biyometrisi, genellikle kullanıcının işbirliğini gerektirmeyen ve kişisel özel alanı ihlal etmeden elde edilebildiği için en çok tercih edilen biyometrik verilerden biri olmuştur.
Son zamanlarda derin öğrenme tabanlı yüz tanıma yöntemleri, büyük veri tabanlarında dikkate değer tanıma başarımları elde etse de, performanslarının olumsuz koşullar altında (örn. şiddetli aydınlatma ve kontrast değişimleri; bulanıklık ve gürültü) düştüğü görülmüştür. Bu koşullar altında, yüz dinamikleri gibi yumuşak biyometrik özniteliklerin, görünüm temelli özniteliklerle birlikte kullanılması halinde performansı artırması beklenmektedir. Bu tezde, gülümseme ifadesi sırasında derin evrişimli sinir ağlarından çıkarılan görünüme dayalı özniteliklerin yanı sıra, yüzün nirengi noktalarının konumlarından çıkarılan istatistiksel yüz dinamiklerini kullanan yeni bir hibrit yüz tanıma sistemi önerilmektedir. Farklı parametrelere sahip önemli görüntü bozulmaları altında, literatürdeki en başarılı yöntemler arasında yer alan, önceden eğitilmiş üç farklı derin evrişimli sinir ağlarının (VGG-Face, VGG-Face 2 ve ArcFace) performansları değerlendirilmiştir. Deneysel çalışmaların sonuçları, yalnızca DESA tabanlı önitelikleri kullanan yüz tanıma performansının olumsuz koşullar altında önemli ölçüde düşmesine rağmen, yüz dinamikleri özniteliklerinin, derin evrişimli sinir ağı tabanlı özeliklerle birlikte kullanılmasının performans kaybını telafi edebileceğini ve doğruluğu önemli ölçüde artırabileceğini göstermektedir. Önerilen sistem, çok çeşitli aydınlatma varyasyonlarına sahip, bulanık ve gürültülü görüntüler içerebilen yüz tanıma problemlerinde ve yüz tanıma yanıltma ataklarına karşı faydalı olabilecektir.

Abstract:
Biometric systems have the goal of measuring and analyzing the unique physical or behavioral characteristics of an individual. The main feature of biometric systems is the use of bodily structures with distinctive characteristics. In the literature, there are biometric systems that use physiological features (fingerprint, iris, palm print, face, etc.) as well as systems that use behavioral characteristics (signature, walking, speech patterns, facial dynamics, etc.). Recently, facial biometrics has been one of the most preferred biometric data since it generally does not require the cooperation of the user and can be obtained without violating the personal private space.
Although recent deep‐learning‐based face recognition methods obtain remarkable recognition accuracies on large databases, their performance has been shown to degrade under adverse conditions (e.g. severe illumination and contrast variations; blur and noise). Under such conditions, soft‐biometric features such as facial dynamics are expected to increase the performance if they are used together with appearance‐based features. In this thesis, we propose a novel hybrid face recognition, which uses appearance‐based features extracted using deep convolutional networks and statistical facial dynamics features extracted from facial landmark positions during smile expression. We evaluated the performances of three different state‐of‐the‐art pre‐trained deep convolutional neural networks (VGG-Face, VGG-Face 2 and ArcFace) under a variety of severe image distortions with different parameters. The experimental results show that, although the face recognition performance using only DCNN‐based features drops significantly under adverse conditions, the utilization of facial dynamics features together with DCNN‐based features can compensate for the performance loss and increase the accuracy significantly. The proposed system is considered to be useful against face recognition problems, which may include blurry and noisy images with a wide variety of lighting variations, and spoofing attacks.