Derin özniteliklerin farklı atak senaryolarındaki yüz sahteciliği tespiti başarımlarının incelenmesi
Investigation of face spoofing detection performances of deep features in different attack scenarios
Yazar: Günay Yılmaz, Asuman; Şakar, Fırat
Dergi: Gümüşhane Üniversitesi Fen Bilimleri Dergisi, Vol. 14 No. 1, 2023
Anahtar kelimeler: Engineering ; Mühendislik ; Deep learning,Classification,Face spoofing detection ; Derin öğrenme,Sınıflandırma,Yüz sahteciliği tespiti

Günümüzde yüz tanıma sistemlerinin kullanımının çoğalmasıyla birlikte bu sistemlere karşı yapılan saldırılar da artmıştır. Özellikle artan sosyal medya kullanımı ile yüz görüntü ve videolarının paylaşımının artışı, saldırganların bu içeriği kullanarak yüz tanıma sistemlerini daha kolay kandırmasına imkân sağlamaktadır. Bu nedenle yüz sahteciliği tespiti (YST) konusu oldukça önemli bir çalışma alanı haline gelmiştir. Yüz sahteciliği saldırıları çeşitli türlerde gerçekleştirilmektedir. Genellikle çalışmalarda tüm atak türlerinin birlikte değerlendirildiği senaryolar üzerinde başarım değerlendirilmesi yapılmaktadır. Bu nedenle bu çalışmada Replay-Attack veri setindeki Basılı Fotoğraf (Printed Photo), Dijital Fotoğraf (Digital Photo) ve Video Oynatma (Replay Video) saldırı türlerinde derin öğrenme yöntemlerinin YTS başarımları değerlendirilmiştir. Bu amaçla ilk aşamada VGG16, DenseNet121 ve MobileNet derin ağ mimarilerinin bu saldırı türlerindeki YST başarımları incelenmiştir. İkinci aşamada her bir ağın ürettiği derin özniteliklerin klasik makine öğrenmesi yöntemi olan destek vektör makineleri (Support Vector Machines – SVM) ile sınıflandırılması sonucu YST başarımlarındaki değişim incelenmiştir. Son olarak VGG16, DenseNet121 ve MobileNet ağlarının ürettikleri derin öznitelikler birleştirilerek (öznitelik seviyesinde birleştirme - feature level fusion) tüm saldırı türleri için SVM ile gerçek/sahte sınıflandırması gerçekleştirilmiştir. Yapılan deney sonuçlarına göre derin özniteliklerin ya da birleşimlerinin SVM ile sınıflandırılması saldırı türüne göre YST başarımını artırmaktadır.

Today, the use of face recognition systems and attacks against these systems have increased. Especially with the increasing use of social media, the increase in the sharing of facial images and videos allows attackers to deceive facial recognition systems more easily. For this reason, face spoofing detection has become a very important field of study. Face spoofing attacks are carried out in various types. Generally, performance evaluations are made on scenarios in which all attack types are evaluated together. Therefore, in this study, face spoofing detection performances of deep learning methods in Printed Photo, Digital Photo and Replay Video attack types in the Replay-Attack dataset were evaluated. For this purpose, the face spoofing detection performances of VGG16, DenseNet121 and MobileNet deep network architectures were examined. Then, the change in face spoofing detection performances because of classification of deep features produced by each network with support vector machines (SVM) was examined. Finally, the deep features produced by VGG16, DenseNet121 and MobileNet networks were combined (feature level fusion) and real/fake classification was performed for all attack types with SVM. According to the results, the classification of deep features or their combinations with SVM increases the performance of face spoofing detection according to the attack type.