Derin öğrenmeye dayalı yüz ve vücut biyometrilerinin tümleştirilmesi
Fusion of face and body biometrics based on deep learning
Yazar: AHMET BİLGİÇ
Danışman: PROF. DR. TÜLAY YILDIRIM
Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2017
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: Akıllı sistemler = Intelligent systems ; Biyometri = Biometry ; Kullanıcı tanıma = User authentication ; Yüz tanıma = Face recognition

Özet:
Akıllı sistemler, teknolojinin gelişmesi ile güvenliğin korunması noktasında önemli görevler üstlenmiştir. Giriş Kontrol Sistemleri (Access Control Systems) buna bir örnektir. Güncel Giriş Kontrol Sistemlerinde birçok doğrulama kriterine göre doğrulama yapılmaktadır, bunlar PIN, RFID kart, parmak izi ve yüzdür. Bu sistemlerde biyometrik veriye dayalı kontrol yapan çözümler güvenlik seviyesinin bir sonucu olarak tercih edilmektedir. Bu konuda yapılan çalışmalar, Biyometrik Giriş Kontrol Sistemleri (Biometric Access Control Systems) olarak isimlendirilmektedir. Son yıllarda biyometri alanında yapılan çalışmalarda vücudun belirli bir kısmından tek bir t anında alınan veriler yerine, kişinin karakteristik sayılan birçok özelliğinin beraber değerlendirilmesi ve bu verilerin de yine tek bir t anında değil belirli bir zaman aralığında alınması yaklaşımı ile karşılaşılmaktadır.

Bu çalışmada kişilerin yüz ve hareket bilgilerini beraber kullanarak çoklu biyometrik verilerin elde edilmesi ile doğruluk seviyesi yüksek, kritik güvenlik seviyesine sahip yerlerde giriş kontrolü uygulamalarında kullanılabilecek, temassız, gürbüz bir çoklu biyometrik sistem önerilmektedir. Kinect kamera kullanılarak oluşturulmuş yüz ve harekete ait iki farklı biyometrik veri ile sanal çoklu biyometrik veri kümesi oluşturulmuştur. Yüz ve harekete ait özelliklere füzyon işlemi uygulanmıştır. Derin öğrenme modelinden elde edilen yüz öznitelikleri ve enerji resimleri haline getirilen hareket silüetlerine öncelikle özellik azaltma yöntemi uygulanmıştır. Azaltılmış özelliklerden benzerlik matrisi oluşturulmuştur. Yüz ve hareketin bu iki benzerlik matrisi, toplam füzyon kuralı kullanılarak birleştirilmiş ve z-skor normalizasyonu yapılmıştır. Tekli ve çoklu biyometrik performans karşılaştırılması yapılmış ve sonuçlar analiz edilmiştir. Önerilen çoklu biyometri yöntemiyle, Evrişimsel Sinir Ağı (ESA) ile yüz tanımaya kıyasla daha yüksek performans ve güvenilirlik elde edilmiştir. Elde edilen sonuçlar, yüz tanıma işleminde ortaya çıkabilecek sahteciliğin, hareket verileri ile ortadan kaldırılabileceğini ve hareket verisinin bu yöntemle kimlik doğrulama için kullanılabileceğini göstermektedir.

Abstract:
Intelligent systems have taken on important tasks at the point of security with the development of technology. Access Control Systems are in the scope of Intelligent Systems. Identities are verified by current Access Control Systems, according to a number of verification criteria: PIN, RFID card, fingerprint and face. In access control systems, biometric data based control solutions are preferred as a result of security level. The works in this subject is called Biometric Access Control Systems and they are influenced by the studies of biometrics. In recent years, instead of taking the data from a particular part of the body in a single time, we have come up with an approach in biometrics in which a number of characteristic features of a person are evaluated together not at a single time but at a certain time interval. 

In this study, a multi-biometric system is proposed, which is contactless, robust and can be used in access control applications in places with high level of accuracy and critical security level with multiple biometric data by using both face and movement information of people. A virtual multi-biometric dataset is created with two different biometric data for face and motion created using the Kinect camera. Facial and motion features have been fused and feature reduction method has been applied to the facial features are obtained from deep learning model and the energy pictures which are transformed from motion silhouettes. Similarity matrices has been created from reduced features. These two similarity matrices of face and motion are combined using sum fusion rule and then, z-score normalization is performed on these matrices. Single and multiple biometric performance comparisons are made and the results are analyzed. With the proposed multiple biometry method, higher performance and reliability have been achieved compared to face recognition with the Convolutional Neural Network. Obtained results show that fraud that may occur in facial recognition can be removed with motion data and our approach shows that motion data can be used for authentication.