Kimlik kartı biyometrik fotoğraf ve telefon kamerası özçekim ile yüz tanıma, veri toplama, test, değerlendirme ve karşılaştırma
Face recognition, data collection, testing, evaluation and comparison with id card biometric photo and phone camera selfie
Yazar: MURAT SEKMEN
Danışman: PROF. DR. KEMAL BIÇAKCI
İstanbul Teknik Üniversitesi / Bilişim Enstitüsü / Bilişim Uygulamaları Ana Bilim Dalı / Bilgi Güvenliği Mühendisliği ve Kriptografi Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Yakın gelecekte insanların kurum/kuruluşlarda kimlik kartı ibraz ederek yapacağı işlemler (üyelik, hesap açma vs.) uzaktan (mobil uygulama üzerinden) ve insansız kimlik tespitine tabii tutulacaktır. Bir diğer ifadeyle, algoritma, kişinin kendi görüntüsü ile kimlik kartındaki görüntüyü doğrulama işlemine tabii tutacaktır. Tüm kurum/kuruluşlar için dijitalleşmek; hizmet kalitesini, ölçülebilirliği, ölçeklenebilirliği artırdığı ve maliyeti düşürdüğü için kaçınılmazdır. Uzaktan yüz tanıma görevlerinin de insanlardan alınarak makinelere devredilmesi işi de hem maliyet yönünden avantaj sağlamakta hem de hata oranını en aza indirmek ve bunu verilerle ölçebilmek yönleriyle hizmet kalitesini artırmaktadır. Ayrıca dünyanın her yerinde kullanılabilecek olması sayesinde ölçek sorunu yaşamamaktadır.

Yüz tanıma ile ilgili çeşitli algoritmaların var olduğu bilinmekle beraber Türk insanı için en iyi performansı gösteren algoritmanın hangisi olduğu henüz bilinmemektedir. Siber güvenliğin ihmal edilemez unsurlarından olan biyometrik tabanlı güvenlik sistemlerinde kullanılmakta olan yüz tanıma algoritmalarının başarı yüzdesi; dış ülkelerde, başka coğrafyalarda oluşturulmuş yüz kümeleri üzerinde denenerek tespit edilmektedir. Her coğrafyanın insanı farklı yüz hatlarına sahip olduğundan algoritmaların başarısı aslında ölçüm yapılan veritabanları üzerindeki başarıdır. Dolayısıyla Türkiye'ye özgü bir yüz kümesi oluşturulmuş ve çeşitli yüz tanıma algoritmaları bu küme üzerinde test edilmiştir. 

Konusu "Türk insanının yüzünü en iyi tanıyan algoritma" olan projemiz için veri kümesi oluşturma safhasında 1032 adet katılımcıya ulaşılmıştır. Katılımcılarımı sabit bir cep telefonu ile stüdyo ortamında veya serbest bir ortamda denekler özçekim (selfie) yapmışlardır. Ayrıca kimlik kartlarından, mobil uygulama kullanılarak, biyometrik fotoğrafları dijital ortama çıkartılmıştır.  Ardından, Haar Cascade ile RetinaFace adlı yüz tespit algoritmalarından en iyi performans göstereni tespit edildi ve tüm veri kümesi bu algoritmadan geçirilerek, fotoğraflardaki suretin tespiti sağlandı. Bir sonraki adımda ise biyometrik ve selfie ikililerinden oluşan bir test kümesi oluşturuldu. Test kümesi oluşturulurken, doğruluk sonuçlarının sağlığı açısından dengeli bir test dağılımı gözetildi. Şöyle ki; her biyometrik fotoğraftaki suret, biyometrikteki kişinin kendisine ait bütün özçekimlerindeki (pozitif özçekim diyelim) sureti ile test edildi. İlaveten her biyometrik fotoğraftaki suret, kendi özçekim sayısınca başka kişilerin özçekim (negatif özçekim diyelim) suretiyle de karşılaştırıldı. Ek bir koşul olarak; her bir negatif özçekimin başka bir kişiye ait olması sağlandı. Test sonuçlarından daha isabetli çıkarımlar yapabilmek adına, bahse konu biyometrik-özçekim ikili test kümesinden, (sözde) rassallık sağlayan 5 farklı kök değeri kullanarak, 5 adet üretilmiştir ve her biri üzerinde test yapılmıştır. Her bir model için (FaceNet ve FaceNet512) 5 farklı test kümesi ile birden fazla eşik değerleri için yapılan testlerin sonucunda oluşturulan ROC eğrisinde en yüksek doğruluk değeri veren eşik tespit edilmiş ve bu noktadaki
doğruluk değeri, doğru pozitif oranı, yanlış pozitif oranı ilan edilmiştir. Aynı parametrelerde 5 farklı sonuç elde edildiğinden sonuçlar "standart hata" ile paylaşılmıştır. Alınan sonuçlara göre Facenet modeli diğerine göre daha yüksek doğruluk gösterdiğinden, %97.95, detay testler de bu model üzerinden sürdürülmüştür. Kadın-erkek, gözlük kullanan kişiler için gözlüklü-gözlüksüz, stüdyo-serbest ortam, stüdyo düşük ışık-stüdyo normal ışık detaylarıyla da test edilen FaceNet modelinden gelen sonuçlar da yine paylaşılmıştır. Detay testlerin de genel performans sonuçlarına kıyasla nitelikli sapma göstermediği anlaşılmış, bu durumda modelin gürbüz olduğuna, dolayısıyla %97.95 sonucuna güvenilebileceğine kanaat getirilmiştir. Öte yandan FaceNet modelinin Türkiye'de günlük kullanımı için modelde çeşitli geliştirmeler yapmanın daha isabetli olacağı anlaşılmıştır. Zira her 100 kişiden 3 kişide hata yapan model, 10 milyon kişide 300 bin kişiyi mağdur edebilecektir. Dolayısıyla çalışmamızın sonucunda, FaceNet modelin henüz gelişmesi/geliştirilmesi gerektiği düşünülmektedir.

Abstract:
In the near future, transactions conducted by people in institutions/organizations (membership, account opening, etc.) will be subject to remote (via a mobile application) and unmanned identity verification. In other words, an algorithm will verify a person's identity by comparing their image with the image on their ID card. For all institutions/organizations, digitization is inevitable because it enhances service quality, measurability, scalability, and reduces costs. The transfer of remote facial recognition tasks from humans to machines not only provides cost advantages but also minimizes the error rate and improves service quality by being able to measure this with data. Additionally, the absence of scalability issues due to its universal applicability adds to its benefits.

While various algorithms related to face recognition are known to exist, it is still unknown which algorithm performs the best for the Turkish population. The success rate of face recognition algorithms, which are indispensable elements of biometric-based security systems in cybersecurity, is determined by testing them on facial data sets created in foreign countries and other geographical areas. Since people from different geographical regions possess different facial features, the success of these algorithms is in fact a reflection of their performance on the specific databases used for measurement. 

In order to determine the algorithm that performs best in our geography, we first needed to have inputs similar to the remote identity verification situation in banking. Therefore, there was a need for a data set consisting of the biometric photos on citizens' ID cards and their selfies. Citizens should not have just one selfie, they should have different facial expressions, so the conditions could simulate reality. In the literature, there are various studies focusing on biometric photos. Despite the presence of numerous facial data sets identified from literature reviews conducted on freely accessible internet databases, it was understood that these were not suitable for the targeted use cases. It is established through research that demographic factors influence the performance of algorithms, and unfortunately, no information on Turkish participants was found in any of the existing data sets. That's why we had to collect our own dataset. We sought approval for our completely transparent data gathering procedure from the Human Research Ethics Committee of Health and Engineering Sciences at Istanbul Technical University. The committee gave their consent, denoted by the approval number ITU-SM.INAREK-2022-02. Following the receipt of this authorization, the Scientific Research Projects Unit at Istanbul Technical University provided financial assistance. All ethical and fiscal obligations were met accordingly. In the data set creation phase of our project which aims to determine the algorithm that recognizes the faces of Turkish people best, we have reached 1032 participants. At every conversation with candidate participant, the goals, expectations, and rights of the project were communicated to the participants both orally and in written form. Participants provided their signatures on a consent form (endorsed by the Ethics Committee) that outlined the project, its risks, measures taken, the rights of the participants (like the voluntary nature of participation and the right to irreversible removal of all participant's data from the dataset at any moment), and contact information at any time. Following this, participants were requested to show their Turkish identity cards. We used the Near Field Communication (NFC) Read application, previously installed on the SM-G990E model mobile phone (exclusively used for the project) through the app store, to transfer the participant's biometric photo from their ID card to the phone's memory. After completing this step, the participant, given the mobile phone, captured selfies in five different facial expressions(normal, smile, laughter, surprised, angry). NFC, a wireless technology used for small data transfers in numerous scenarios, was utilized in our case as the ID cards have an NFC tag, and the mobile phone supports NFC technology. The size of the selfie picture was automatically adjusted by the mobile phone based on default configurations, and thus, the size might vary from selfie to selfie.

When data collection step was over, we proceeded with face detection issue at the lab environment. The face detection algorithm showing the best performance was identified among the Haar Cascade and RetinaFace, and the entire data set was processed through this algorithm, allowing the recognition of faces in the photographs. The next step involved the creation of a test set consisting of biometric and selfie pairs. When forming the test set, a balanced test distribution was observed for the sake of accurate results. In particular, the face in every biometric photo was tested against the faces in all selfies (let's call them positive selfies) belonging to the person in the biometric photo. In addition, the face in every biometric photo was compared with faces in other people's selfies (let's call them negative selfies) as many times as there were selfies of the person. As an extra condition, it was ensured that each negative selfie belonged to a different person. In order to draw more accurate inferences from the test results, five sets were generated from the aforementioned biometric-selfie pair test set using five different root values that provide (pseudo) randomness, and tests were conducted on each of them. The threshold giving the highest accuracy value in the ROC curve generated as a result of the tests performed for multiple threshold values with five different test sets for each model (FaceNet and FaceNet512) was identified, and the accuracy value, true positive rate, and false positive rate at this point were declared. As five different results were obtained under the same parameters, the results have been shared with a "standard error". According to the results obtained, the FaceNet model demonstrated higher accuracy than the other, at 97.95%, so detailed tests were continued on this model. The results obtained from the FaceNet model, which was also tested in detail with respect to gender, with glasses without glasses, studio-free environment, studio low light-studio normal light, were also shared. It was understood that the detailed tests did not exhibit significant deviation compared to the general performance results, leading to the conclusion that the model is robust and thus, the result of 97.95% can be trusted. On the other hand, it was understood that it would be more appropriate to make various improvements in the FaceNet model for daily use in Turkey. Indeed, a model that makes a mistake in 3 out of every 100 people could victimize 300,000 people out of 10 million. Therefore, as a result of our study, it is thought that the FaceNet model still needs to be improved.

In our future studies, we plan to surpass the current accuracy performance we have achieved by enhancing our data set and using transfer learning methods. The final point that needs to be emphasized is that the concept of "liveness detection" falls outside the scope of this study. In accordance with the "step-by-step" nature of the research, it is planned to address the issue of liveness detection in future studies.