Mikroservis ile görüntü işleme tabanlı kimlik tanıma ve canlılık analiz sistemi
Image processing based identity recognition and liveness analysis system with microservice
Yazar: ÖMER CAN ESKİCİOĞLU
Danışman: PROF. DR. ALİ HAKAN IŞIK
Burdur Mehmet Akif Ersoy Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Derin öğrenme = Deep learning ; Görsel nesne tanıma = Visual object recognition ; Görüntü dönüşümleri = Image transformations ; Görüntü işleme yöntemleri = Image processing methods ; Görüntü kalitesi = Image quality ; Görüntü tanıma = Image recognition

Özet:
Dijital kimlik doğrulama, bireylerin veya sistemlerin dijital ortamlarda kimliklerini tespit etmek ve doğrulamak için kullanılan bir süreçtir. Bu süreç, genellikle kullanıcı adları, parolalar, biyometrik veriler (parmak izi, yüz tanıma, retina tarama gibi), tek kullanımlık şifreler ve diğer güvenlik protokollerini içerir. Çevrimiçi hesaplar, finansal işlemler, sağlık kayıtları ve diğer dijital platformlarda güvenliği artırmak için yaygın olarak kullanılan dijital  kimlik doğrulama yöntemleri, kullanıcı bilgilerini koruyarak yetkisiz erişimlere karşı savunma sağlamayı amaçlamaktadır. Bu çalışmada, Türkiye Cumhuriyet Kimlik Kartı görüntülerinden kart bilgilerinin optik karakter tanıma yöntemiyle çıkarılması hedeflenmiştir. Ayrıca, kimlik kartında bulunan yüz görüntüsü ile kart sahibinin kimlik kartını tanıyan kişi olup olmadığını belirlemek için yüz benzerlik analizi ve canlılık analizi yapılmıştır. Görüntü iyileştirmesi için CURL derin öğrenme mimarisi kullanılmış, ardından YOLOv8 Örnek Segmentasyonu ile kimlik kartının konumu %99,2 mAP skoru ile belirlenmiştir. Dışbükey noktalar üzerinden maksimum alanı tespit eden bir arama algoritması geliştirilmiş ve bu algoritma genetik algoritma ile optimize edilmiştir. Kimlik kartındaki Türk Bayrağı ve yüz görüntüsü tespit edilmiş, perspektif düzenlemesi yapılarak kartın köşe noktaları belirlenmiştir. Türk Bayrağının tespiti için YOLOv8 nesne tespiti modeli %97,6 mAP skoru ile eğitilmiştir. Metin tespiti için CRAFT modeli kullanılmış, ardından Otsu yöntemi ile optimal eşik değeri tespiti yapılmıştır. Görüntü kalitesini artırmak için Görüntü Süper Çözünürlüğü (ISR) modelleri kullanılmış ve TesseractOCR, DonutOCR ve TrOCR modelleri ile metin okuma işlemi gerçekleştirilmiştir. Yüz tanıma ve benzerlik analizi için RetinaNet + Arcface modeli kullanılmış, canlılık analizi için poz tahminleme mimarisi olan 6DRepNet modeli kullanılmıştır. Sistemin mikroservis mimarisine göre tasarımı tamamlanmıştır. Yapılan sistemin performansları çalışmada sunulmuştur.

Abstract:
Dijital identity verification is a process used to identify and authenticate individuals or systems in digital environments. This process typically involves usernames, passwords, biometric data (such as fingerprints, facial recognition, retina scanning), one-time passwords, and other security protocols. Digital identity verification methods commonly used to enhance security in online accounts, financial transactions, health records, and other digital platforms aim to provide defense against unauthorized access while safeguarding user information. In this study, the goal was to extract card information from images of the Turkish Republic Identity Card using optical character recognition (OCR) methods. Additionally, facial similarity analysis and liveness analysis were conducted to determine if the person presenting the ID card is its legitimate owner. The CURL deep learning architecture was utilized for image enhancement, followed by YOLOv8 Instance Detection for card positioning with a 99.2% mAP score. A search algorithm was developed to detect the maximum area based on convex points, and this algorithm was optimized using genetic algorithms. The Turkish flag and facial image on the ID card were identified, and corner points of the card were determined through perspective correction. YOLOv8 object detection model for the Turkish flag achieved a 97.6% mAP score. The CRAFT model was used for text detection, followed by determining the optimal threshold value using the Otsu method. Image Super-Resolution (ISR) models were employed to enhance image quality, and text reading was performed using TesseractOCR, DonutOCR, and TrOCR models. For facial recognition and similarity analysis, the RetinaNet + Arcface model was used, while the 6DRepNet model with pose prediction architecture was utilized for liveness analysis. The system design was completed according to a microservices architecture, and the performance of the implemented system is presented in the study.