Derin öğrenme yöntemleriyle imza sahteciliğinin tespiti
Detection of signature forgery with deep learning methods
Yazar: MEHMET TÜRKAY YOLDAR
Danışman: PROF. DR. NERGİS CANTÜRK ; PROF. DR. RECEP ERYİĞİT
Ankara Üniversitesi / Sağlık Bilimleri Enstitüsü / Adli Bilimler Ana Bilim Dalı / Kriminalistik Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Adli Tıp = Forensic Medicine ; Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Evrişimli sinir ağları = Convolutional neural networks ; Yapay sinir ağları = Artificial neural networks

Özet:
Bu tez çalışmasında, adli belge incelemelerinin önemli bir ayağını oluşturan imza sahteciliği tespiti görevinin derin öğrenme yöntemleriyle gerçekleştirilmesi amaçlanmıştır. Bu amaç doğrultusunda, çeşitli derin öğrenme mimarileri (VGG16, ResNet18, ResNet50, Inception, Xception, EfficientNet ve Vision Transformer) kullanılarak farklı modeller eğitilmiştir. Modeller sıkıştırma ve uyarım dikkat mekanizması ile çok başlıklı öz dikkat mekanizması ile geliştirilmiştir. Model sonuçları Bütünleşik Gradyanlar yöntemi ile görselleştirilmiştir. Bu sayede modelin karar süreçleri açıklanarak alan uzmanlarına açıklanabilir ve şeffaf bir karar desteği sağlanması hedeflenmiştir.

Farklı mimarilerin karşılaştırıldığı deneylerde elde edilen bulgular farklı başarım ölçütleri ile değerlendirilmiştir. Xception ve ResNet50 modelleri sırasıyla %93,19 ve %91,04 doğruluk oranı ile en yüksek başarım gösteren iki mimari olmuştur. Sonuçlar modellerin sahte imzaları tespit etmede oldukça başarılı olduğunu göstermektedir.

Veri seti büyüklüğünün model başarımına etkisi incelenmiş ve büyük veri setleriyle eğitilen modellerin genelleme yeteneğinin daha yüksek olduğu görülmüştür. Küçük veri setleriyle eğitilen modellerin aşırı öğrenme eğilimi gösterdiği ve genelleme yeteneklerinin düşük olduğu gözlemlenmiştir.

Birden fazla mukayese imzanın kullanıldığı karşılaştırma deneyleri yapılmış ve mukayese imza sayısının arttıkça başarımın yükseldiği gözlemlenmiştir. İki mukayese imzası kullanıldığında durumda doğruluk oranı %91,90 iken, beş mukayese imzası kullanıldığında bu oran %94,10'a yükselmiştir. Bu deneyde farklı birleştirme operatörlerinin etkinliği de incelenmiş, sonuçlar arasında istatistiksel olarak anlamlı bir fark bulunamamıştır.

Bu çalışmada elde edilen sonuçlar, imza sahteciliği tespitinde derin öğrenme modellerinin etkinliğini ve dikkat mekanizmalarının model başarımına olan katkısını ortaya koymaktadır. Sonuçların anlamlı bir şekilde görselleştirilebilmesi, bu tür yaklaşımların alan uzmanları tarafından kabul göreceğine işaret etmektedir. Derin öğrenme yöntemlerinin kullanımının yaygınlaşması adli belge incelemelerinde daha objektif ve güvenilir değerlendirmeler yapılmasına olanak tanıyacaktır.

Abstract:
In this thesis, the objective is to perform the task of signature forgery detection, a crucial step in forensic document examinations, using deep learning methods. For this purpose, different models were trained using various deep learning architectures, including VGG16, ResNet18, ResNet50, Inception, Xception, EfficientNet, and Vision Transformer. These models were enhanced with a squeeze-and-excitation attention mechanism and a multi-head self-attention mechanism. The results of the models were visualized using the Integrated Gradients method. This approach explains the decision processes of the model and aims to provide explainable and transparent decision support to domain experts.

The results obtained from experiments comparing different architectures were evaluated using various performance criteria. The Xception and ResNet50 models were the two highest performing architectures, achieving accuracy rates of 93.19% and 91.04%, respectively. These results demonstrate the models' high effectiveness in detecting forged signatures.

The effect of data set size on model performance was examined, revealing that models trained with large data sets exhibited higher generalization ability. Conversely, models trained with small data sets tended to overfit and showed low generalization ability.

Comparison experiments were conducted using multiple reference signatures, revealing that performance improved with an increased number of reference signatures. The accuracy rate was 91.90% with two reference signatures and increased to 94.10% with five reference signatures. The effectiveness of different merging operators was also examined in this experiment, and no statistically significant difference was found between the results.

The results obtained in this study demonstrate the effectiveness of deep learning models in signature forgery detection and the contribution of attention mechanisms to model performance. The ability to visualize the results meaningfully indicates that such approaches will be accepted by experts in the field. The widespread use of deep learning methods will enable more objective and reliable evaluations in forensic document examinations.