El yazısı imza görüntülerinin sınıflandırılması için özgün bir derin öğrenme modeli
A novel deep learning model for classifıcation of handwritten signature images
Yazar: YASİN ÖZKAN
Danışman: PROF. DR. PAKİZE ERDOĞMUŞ
Düzce Üniversitesi / Fen Bilimleri Enstitüsü / Disiplinlerarası Elektrik-Elektronik ve Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Doktora, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
İmza; bankacılık, güvenlik kontrolleri, sertifikalar ve sözleşmeler için tanımlama aracı olarak kullanılmaktadır. Ayrıca incelenmesi gereken hukuki konularda da etkin rol üstlenmektedir. Bu noktadan hareketle bu tez çalışmasında, imza görselleri gerektiren alanlarda çok hızlı çalışan ağ mimarilerinin tasarlanması amaçlanmıştır. Bu amaçla mevcut katmanlarla yeni bir Si-CNN ağ mimarisi tasarlanmıştır. Modelin sınıflandırma performansını arttırmak için "Si-CL" adı verilen yeni bir sınıflandırma katmanı geliştirilmiştir. "Si-CNN" ağ tasarımında kullanılan sınıflandırma katmanının yerine yeni oluşturulan "Si-CL" katmanı eklenerek "Si-CNN+YS" ağ mimarisi de geliştirilmiştir. Ayrıca "Si-CNN" modeline SVM(Support Vector Machine) katmanı da eklenerek "Si-CNN+SVM" modeli de geliştirilmiştir. Si-CNN, Si-CNN+YS ve Si-CNN+SVM modelleri üç veri seti ile eğitilmiştir. İmza görüntülerinin eğitimi için  "Si-Signatures", "Si-Signatures-Fake" ve "Cedar" veri setleri kullanılarak denemeler yapılmıştır. Geliştirilen ağların performansını karşılaştırmak için önceden eğitilmiş ağlardan GoogleNet, DenseNet201, Inceptionv3 ve ResNet50 kullanılmıştır. "Si-Signatures", "Si-Signatures-Fake" ve "Cedar" veri setlerinde sırasıyla %98,64, %95,91 ve %99,09 doğruluk oranları alınmış ve en başarılı model Si-CNN+YS bulunmuştur. Çalışmanın bulguları, önerilen ağ modellerinin üç farklı el yazısı imza görüntüsünden özellikleri öğrenebildiğini ve diğer kıyaslama modellerine göre daha yüksek doğruluk elde edebildiğini göstermiştir. Eğitilen ağların test başarılarına bakıldığında Si-CNN+YS ağının hem doğruluk hem de hız açısından daha iyi performans sunduğu görülmektedir. Üstün performansı nedeniyle Si-CNN, Si-CNN+YS ve Si-CNN+SVM imza uzmanları tarafından suç tespiti ve sahtecilik de dahil olmak üzere çeşitli uygulamalarda yardımcı olarak kullanılabilir.

Abstract:
Signatures are used as a means of identification for banking, security controls, certificates and contracts. It also plays an active role in legal issues that need to be examined. From this point of view, in this thesis, it is aimed to design network architectures that work very fast in areas that require signature images. For this purpose, a new Si-CNN network architecture was designed with existing layers. A new classification layer called "Si-CL" was developed to improve the classification performance of the model. "Si-CNN+YS" network architecture was also developed by replacing the classification layer used in the "Si-CNN" network design with the newly created "Si-CL" layer. In addition, the "Si-CNN+SVM" model was developed by adding the SVM (Support Vector Machine) layer to the "Si-CNN" model. Si-CNN, Si-CNN+YS and Si-CNN+SVM models were trained with three datasets. For the training of signature images, experiments were conducted using "Si-Signatures", "Si-Signatures-Fake" and "Cedar" datasets. GoogleNet, DenseNet201, Inceptionv3 and ResNet50 were used to compare the performance of the developed networks. For "Si-Signatures", "Si-Signatures-Fake" and "Cedar" datasets, 98.64%, 95.91% and 99.09% accuracy rates were obtained respectively and the most successful model was found to be Si-CNN+YS. The findings of the study show that the proposed network models can learn features from three different handwritten signature images and achieve higher accuracy than other benchmark models. The test performance of the trained networks shows that the Si-CNN+YS network performs better in terms of both accuracy and speed. Due to its superior performance, Si-CNN, Si-CNN+YS and Si-CNN+SVM can be used by signature experts as an aid in various applications including crime detection and forgery.