Bilgisayarlı görme yöntemleri ile yoklama listelerinin dijital ortama aktarılması ve imza sahteciliği tespiti
Transferring attendance lists to the digital platform with computer vision and detection of fraud in signature
Yazar: SEFA ÇETİNKOL
Danışman: DR. ÖĞR. ÜYESİ ALİ ŞENTÜRK
Isparta Uygulamalı Bilimler Üniversitesi / Lisansüstü Eğitim Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2021
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: Görüntü işleme-bilgisayarlı = Image processing-computer assisted ; Sayısal görüntü işleme = Digital image processing ; Yapay sinir ağları = Artificial neural networks ; Yazı karakterleri = Typefaces

Özet:
Bu tezde, bilgisayarlı görme yöntemleri kullanılarak yoklama listelerinin dijital tabloya aktarılması için iki yöntem önerilmiştir. Önerilen yöntemler kullanılarak öğrencilerin devam sayıları otomatik olarak hesaplanmıştır.
Ön işleme adımında fotoğraftaki yoklama kağıdı ve yoklama kağıdındaki imza hücreleri görüntü işleme yöntemleri kullanılarak tespit edilmektedir.
İmza tespiti için önerilen birinci yöntem "Kenar ve İskelet Yöntemi"dir. Bu yöntemde, hücrenin imza içerip içermediği sonucuna varmak için hücre kenarlarının ve iskelet yapılarının yatay ve dikey piksel sayıları geliştirilen algoritmada kullanılır.
İkinci yöntem 64 ve 128 filtreli Konvolüsyonel Sinir Ağları (CNN) kullanılarak geliştirilmiştir. Eğitilen CNN'ler hücrede imza bulunmasını tahmin eder.
Yoklama listelerindeki imza tespiti için geliştirilen yöntemlerin tahmin doğrulukları şu şekildedir: Kenar ve İskelet Yöntemi %97.61, 64 filtreli CNN %98.39 ve 128 filtreli CNN %98.48'dir. Yöntemlere karşılık gelen yürütme süreleri 64.24, 82.07 ve 92.81 saniyedir. Bu nedenle, yöntemlerin tahmin oranları çok yakınken, Kenar ve İskelet yöntemi, yürütme zamanı türünden, CNN tabanlı yöntemlerden %27.76 ve %44.47 daha yüksek performans gösterir.
Ayrıca, yoklama kağıdındaki imza sahteciliği için bir yöntem daha önerilmiştir. Yöntem CNN kullanılarak geliştirilmiştir ve %89.47 başarı oranı ile muhtemel imza sahteciliği ile ilgili bilgilendirme yapar.
Anahtar Kelimeler: Bilgisayarlı görme, Konvolüsyonel sinir ağları, Görüntü işleme, Optik karakter tanıma, Şekil iskeleti, Canny kenar tespiti
2021, 94 sayfa

Abstract:
In this thesis, two methods are proposed for transferring attendance lists to the digital spreadsheets using computer vision methods. The number of attendances of students is calculated automatically by using the proposed methods.
In the preprocessing step, the attendance paper in the photograph and signature cells on the attendance paper are detected by using image processing methods.
The first method proposed for signature detection is "The Edge and Skeleton Method". In this method, horizontal and vertical pixel numbers of the edges and skeletal structures of the cells are used in the developed algorithm to conclude whether the cell contains a signature or not.
The second method is developed by using 64 and 128 filtered Convolutional Neural Networks (CNN). The trained CNNs predict the presence of the signatures in the cells.
The prediction accuracies of the proposed methods for signature detection on the attendance papers are as follows: The Edge and Skeleton Method is 97.61%, CNN with 64 filters is 98.39% and CNN with 128 filters is 98.48%. The corresponding execution times of the methods are 64.24, 82.07, and 92.81 seconds. Thus, while the prediction ratios of the methods are very proximate, The Edge and Skeleton method outperforms the CNN based methods by 27.76% and 44.47% in terms of execution time.
Additionally, one more method is proposed for signature fraud on the attendance paper. The method is developed using CNN and informs for possible signature fraud with a success ratio of 89.47%.
Key Words: Computer vision, Convolutional neural networks, Optical character recognition, Image processing, Shape skeleton, Canny edge detection
2021, 94 pages