Bilgisayarlı görü ile yüz yüze sınavlarda şüpheli davranışların ortaya çıkarılması için derin öğrenme çerçevesi tasarımı
Designing a deep learning framework for unveiling suspicious behavior in face-to-face exams with computer vision
Yazar: DOĞU SIRT
Danışman: DR. ÖĞR. ÜYESİ EDİZ ŞAYKOL
Milli Savunma Üniversitesi / Atatürk Stratejik Araştırmalar ve Lisansüstü Eğitim Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Doktora, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Bilgisayarla görme = Computer vision ; Yapay zeka = Artificial intelligence

Özet:
Bu çalışma, yüz yüze sınavlarda kullanılan dijital kameralar tarafından kaydedilen görüntülerin analizi ve anormallik tespiti üzerine odaklanmakta ve sınavlardaki aktiviteleri yüksek doğrulukla tespit etmek için yeni bir model geliştirmeye odaklanmaktadır. Öncelikle, bu çalışma özelinde COPYNet Veri Kümesi oluşturulmuştur. Yaklaşık 30.000 görüntüden oluşan oldukça büyük bir koleksiyon olan bu veri kümesi, anormallik tespit algoritmalarının geliştirilmesi, doğrulanması ve performansının değerlendirilmesi için kullanılmaktadır. Veri kümesi, her biri belirli bir davranış kategorisiyle ilişkilendirilen beş farklı gruba dikkatlice ayrılmıştır. Bu amaçla, görüntü sınıflandırma probleminin çözümünde yüksek performans elde etmek için transfer öğrenme yöntemi, ResNet ön eğitimli modeli kullanılarak Faster R-CNN ve YOLOv5 algoritmalarıyla ayrı ayrı hibritleştirilmekte ve normal davranışı modelleyerek bir anormallik puanı elde etmek için derin bir sinir ağı çerçevesi (COPYNet) oluşturulmaktadır. COPYNet çerçevesi 0,90'lık bir hassasiyet, 0,88'lik bir geri çağırma ve 0,88'lik bir doğruluk sergilemektedir. Bu rakamlar, mevcut literatürle karşılaştırıldığında anormallik tespitinde önemli bir sıçramaya işaret etmektedir. Sunulan sonuçlar, modelin farklı davranış sınıflarını doğru bir şekilde ayırt etme yeteneğini vurgulamakta ve modeli yüz yüze sınavlar sırasında şüpheli davranışları tespit etme zorluğunun üstesinden gelmek için bir araç haline getirmektedir. Sonuç olarak, model olağandışı bir aktivite tespit ettiğinde, gözetmene gönderilebilecek bir uyarıyı tetiklemeyi ve sınav gözetmenleri için bir karar destek mekanizması olarak çalışmayı amaçlamaktadır. Elde edilen başarı oranlarına göre çalışmamız, yüz yüze sınavlar sırasında şüpheli davranışları tespit etmek için literatürdeki önceki çalışmalara kıyasla umut verici bir çözüm sunmaktadır.

Abstract:
This study focuses on the analysis and anomaly detection of images recorded by digital cameras used in face-to-face exams, and focuses on developing a new model to detect activities in exams with high accuracy. First of all, COPYNet Dataset is created as the centerpiece of this work. This dataset, which consists of a sizable collection of about 30,000 images, is essential for developing, verifying, and evaluating the performance of anomaly detection algorithms. The dataset is carefully segmented into five different groups, each of which is associated with a certain behavioral category essential for anomaly detection. For this purpose, in order to achieve high performance in solving the image classification problem, the transfer learning method is separately hybridized with the Faster R-CNN and YOLOv5 algorithms using ResNet pretrained model, and a deep neural network framework (COPYNet) is created to obtain an anomaly score by modeling normal behavior. Notably, COPYNet framework exhibits an exceptional precision of 0.90, recall of 0.88 and accuracy of 0.88. These numbers signify a substantial leap in anomaly detection when compared to the existing literature. The presented results highlight the model's ability to accurately discern between different activity classes, rendering it a promising tool for tackling the challenge of detecting suspicious behaviors during face-to-face exams. As a result, when the model detects an unusual activity, it is aimed at triggering an alert that can be sent to the proctor and operate as a decision support mechanism for exam invigilators. Based on the success rates obtained, our study offers a promising solution for detecting suspicious behavior during face-to-face exams compared to previous studies in the literature.