Sınıf videosu görüntülerinde arka plan çıkararak kopya teşebbüsü yakalama
Detecting cheating attempts in classroom videos by removing background
Yazar: MUAMBER UZUNKAYA
Danışman: DR. ÖĞR. ÜYESİ EDİZ ŞAYKOL
İSTANBUL BEYKENT ÜNİVERSİTESİ / Lisansüstü Eğitim Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Bu çalışma, sınıf ortamında yapılan yüz yüze sınavlarda kullanılan dijital kameralar tarafından kayıt altına alınan görüntülerin analizi ve normal olmayan davranışların tespiti ve arka planda bulunan objelerin çıkarılmasıyla oluşacak performans artışına odaklanmakta ve sınıf ortamında yapılan sınavlardaki eylemleri yüksek hassasiyetle tespit etmek için yeni bir model geliştirmeye odaklanmaktadır. Çalışaya COPYNet Veri Kümesi oluşturmayla başlanmıştır. Yaklaşık 30.000 görüntüden oluşan oldukça büyük bir koleksiyon olan bu veri seti, normal olmayan davranışları algılama algoritmalarının oluşturulması, doğrulanması ve arka plan nesnelerinin çıkartılması sonrası oluşan performans artışının değerlendirilmesi için kullanılmaktadır. Veri seti, davranış kategorilerine bağlı olarak beş farklı gruba bölünmüştür. Bu amaçla, görüntü sınıflandırma probleminin çözümünde yüksek performans elde etmek için transfer öğrenme yöntemi, ResNet ön eğitimli modeli kullanılarak Faster R-CNN ve YOLOv5 algoritmalarıyla ayrı ayrı hibritleştirilmekte ve normal davranışı modelleyerek bir normal olmayan davranış puanı elde etmek için derin bir sinir ağı çerçevesi (COPYNet) oluşturulmaktadır. COPYNet çerçevesi %90' lık bir hassasiyet, %88' lik bir geri çağırma ve %88' lik bir doğruluk sergilemektedir. Bu rakamlar, mevcut literatürle karşılaştırıldığında anormallik tespitinde önemli bir sıçramaya işaret etmektedir. Sunulan sonuçlar, modelin farklı davranış sınıflarını doğru bir şekilde ayırt etme yeteneğini vurgulamakta ve modeli yüz yüze sınavlar sırasında şüpheli davranışları tespit etme zorluğunun üstesinden gelmek için bir araç haline getirmektedir. Sonuç olarak, model normal olmayan bir aktivite tespit ettiğinde, gözetmene gönderilebilecek bir uyarıyı tetiklemeyi ve sınav gözetmenleri için bir karar destek mekanizması olarak çalışmayı amaçlamaktadır. Elde edilen başarı oranlarına göre çalışmamız, sınıf ortamında yapılan sınavlar sırasında kuşkulu hareketleri yakalamak etmek için literatürdeki önceki çalışmalara kıyasla daha iyi sonuçlar vermektedir.

Abstract:
This study focuses on the analysis of video recordings captured by digital cameras during face-to-face exams in a classroom setting. It aims to detect abnormal behaviors and improve performance by removing background objects. The goal is to develop a new model to accurately identify actions during classroom exams. The study begins with the creation of the COPYNet dataset, which comprises a substantial collection of approximately 30,000 images. This dataset is used to develop and validate algorithms for detecting abnormal behaviors and to evaluate the performance improvements achieved after background object removal. The dataset is divided into five different groups based on behavior categories.
To achieve high performance in solving the image classification problem, transfer learning is employed using the pre-trained ResNet model, which is hybridized separately with the Faster R-CNN and YOLOv5 algorithms. A deep neural network framework (COPYNet) is created to model normal behavior and generate an abnormal behavior score. The COPYNet framework demonstrates a precision of %90, a recall of %88, and an accuracy of %88. These figures represent a significant leap in anomaly detection compared to the existing literature.
The presented results highlight the model's ability to accurately distinguish between different behavior classes, making it a valuable tool for detecting suspicious behaviors during face-to-face exams. Consequently, when the model detects abnormal activity, it aims to trigger an alert that can be sent to the proctor, serving as a decision support mechanism for exam invigilators. Based on the achieved success rates, our study shows better results in capturing suspicious movements during classroom exams compared to previous studies in the literature.