Derin öğrenme yöntemleri ile görüntü üzerinden yoklama sistemi tasarımı
Attendance system design from image with deep learning methods
Yazar: ULAŞ ARLI
Danışman: DOÇ. DR. ERCAN BULUŞ
Tekirdağ Namık Kemal Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Eğitim sistemlerinde katılımın izlenmesi ve devamsızlık takibi, öğretmenlerin etkili sınıf yönetimi ve öğrenci performansının değerlendirilmesi açısından kritik bir öneme sahiptir. Ancak, bu süreçlerin manuel olarak yürütülmesi zaman alıcı ve zorlayıcı olabilir. Günümüzde otomatik yoklama sistemlerinin kullanımı, bu süreçleri optimize ederek öğretmenlerin iş yükünü hafifletmek ve ders sürelerini daha verimli kullanmalarını sağlamak için önemli bir çözüm olarak ortaya çıkmaktadır. Özellikle derin öğrenme yöntemlerinin gelişmesiyle birlikte, yüz biyometrisi tabanlı otomatik yoklama sistemleri yaygınlaşmış ve otomatik katılım izlemeyi daha hızlı ve güvenilir hale getirmiştir. Ancak, derin öğrenmenin yüz tanıma alanı üzerindeki çalışmaları, sürekli olarak yeni mimarilerin geliştirilmesiyle birlikte ilerleyen ve otomatik yoklama sistemlerinin başarımlarını her seferinde bir adım öteye taşıyan dinamik bir alandır. Bu bağlamda, bu çalışmada RetinaFace ve ArcFace derin öğrenme modellerini kullanarak sınıf ortamında çekilen görüntüler üzerinden otomatik olarak yoklama alabilen ve görevini yerine getirirken özgün bir eşleştirme algoritması kullanan kütüphane formunda bir uygulama tasarımı önerilmiştir. Geliştirilen uygulama, gerçek hayatta toplamda 97 öğrenciye sahip 5 farklı sınıftan ve 105 farklı ders üzerinden derlenen bir veri setiyle test edilmiş ve yüz tanıma aşamasında %99,84, yoklama alma işleminde ise %97,14 oranında başarı elde etmiştir. Bu performans sonuçları, geleneksel bir otomatik yoklama uygulamasının aynı modelleri kullanarak sunacağı salt başarı seviyesinin üstüne çıkmıştır.

Abstract:
Monitoring attendance and tracking non-attendance in education systems is critical for teachers effective classroom management and evaluation of student performance. However, carrying out these processes manually can be time-consuming and challenging. Nowadays, the use of automated attendance systems is emerging as an important solution to optimise these processes to ease the workload of teachers and enable them to use their class time more efficiently. Especially with the development of deep learning methods, face biometrics-based automated attendance systems have become widespread, making automatic attendance monitoring faster and more reliable. However, deep learning in the field of face recognition is a dynamic field that is constantly advancing with the development of new architectures and improving the performance of automatic attendance systems one step at a time. In this context, this study proposes an application design in the form of a library that can automatically take attendance over images taken in the classroom environment using RetinaFace and ArcFace deep learning models and uses a unique matching algorithm while performing its task. The developed application was tested in real life with the data set collected in 105 different lessons from 5 different classes with a total of 97 students and achieved 99.84% success in face recognition and 97.14% success in taking attendance. These performance results exceeded the absolute success level of a traditional automatic attendance application using the same models.