Video dosyalarında yüz tespiti, tanıma ve video içerisindeki zamana göre işaretleme
Face detection, recognition and time marking in video files
Yazar: HÜSEYİN GÖZE
Danışman: DOÇ. DR. OKTAY YILDIZ
Gazi Üniversitesi / Bilişim Enstitüsü / Bilgisayar Bilimleri Ana Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Bilim ve Teknoloji = Science and Technology
Dizin: Derin öğrenme = Deep learning ; Video = Video ; Yüz tanıma = Face recognition ; Zaman imge = Time image

Özet:
Akan video görüntülerinde gerçek zamanlı yüz tespiti, tanımlanması, görüntü içerisinde geçtiği zamanın ve konumun bulunması, video içindeki diğer yüzlerle ilişkilendirilmesi günümüzde yüksek öneme sahip bir konudur. Son yıllarda, hızlı bir şekilde gelişen bilgisayar donanımlarının ve yapay zeka, sinir ağları, derin öğrenme, makine öğrenmesi gibi metotların da yardımıyla yüz tanıma problemlerinde daha hızlı ve doğru sonuçlar almak mümkün hale gelmiştir. Fakat video görüntülerinde aynı kare içerisinde yer alan yüzlerin sayısı ve boyutları, yüzlerin doğru bir şekilde tespit edilmesini ve uygulanan modelin yanıt verme süresini olumsuz yönde etkilemektedir. Gerçekleştirilen bu çalışmada, video görüntüleri içerisinde yer alan yüzlerin daha hızlı ve doğru bir şekilde tespit edilmesi ve video görüntüsü içerisinde bulunma ve birliktelik bilgileri ile birlikte etiketlenmesi için derin öğrenme tabanlı yeni bir model önerilmiştir. Gerçekleştirilen deneysel çalışmada önerilen Evrişimli Sinir Ağı tabanlı modelin daha önce önerilen MTCNN (Multitask Cascaded Convolutional Networks), OPENCV-CNN(Open Source Computer Vision Library - Convolutional Neural Network), HOG+SVM(Histogram of Gradient + Support Vector Machine), SSD-CAFFEMODEL(Single Shot MultiBox Detector with Caffemodel) modellerine göre daha yüksek bir performans ve doğruluk oranına sahip olduğu gösterilmiştir. Gerçekleştirilen çalışmada kullanılan farklı çözünürlükteki video dosyalarının ilgili video görüntüsünün gerçek zamanından 1,54 ile 2,61 kat arasında daha hızlı şekilde işlenmiştir. İşlenme sonucunda tanımlanan kişiler veri tabanına başarılı bir şekilde kayıt edilmiştir. Elde edilen sonuçlara göre ortalama 78,36 FPS değerlerine ulaşan hızlarda yüz tespiti ve tanımlaması yapılmıştır.

Abstract:
Real-time face detection and identification in videos, finding them according to the time and location in the video, and associating them with other faces in the video is a matter of high importance nowadays. In recent years, the rapidly growing computer hardware and artificial intelligence, neural networks, deep learning, machine learning methods such as with the help of face recognition problems, it is possible to get faster and more accurate results. But the number and sizes of faces located in the same frame in video images affects negatively the correct detection of faces and the response time of the applied model. In this study, it was carried out to identify the faces in the video images more quickly and accurately and a new model based on deep learning has been suggested for being in a video image and tagging it together with association information. In an experimental study, it was shown that the proposed Convolutional Neural Network-based model has a higher performance and accuracy rate than the  MTCNN (Multitask Cascaded Convolutional Networks), OPENCV-CNN(Open Source Computer Vision Library - Convolutional Neural Network), HOG+SVM(Histogram of Gradient + Support Vector Machine), SSD-CAFFEMODEL(Single Shot MultiBox Detector with Caffemodel)  models as previously proposed. The video files of different resolutions used in the study were processed between 1.54 and 2.61 decker faster than the real-time of the corresponding video. As a result of the processing, the identified persons were successfully registered in the database. According to the results obtained, face recognition and identification were performed at speeds reaching an average of 78.36 FPS in this extent.