Hibrit makina öğrenmesi algoritmalarıyla video görüntülerinde anomali tespiti
Video anomaly detection with hybrid machine learning algorithms
Yazar: HAYATİ TUTAR
Danışman: PROF. DR. ALİ GÜNEŞ
İstanbul Aydın Üniversitesi / Lisansüstü Eğitim Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Doktora, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Mühendislik Bilimleri = Engineering Sciences
Dizin: Bilgisayarla görme = Computer vision ; Görüntü analizi = Image analysis ; Görüntü işleme = Image processing ; Görüntü işleme algoritmaları = Image processing algorithms ; Görüntü işleme-bilgisayarlı = Image processing-computer assisted

Özet:
Son yıllarda teknolojinin hızla gelişmesiyle beraber, kamera kullanım alanları ve video görüntüsü üretimi de aynı hızla artmaktadır. Dolayısıyla görüntü işleme tekniklerinin, hız, performans ve kaynak kullanımı açısından maksimum oranda geliştirilmesi ve iyileştirilmesine büyük bir ihtiyaç vardır. Özellikle kalabalık ve hareketli alanlarda anomalileri doğru olarak tespit edebilmek, yanlış tespitleri (false positive) en aza indirerek, başarım oranını artırmak zorlayıcı bir durumdur. Bundan dolayı çalışmamızda, birden fazla makine öğrenmesi algoritması ile Piksel bazlı video anomali tespiti (Piksel Based Video Anomaly Detection (PBVAD) ) ve Frame bazlı video anomali tespiti (Frame Based Video Anomaly Detection (FBVAD)) modelleri birleştirilerek, hibrit bir video anomali tespiti modelinin kullanılması önerilmiştir. PBVAD modelinde ile Spatio-Temporal (ST)'ı referans alan "Motion Influence Map (MIM)" algoritması, FBVAD modelinde ise k-Nearest Neighbor (kNN) ve Support Vector Machine (SVM)" makine öğrenmesi algoritmaları hibrit bir şekilde kullanılmıştır. Çalışmamızın diğer bir önemli özelliği, önceden üzerinde çok fazla çalışma yapılmamış olan, gerçek dünyaya dair 128 saatlik orijinal görüntüler içeren, UCF-Crime veri seti üzerinde, hibrit algoritmalarla başarımı yüksek anomali tespiti yapılmış olmasıdır. Çalışmamızın başarım oranı, FBVAD-kNN modeli algoritması ile yapılan testlerde ortalama olarak 98.0 %'dir. Bununla beraber, PBVAD-MIM modeli algoritması ile yapılan testlerde ortalama olarak 80.7%'dir. PBVAD-MIM algoritmasıyla yapılan piksel bazlı anomali tespiti çalışmalarımızda, pikseller arasındaki hız ve değişim farkı büyük olan video görüntülerinde, başarım oranlarının daha yüksek, pikseller arasındaki hız ve değişim farkı küçük olan video görüntülerinde ise, başarım oranlarının daha düşük olduğu gözlemlenmiştir. Çalışmamızın, video görüntülerinde, gerçek zamanlıya yakın bir şekilde anomali durumların tespit edilerek, olası zararlı etkilerinin önlenmesine, önemli düzeyde katkı sağlayacağı öngörülmektedir.

Abstract:
With the rapid development in technology in recent years, the use of cameras and the production of video and image data have similarly increased. Therefore, there is a great need to develop and improve video surveillance techniques to their maximum extent, particularly in terms of their speed, performance, and resource utilization. It is challenging to accurately detect anomalies and increase the performance by minimizing false positives, especially in crowded and dynamic areas. Therefore, this study proposes a hybrid video anomaly detection model combining multiple machine learning algorithms with Piksel -based video anomali detection (PBVAD) and frame-based video anomali detection (FBVAD) models. In the PBVAD model, the motion influence map (MIM) algorithm based on spatio–temporal (ST) factors is used, while in the FBVAD model, the k-nearest neighbors (kNN) and support vector machine (SVM) machine learning algorithms are used in a hybrid manner. An important result of our study is the high-performance anomaly detection achieved using the proposed hybrid algorithms on the UCF-Crime data set, which contains 128 h of original real-world video data and has not been extensively studied before. The AUC performance metrics obtained using our FBVAD-kNN algorithm in experiments were averaged to 98.0%. Meanwhile, the success rates obtained using our PBVAD-MIM algorithm in the experiments were averaged to 80.7%. In our pixel-based anomaly detection studies carried out with the PBVAD-MIM algorithm, it was observed that the performance rates were higher in video images with a large speed and change difference between pixels, and that the performance rates were lower in video images with a small speed and change difference between pixels. It is anticipated that our study will contribute significantly to preventing possible harmful effects by detecting anomalies in video images in near real time.