Temporal anomaly localization
Videoda zamansal anomal yerelleştirme
Yazar: HALİL İBRAHİM ÖZTÜRK
Danışman: DOÇ. DR. AHMET BURAK CAN
Hacettepe Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2021
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Gözetim videolarındaki anomalileri tespit etmek, bilgisayarlı görüde önemli bir araştırma problemidir. Bu çalışmada, Anomali Tespit Ağı (ADNet) ve Nesne İlişkileri ile Anomali Tespit Ağı (ADOR) olmak üzere iki ağ öneriyoruz. Önerdiğimiz ADNet, videolardaki anormallikleri lokalize etmek için zamansal konvolüsyonları kullanan bir ağdır. Model, ardışık video klip pencerelerini kabul ederek çevrim içi veya çevrim dışı çalışabilir. Bir penceredeki video kliplerden çıkarılan özellikler, videolardaki anormallikleri etkili bir şekilde yerelleştirmeyi mümkün kılan ADNet'e gönderilir. ADNet'in anormal segment algılama performansını iyileştirmek için "AD Loss" fonksiyonunu öneriyoruz. ADOR ise, nesne ilişkilerini ve eylem bilgisini birleştirmek için nesne algılayıcı ve uzamsal-zamansal özellik çıkarıcı kullanır. Füzyon, çapraz kodlayıcıdan gelen dikkat belleğini kullanan çapraz dikkat katmanlarıyla sağlanır. Ek olarak, zamansal anomali tespiti için F1@k metriğini kullanmayı öneriyoruz. Segment tabanlı F1@k, zamansal segmentlerdeki küçük kaymaları cezalandırmamak ve kısa yanlış pozitif zamansal segment tahminlerini cezalandırmak açısından çerçeve tabanlı AUC'den daha iyi bir değerlendirme metriğidir. Ayrıca, UCF Crime \cite{sultani2018real} veri setini, iki anomali sınıfı daha ekleyerek ve tüm sınıflar için zamansal anomali açıklamaları sağlayarak genişletiyoruz. Son olarak, genişletilmiş UCF Crime veri setinde modelimizi etraflıca değerlendiriyoruz. ADNet ve ADOR yöntemleri ile F1@k metriğine göre elde edilen sonuçlar ümit vericidir.

Abstract:
Detecting anomalies in surveillance videos is an important research problem in computer vision.  In this thesis, we propose two deep network architectures for anomaly detection, Anomaly Detection Network (ADNet) and Anomaly Detection Network by Object Relations (ADOR). ADNet utilizes temporal convolutions to localize anomalies in videos. The model works online by accepting consecutive windows of video clips. Features extracted from video clips in a window are fed to ADNet, which allows to localize anomalies in videos effectively. We propose the AD Loss function to improve abnormal segment detection performance of ADNet. ADOR employs an object detector and spatio-temporal feature extractor to fuse object relations and action information. Fusion is achieved with cross attention layers which use attention memory from cross encoders. Additionally, we propose to use F1@k metric for temporal anomaly detection. Segment based F1@k is a better evaluation metric than frame based AUC in terms of not penalizing minor shifts in temporal segments and punishing short false positive temporal segment predictions. Furthermore, we extend UCF Crime \cite{sultani2018real} dataset by adding two more anomaly classes and providing temporal anomaly annotations for all classes. Finally, we thoroughly evaluate our model on the extended UCF Crime dataset. ADNet and ADOR produce promising results according to the F1@k metric.