Semantic video analysis for surveillance systems
Gözetim sistemleri için anlamsal video analizi
Yazar: KARANİ KARDAŞ
Danışman: PROF. DR. AHMET COŞAR ; PROF. DR. FEHİME NİHAN ÇİÇEKLİ
Orta Doğu Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2018
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Bu tez video olaylarının anlamsal çıkarımı konusunda geliştirilmiş çalışmaları
sunar. Bu bağlamda, gözetim alanında karmaşık video olaylarının otomatik
algılanması ve çıkarılması için anlamsal kuralların ve olay modellerinin
öğrenilebileceği veya kullanıcı tarafından tanımlanabileceği bir gözetim video
analizi sistemini (SVAS) tanıtmaktadır. SVAS kapsamında, Interval-Based
Spatio-Temporal Model (IBSTM) (Aralık Tabanlı Uzamsal ve Zamansal
Model) adlı bir olay modeli yöntemi önerilmiştir. SVAS, önceden tanımlanmış
esik değerleri olmadan eylem modellerini ve olay modellerini öğrenebilir ve
anlaşılabilir ve yönetilebilir IBSTM olay modelleri üretir. Melez makine
öğrenme yöntemleri önerilir ve kullanılır. Bir olayın uzamsal ve zamansal
hareket analizini yansıtan Threshold Model (Esik Modeli) isimli bir küme
özellik modeli, ilk model olarak tutulur. kinci model olarak, tanıma
aşamasındaki arama kümesini azaltmak için Bag of Actions (BoA) (Eylem
Çantası) modeli kullanılmıştır. Kullanıcılar için anlaşılabilir ve yönetilebilir
mantık yüklemleri sağlayan Markov Logic Network (MLN) (Markov Mantıksal Ağ) modeli, üçüncü model olarak tutulmaktadır. SVAS, sahip
olduğu aralık tabanlı hiyerarşik yapısı nedeniyle yüksek performanslı olay
tanıma kabiliyetine sahiptir. IBSTM' in her ana modeli için ilgili aday
aralıklarını belirler ve tüm modelleri bir bütün olarak kullanmak yerine ihtiyaç
duyulduğunda ilgili ana modeli kullanır. Bu çalışmanın ana katkısı, bir yandan
öğrenme kabiliyeti ile insan müdahalesini azaltmak, diğer yandan da
yönetilebilir olay modeli yöntemi yoluyla gerektiğinde insan müdahalesini
mümkün kılacak şekilde, insanlar ve video bilgisayar sistemleri arasındaki
anlamsal boşluğu doldurmaktır. Çalışma, sahip olduğu makine öğrenme
yöntemleri aracılığıyla tüm bunları en verimli şekilde başarmaktadır. Önerilen
sistem CAVIAR, BEHAVE, CANTATA ve sentetik veri kümelerinden oluşan
farklı olay veri kümelerine uygulanmıştır. Deneysel sonuçlar yaklaşımımızın,
günümüz yaklaşımlara kıyasla olay tanıma performansını ve hassaslığını
geliştirdiğini göstermektedir.

Abstract:
This thesis presents novel studies about semantic inference of video events. In
this respect, a surveillance video analysis system, called SVAS is introduced
for surveillance domain, in which semantic rules and the definition of event
models can be learned or defined by the user for automatic detection and
inference of complex video events. In the scope of SVAS, an event model
method named Interval-Based Spatio-Temporal Model (IBSTM) is proposed.
SVAS can learn action models and event models without any predefined
threshold values and generates human readable and manageable IBSTM event
models. The thesis proposes hybrid machine learning methods. A set of feature
models named Threshold Model, which reflects the spatio-temporal motion
analysis of an event, is kept as the first model. As the second model, Bag of
Actions (BoA) model is used in order to reduce the search space in the
detection phase. Markov Logic Network (MLN) model, which provides
understandable and manageable logic predicates for users, is kept as the third
model. SVAS has high performance event detection capability due to its
interval-based hierarchical approach. It determines related candidate intervals
for each main model of IBSTM and uses the related main model when needed
rather than using all models as a whole. The main contribution of this study is
to fill the semantic gap between humans and video computer systems such that,
on one hand it decreases human intervention through its learning capabilities,
but on the other hand it also enables human intervention when necessary
through its manageable event model method. The study achieves all of them in
the most efficient way through its machine learning methods. The proposed
system is applied to different event datasets from CAVIAR, BEHAVE,
CANTATA and our synthetic datasets. The experimental results show that our
approach improves the event recognition performance and precision as
compared to the current state-of-the-art approaches.