Çok kameralı nesne takibi tabanlı video sinopsis
Multi-camera object tracking based video synopsis
Yazar: KEMAL BATUHAN BAŞKURT
Danışman: PROF. DR. REFİK SAMET
Ankara Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2019
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Kameraların günlük hayatta kullanımının artmasıyla kayıt altında tutulan video miktarı her geçen gün artmaktadır. Etkili bir şekilde görsel tarama ve ilgilenilen olayların tüm veri içinden çıkarılması masraflı ve zaman alıcı bir sorun haline gelmektedir. Saatler süren video kayıtlarının bir kaç dakika içinde gözden geçirilmesine imkan sağlayan video sinopsis, bu soruna etkili bir şekilde çözüm üretmektedir. Video sinopsis, kaynak görüntüden çıkarılan aktivitelerin zaman düzleminde kaydırılarak en kısa zamanda en fazla aktivitenin eş zamanlı gösterimidir. 
Tez kapsamında, çok kameralı nesne takibi tabanlı yeni bir çevrimiçi video sinopsis sistemi geliştirilmiştir. Literatürdeki video sinopsis çalışmaları genellikle sadece aktivite optimizasyonuna odaklanmışken tez çalışmasında, kamera görüntüsünün alınmasından video sinopsis oluşturmaya kadarki süreç bütün olarak ele alınmıştır. Kapsamlı bir literatür taraması ile geliştirilen sistemin her adımındaki sorunlar tespit edilerek video sinopsisin genel başarımını artıracak şekilde gerekli katkılar yapılmıştır. Aktivite oluşturma aşamasında çevresel koşullardan minimum düzeyde etkilenmek adına daha önce video sinopsiste kullanılmamış gürbüz bir hareket algılama yöntemi iyileştirilerek kullanılmıştır. Video sinopsisin ihtiyaçları doğrultusunda uzun süreli takibe odaklanmış yeni bir korelasyon filtresi tabanlı nesne takip yöntemi geliştirilmiştir. Algoritmik akışta en kritik adım olan aktivite optimizasyonunu gerçek zamanlı ve etkili bir şekilde gerçekleştirecek grid haritası tabanlı yeni bir çevrimiçi optimizasyon yöntemi geliştirilmiştir. Kameralar arasında nesne eşleştirmesinde coğrafi kalibrasyon yöntemi, video sinopsis çalışmalarında ilk defa kullanılmıştır. Ayrıca tüm yöntemlerin gerçek zamanlı uygulamasını sağlayan, boru hattı mimarisine dayalı yeni bir video sinopsis kütüphanesi geliştirilmiştir. Çalışma kapsamında gerçekleştirilen performans karşılaştırmaları, geliştirilen video sinopsis sisteminin ve bu sistemin alt adımları için önerilen yöntemlerin literatürdeki öncü sistem ve yöntemlerden daha iyi sonuç verdiğini göstermiştir.

Abstract:
Amount of recorded video increases each passing day considering rapid increment on the usage of security cameras in daily life. Efficient video browsing and retrieval become computationally expensive and time consuming. Video synopsis, which allows to review hours of video in a couple of minutes, provides an effective solution to this problem. Video synopsis is simultaneous representation of the activities by shifting them in time domain to find the shortest distribution. 
In this thesis, a novel multi-camera object tracking based online video synopsis system is proposed. The whole processing pipeline starting from image capture to build video synopsis is considered and investigated in this thesis. After a comprehensive literature review, the problems in each step of the pipeline is identified and required contributions are made to increase the overall performance of video synopsis. Therefore, a motion detection method, which has not been used in video synopsis before, is improved to increase robustness against environment challenges. A novel visual object tracking method for long-term tracking according to the specified requirements of video synopsis is proposed. A novel grid-map based online activity optimization method is proposed for efficient real-time activity re-arrangement. Geographical coordinate of the activities is used to match objects among the cameras first time in video synopsis studies. Furthermore, a new video synopsis library that is based on pipeline architecture is built to perform all operations in real-time. Performance comparisons on publicly available datasets shows that the proposed system outperforms the state-of-the-art methods in the literature.