Gerçek zamanlı güvenlik kamerası videolarının insan tabanlı özetlenmesi
Human based real time surveillance video summarization
Yazar: M. SAİD AYDEMİR
Danışman: YRD. DOÇ. DR. M. ELİF KARSLIGİL
Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2012
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Gauss karışım modeli = Gaussian mixture model ; Kalman filtre = Kalman filter ; Şablon eşleme = Template matching

Özet:
Bu tez çalışmasında güvenlik kameralarından alınan video görüntülerinin insan tabanlı özetlemesini yapan bir sistem tasarlanmış ve gerçekleştirilmiştir. Önemli bir olay gerçekleştiğinde, bazen kayıtların saatler süren bölümlerinin incelenmesi gerekmektedir. Aynı zamanda yapılan kayıtların tamamının saklanması mümkün olmadığından, belirli aralıklarla eski kayıtlar silinmekte, bu durumda da gerektiğinde istenilen kayıtlara ulaşmak her zaman mümkün olmamaktadır. Bu nedenlerden dolayı bu görüntülerin özetlenerek kısaltılması ve sadece anlamlı parçalarının kullanılması bir gereklilik haline gelmiştir.Çalışma gerçekleştirilirken ön işlem adımları olarak Gauss Karışım Modeli ile ön plan çıkarımı yapılmıştır. Daha sonra çıkarılan ön plan Blob Analizi ile çerçeve içine alınmıştır. Çerçeve içine alınan nesnenin hareket bilgisini elde etmek için optik akış yöntemi kullanılmıştır. Hareket bilgisi çıkarılan nesneye yönlü gradyanlar yöntemi uygulanarak özellik çıkarımı yapılmıştır.Her nesne için çıkarılan yönlü gradyan özellikleri kullanılarak, çevrimdışı olarak oluşturulan eğitim seti yardımıyla Destek Vektör Makinesi yöntemi kullanılarak nesnenin insan olup olmadığına karar verilmiştir. Eğer nesne insan ise Kalman Filtresi ile insan takibi gerçekleştirilir. Yönlü gradyan bilgilerini taşıyan histogramlara zaman bilgisi eklenerek, video boyunca nesneye ait hareket bilgisi sürekli hale getirilmiştir. Sürekli hale getirilen gradyan bilgisi üzerine Şablon Eşleme yöntemi uygulanarak hareket kalıpları ve bu hareket kalıplarının tekrar başlangıçları bulunmuştur. Bulunan hareket kalıplarının geçiş noktaları da hareket geçişleri olarak işaretlenmiştir. Hareket geçişleri özet video için videonun önemli anlarıdır.Çalışma 4 ayrı veri setinde test edilmiştir. Sistemin özetleme başarısı, periyodik hareketleri tespit etme başarısıdır. İlk olarak test edilen veri seti genel kullanıma açık olan Weizmann İnsan Hareketi Veri Seti'dir. Bu veri setinden 6 kişiye ait 9 farklı hareket için özetleme işlemi gerçekleştirilmiştir. Bu örneklerde %89,47 özetleme başarısı tespit edilmiştir. İkinci kullanılan veri setinde güvenlik kamerası kayıtlarında olaşabilecek çeşitli durumlar için senaryolar 3 farklı kişi tarafından gerçekleştirilmiştir. Veri seti üzerinde gerçekleştirilen test çalışmaları sonucunda %93,44 başarı oranı elde edilmiştir. İkinci veri setiyle benzer senaryoların farklı kamera açısıyla gerçekleştirildiği üçüncü bir veri seti üzerinde yapılan denemeler sonucunda %89,29 başarı oranı yakalanmıştır. Birden fazla kişinin bulunduğu videolarda ise %75,76 gibi bir başarı gözlemlenmiştir.

Abstract:
In this thesis, a human based video summarization system, which receives video frames from surveillance cameras, was designed and implemented. When an important event happens, sometimes surveillance video records should be examined for hours. At the same time, old entries are deleted at regular intervals because storing of all records is not feasible. In this case it is not always possible to reach the needed records. For these reasons, shortening by summarizing and using only the significant parts of these records have become a necessity.In this work, as a pre-processing step Gaussian Mixture Model is used for foreground extraction. Then the foreground was taken into the frame by using Blob Analysis. Optical flow method is used to obtain information on the object motion within frames.Histogram of Gradients method was applied to motion information of the object for feature extraction.Histogram of gradient features extracted for each object by using Support Vector Machine method and offline generated training set are used to decide the object whether human or not. If the object is human, human tracking is performed with the Kalman Filter. During the video motion information of object has been made continuous by adding time information to histograms with gradient information. Template matching method is applied on the continuous gradient information to find beginnings of movement patterns and beginnings of repetition of the movement patterns. Transition points of the movement patterns are also marked as movement transitions. Movement transitions are the important video moments for the summary video.This study was tested on 4 different datasets. Summarization success rate of the system is the success of detecting periodic movements.First, Weizmann Human Action Database, which is available for public use, is used to test. In this dataset, summary is achived for 6 people with 9 different actions. %89,47 summarization success rate was found in these examples. In the second dataset various situation scenarios that may occur in surveillance video records were performed by 3 different people. As a result of testing on this dataset %93,44 success rate was obtained. %89,29 success rate was achived as a result of test with the third dataset, which contains scenarios similar to the second dataset with a different camera angle. %75,76 success rate is observed with multiple human videos.