Gözetim videolarının periyodik tekrar bilgileri kullanılarak özetlenmesi
Summarization of surveillance videos by using periodic recurrence information
Yazar: OKAN ÇANDIR
Danışman: DOÇ. DR. MİNE ELİF KARSLIGİL YAVUZ
Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2017
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Gözetim ve izleme amaçlı çok fazla miktarda kayıt yapılmakta, saklanılmakta ve gerektiğinde incelenmektedir. Bu kadar büyük miktardaki verinin hepsinin insan gözü ile incelenip analiz edilmeye çalışılması ve sadece önemli bilgilerin çıkarılması büyük bir efor gerektirmektedir. Bu zorluğu kolaylaştırabilmek ve büyük miktardaki veri saklama maliyetini azaltabilmek amacıyla son yıllarda farklı yöntemlerle video özetleme çalışmaları yapılmaktadır. Gözetim ve izleme videolarından özet çıkaran uygulamanlarda amaç genellikle ortamdaki insanların hareketlerini değerlendirmektir.  İnsanların yaptıkları hareketler genellikle yürümek, koşmak, yemek yemek gibi periyodik hareketlerdir. Bu çalışmada, RGB-d kameradan alınan video  görüntülerindeki periyodik hareketlerin sadece bir periyodunu elde ederek bunlardan bir özet oluşturan yeni bir insan hareketi özetleme sistemi önerilmiştir. Videolarda geçen hareketlerden periyodik olanların bulunması ile hem büyük bilgiden sadece anlamlı bilgi elde edilmiş hem de özetleme sırasında oluşabilecek veri kaybını azaltan bir sistem elde edilmiştir. 
Yapılan çalışmada önce video çerçevelerindeki kişinin yeri bulunarak iskelet bilgileri elde edilmiştir. İskeletteki eklemlerin yatay eksen ile yaptığı açı değerleri sepetlere ayrılarak bulunan değerlerden bir çerçevenin özelliklerini oluşturulmuştur. Bu özellikler kullanılarak videoyu temsil eden vektörler oluşturulmuştur. Oluşturulan bu vektörler de esnek bir arama algoritması olan LCS'de (Longest Common Subsequence – En Uzun Ortak Alt Küme) periyodik hareket arama işleminde kullanılmış ve periyodik hareketler tespit edilmiştir. Tespit edilen periyodik hareketlerden birer periyot alınarak tekrardan uzak özet video oluşturulmuştur.
Özet videolarda fazladan bulunan hareket periyotları dikkate alındığında üretilen özet videodaki bilgi tekrar oranı ise yaklaşık olarak %5 olarak gerçekleşmiştir. Sistemin periyodik hareketleri bulma başarısı ise %90 olarak gerçekleşmiştir.

Abstract:
Video surveillance and tracking systems have become an integral part of our daily life. As a consequence an enormous amount of data is being produced and recorded on a daily basis, which makes storage, analysis and information extraction extremely difficult. Some of the recent studies have especially focused on cost-effective yet efficient video summarization methods. Video summarization methods for surveillance systems primarily aim at detecting and evaluating human actions within the videos. Most of the time human actions do consist of periodic actions. In this study we propose a novel approach to video summarization, which is based on the detection of the periodicity of different actions and summarizing the video using this information. Our proposed method is based on the popular string match algorithm, longest common subsequence, to determine the shortest period of recurring human actions. The concatenation of the shortest periods then produces the summary video.
In the study, the differential features of the video frames were extracted by using human position data. This features were utilized to create vectors which represent the video. Periodical human actions were detected by using this vectors in Longest Common Subsequence algorithm for the process of searching. The summary video was created using one period of each different periodical motion found.
By taking extra periods into account the information recurrence rate of the generated summary video is approximately 5%. The success of the system in finding the actual periodic motions was around 90%.