Gerçek zamanlı video görüntülerinden insan hareketlerinin tanınması ve yorumlanması
Real time human action recognition and understanding
Yazar: ADEM GÜÇLÜ
Danışman: YRD. DOÇ. DR. M. ELİF KARSLIGİL
Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2012
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Görsel nesne tanıma = Visual object recognition ; Hareket analizi = Motion analysis

Özet:
İnsan hareketlerinin tanınması ve yorumlanması video anlamlandırma çalışmalarının önemli bir parçasını oluşturmaktadır. Bu tez çalışmasında, video görüntülerini değerlendirerek yapılan hareketin ne olduğuna karar veren özgün bir sistem geliştirilmiştir. Böylece, otomatik olarak hareket algılayabilen gürbüz bir sistem oluşturulmuş ve ortam anlamlandırmaya ön adım olabilecek bir yapı ortaya konulmuştur.Önerilen sistemde hareket zamansal bir örüntü olarak tanımlanmış ve bu durumu ifade etmek için anlık durağan görüntü bilgisi ile hareket bilgisinin birleşiminden faydalanılmıştır. Bu işlemin gerçeklenmesinde, öncelikle ön plan çıkarımı ile bilgi içermeyen bölge elenmiştir. Daha sonra ön plan üzerinde insan konumu ve koordinatları blob analizi ile çıkarılmıştır. Optik akış hesabı ile bu bölge üzerindeki hareket bilgisi elde edilmiş ve beraberinde bu bilgi hareketin gücünü ifade eden bir hale dönüştürülmüştür. Elde edilen optik akış güç şekli yönlü gradyanlar histogramı yardımıyla betimleyici bir hale dönüştürülmüştür. Betimleyiciler zaman düzleminde ardışık dizilerek, hareket bilgisinin ve durgun görüntü bilgisinin yanı sıra zaman kavramını da içeren son betimleyiciler elde edilmiştir. Bu betimleyicilerin güçlülüğü ve güvenirliliği esas alınarak zaman düzleminde bir pencere çerçevesinde kayan basit bir sınıflandırıcı ile tanımlayıcı oluşturulmuştur.Bu tez çalışmasında, insan hareketlerinin hareket, durgun görüntü ve zaman bilgisinin birleştirilmesi ile etkili biçimde ifade edilebileceği ortaya konulmuştur. Sonuç olarak ise değişken boyutta, değişen koşullar altında başarıyla çalışabilecek, otonom hareket tanıyabilen ve bu sayede video anlamlandırabilen bir yapı oluşturulmuştur.

Abstract:
Human action recognition and interpretation constitutes an important part of the video understanding. In this study, a novel action recognition system is developed which can detect and understand human actions. Thus, a robust system that can understand actions automatically is produced, so that, a structure is put forward as a first step to a fully developed video sensing framework.The proposed system defines the action as a temporal pattern which is described by still image information combined with movement information. To realize that, firstly, foreground is extracted and the region containing no beneficial data is eliminated. Then, the location and coordinates of area of interest are obtained using blob analysis. Optical flow is used to determine the movement in the interest region and the output is used to construct the movement power shape. Descriptors are constituted by histogram of oriented gradient analysis of optical flow power shapes. Descriptors lined up in the time plane to form identifiers that contain the concept of motion, still image and time domain. Based on the power and reliability of these descriptors, a simple sliding window classifier is formed in the time domain.In this study, it is seen that human actions can be represented efficiently by using descriptors of motion, still image and time. As a result, an autonomous action recognition system is produced which can detect human actions in a way that is steady to work successfully under changing conditions, hence, a structure is put forward for video sensing.