Derinlik bilgisi kullanılarak insan hareketlerinin tanınması
Recognition of human actions using depth information
Yazar: ALİ SEYDİ KEÇELİ
Danışman: YRD. DOÇ. AHMET BURAK CAN
Hacettepe Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2014
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Derinlik algılayıcılar kullanılarak insan hareketlerinin tanınması günümüzde özellikle oyun endüstrisinde giderek yaygınlaşan bir teknolojidir. Derinlik algılayıcıları ortamlara ilişkin 3 boyuttan elde edilen güvenilir öznitelikler sağlayarak kısa mesafelerde doğru hareket tanıma oranını artırmaktadır.
Bu tez kapsamında Microsoft  Kinect RGBD algılayıcıdan elde edilen derinlik bilgisini kullanarak insan hareketlerini tanımayı amaçlayan çeşitli yöntemler sunulmaktadır. Hareket tanıma amaçlı olarak ilk önce, bir eklem iskelet modelinden elde edilen açı ve yer değiştirme bilgileri kullanılmıştır. Daha sonra hareketleri zamansal örüntü olarak ele alan Saklı Markov Modelleri ve zaman serilerini temel alan yöntemler üzerine çalışılmıştır. Elde edilen özniteliklerden oluşturulmuş bir sözlük yardımıyla gözlem dizileri haline getirilen hareketler, Saklı Markov Modelleri yardımıyla tanınmaya çalışılmıştır. Hareketler ayrıca zaman serileri olarak ele alınmış ve serilerden elde edilen öznitelikler üzerinde boyut indirgemesi yaparak sınıflama yapan bir yöntem çalışılmıştır. Daha sonra, iskelet modelinden elde edilen nitelikler yanında ham derinlik bilgisi de kullanılarak doğru tanıma oranı yükseltilmeye çalışılmıştır. Son olarak da çalışılan bu yöntemlerden yola çıkılarak düşük gecikmeli hareket tanımaya yönelik bir yöntem önerilmiştir. Geliştirilen yöntemler kendi oluşturduğumuz HUN-3D ve literatürde yer alan ve sıkça kullanılan MSRC-12 ve MSR-Action 3D veri kümeleri üzerinde de test edilmiştir. Geliştirilen yöntemler veri kümelerinden bağımsız olarak kolay hesaplanabilir öznitelikler ile başarılı sonuçlar üretmiştir.

Abstract:
Human action recognition using depth sensors is an emerging technology especially in game console industry. Depth information provides 3D robust features about environments and increases accuracy of action recognition in short ranges. 
This thesis presents various approaches to recognize human actions using depth information obtained from the Microsoft Kinect RGBD sensor. In the first studied approach, information about angle and displacement of joints is obtained from a joint skeleton model to recognize actions. Then actions are considered as temporal patterns and studied on Hidden Markov Models and time series. In the Hidden Markov Model based model, actions are converted into observation series by utilizing a vocabulary constructed from the features. Besides actions are considered as time series and actions are classified after applying dimension reduction on features extracted from the series. Then, in addition to features from the skeletal model, features are obtained from raw depth data to increase classification ratio. Finally, combining the experince from all studied methods, a low latency action recognition method is proposed. The constructed models are tested on our own HUN-3D dataset and MSRC-12, MSR-Action 3D datasets, which are widely used in the literature. The proposed approaches produce robust results independent from the dataset with simple and computationally cheap features.