Makine öğrenmesi yöntemleriyle akan görüntülerden otomatik aktivite sınıflandırma
Automatic activity classification from time-sequenced images using machine learning methods
Yazar: ELİT CENK ALP
Danışman: YRD. DOÇ. DR. HACER YALIM KELEŞ
Ankara Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2018
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Videodan insan aktivitelerinin otomatik tespit edilmesi ve sınıflandırılması son yıllarda oldukça fazla miktarda araştırmacının üzerinde çalıştığı aktif bir araştırma alanıdır. Bu tekniklerin eğlence uygulamaları, güvenlik gözlemleme sistemleri, sağlık sistemleri gibi alanlarda önemli kullanım alanları vardır. 
Tez çalışması kapsamında, Weizmann ve KTH veri kümelerine ait olan videolar ile çeşitli makine öğrenmesi yöntemleri kullanılarak aktivite sınıflandırma çalışması yapılmıştır. Bu çalışmalar kapsamında hem özniteliklerin çıkarımında, hem de akış sınıflandırmada iki farklı yaklaşım ele alınmıştır. Öznitelik çıkarımında, el ile özniteliklerin çıkarılması ve derin ağlar kullanılarak özniteliklerin çıkarılması-yaklaşımları kullanılmıştır. Gizli markov modeller (HMM) ve tekrarlayan sinir ağları'ndan uzun kısa-süreli hafıza (RNN-LSTM) tabanlı yaklaşımlar, akış sınıflandırmada kullanılmıştır. 
İmgeden klasik özniteliklerin çıkarılmasında Hu'nun değişmez 7 momentleri, projeksiyon, hareket geçmişi görüntüsü gibi yöntemler kullanılmıştır. Hareket geçmişi görüntüsünün farklı bir türevi olarak değiştirilmiş hareket geçmişi görüntüsü (MMHI) yöntemi geliştirilmiştir. El ile kodlanmış öznitelik çıkarma yaklaşımlarının yanı sıra, imgeyi ifade eden öznitelikleri kendi çıkaran ve öğrenen evşimsel sinir ağı yöntemi de kullanılmıştır. 
Weizmann veri kümesinde, öznitelik olarak MMHI ve Hu momentlerinin kullanıldığı ve HMM ile video sınıflandırılmanın yapıldığı deneyde % 99.35 başarı oranı yakalanmıştır. KTH veri kümesinde ise CNN ile öznitelikler bulunup, HMM ve LSTM ile sınıflandırılma yapılmıştır. CNN ve HMM kullanılarak yapılan deneylerde, KTH veri kümesinde yapılmış deneyler sonucunda literatürde kayda geçmiş en iyi sonuç olarak % 99.30 başarı oranı yakalanmıştır.

Abstract:
Human action classification from video streams is an active research topic that is worked on by many researchers. This domain has a wide range of application areas such as entertainment applications, surveillance systems, health care systems. 
In the context of this study, human action classification is performed using the Weizmann and KTH video datasets using different machine learning techniques. In this scope, two different approaches are followed both for the feature extraction and for the classification. For feature extraction, we studied hand-coded feature extraction methods and deep learning based feature extraction methods. 
We utilized 7 Hu Moments, projection and motion history image (MHI) approaches as for the classical features. As an alternative to MHIs, we proposed a Modified Motion History Image (MMHI) approach. In addition to the hand-crafted features, we utilized Convolutional Neural Networks (CNNs) for learning representations from images. In Weizmann dataset experiments, we obtained % 99.35 accuracy by using MMHI and Hu moments as features and Hidden Markov Models (HMMs) in sequence modeling. 
In KTH dataset experiments, we extracted features using CNNs and utilized them with HMMs ad LSTMs in sequence modelling. We obtained the best reported result in the literature, i.e. % 99.30, using the CNN and HMMs in KTH experiments. For sequence classification, HMMs and Long Short-Term Memory based Recurrent Neural Networks (RNN-LSTM) are utilized.