Video veri setleri ile insan eylemi tanıma yaklaşımlarına yönelik alan araştırması
A field research on human action recognition approaches with video data sets
Yazar: DUYGU SELİN AK
Danışman: DOÇ. DR. TANSEL ÖZYER
TOBB Ekonomi ve Teknoloji Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2021
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
İnsan eylem tanıma, insanların hareketlerinin makine öğrenmesi ve derin öğrenme
metotları kullanılarak tahmin edilmesidir. Son yıllarda makine öğrenmesi ve derin
öğrenme yöntemlerine artan ilgiyle birlikte, insan hareketlerinin tespiti konusu da
gelişmektedir. İlk olarak duruk görüntüler üzerinden çıkarılan eylem tespitleri
teknolojinin gelişmesiyle beraber videolar üzerinde ve hatta canlı akışlarda bile
gerçekleştirilmeye başlanmıştır. Günlük hayatta da artık fazlasıyla görmeye
başladığımız öğrenme tabanlı yöntemlerden biri de insan eylem tanıma yöntemleri
olmaktadır. Hırsızların, kriminal suç işleyecek kişilerin veya tehlikeli aktiviteleri
gerçekleştirecek bireylerin önceden tahmin edilmesi, yaya aktivitelerinin trafikteki
öngörülerinde ve diğer birçok alanda insan eylem tanıma yöntemleri aktif olarak
kullanılmaya başlanmıştır. Bununla birlikte, insan eylemlerini tanıma konusu
öğrenme yöntemlerinin gelişmesiyle hem hız ve doğru tanıma performanslarının
artmasıyla hem de pratik yöntemlerin gelişmesiyle kullanım alanları da
genişlemektedir. Bu çalışmada, insan eylem tanıma konusundaki farklı yöntemleri ile
dikkat çeken on beş farklı makale ele alınmış ve her biri detaylı olarak incelenerek
bir araştırma hazırlanmıştır. Bu araştırmada yöntemleri bakımından insan eylem
tanıma konusuna yeni bir bakış açısı kazandıran yaklaşımlar incelenecektir.

7

Araştırma boyunca ele alınan tüm makaleler videolar üzerinde tanıma işlemlerini
gerçekleştirmektedir. Tüm bu tanıma işlemleri bir taksonomiye göre
kategorilendirilmiştir ve beş ana kategori oluşturulmuştur. Bu kategoriler; ağ tabanlı
yaklaşımlar, hareket tabanlı yaklaşımlar, çoklu örnek öğrenme tabanlı yaklaşımlar,
sözlük tabanlı yaklaşımlar ve histogram tabanlı yaklaşımlardır. Bu
kategorilendirmeye göre tüm makaleler incelenmiştir. İncelenen makalelerin her
birine ait yöntemlerin açıklanması, geliştirme aşamaları, hangi ihtiyaçtan ortaya
çıktığı, veri setleri üzerindeki çalışmalar ve elde edilen doğruluk sonuçları
detaylandırılmıştır. Bununla birlikte, makalelerde kullanılan günlük hayat, trafikteki
araçlar, spor ve uçangözlerden elde edilen videoları içeren veri setleri de ele alınmış,
araştırmadan esinlenerek yeni araştırmacılara bir fikir kazandırmak amacıyla, her bir
veri seti incelenerek bir karşılaştırma tablosu oluşturulmuştur. Veri setlerini kullanan
makalelerin eğitim ve test ayrımlarını içeren tablolar da dâhil edilmiştir. Bu araştırma
ile detayları verilen tüm makaleler ve veri setleri gelecekte yapılacak olan
çalışmalara bir referans olacaktır.

Abstract:
Human action recognition is the prediction of people's movements using machine
learning and deep learning methods. With the increasing interest in machine learning
and deep learning methods in recent years, the issue of detection of human
movements has also been developing. With the development of technology, action
detections, which were first extracted from static images, started to be performed on
videos and even in live streams. Human action recognition methods are one of the
learning-based methods we have started to see in daily life. Prediction of thieves,
criminals or individuals who will carry out dangerous activities has started to be
actively used in traffic predictions of pedestrian activities and in many other areas.
Furthermore, with the development of learning methods on the subject of human
action recognition, the areas of use are expanding with the increase of speed and
correct recognition performances and the development of practical methods. In this
study, fifteen different articles drawing attention with their different methods on
Human action recognition are discussed and a research is prepared by examining
each one in detail. In this research, approaches that give a new perspective to human
action recognition in terms of methods will be examined. All the articles discussed
throughout the research carry out recognition on the videos. All these recognition

9

processes are categorized by a taxonomy and five main categories are created. These
categories are; network-based approaches, motion-based approaches, multiple
instance learning based approaches, dictionary-based approaches and histogram-
based approaches. All articles were examined according to this categorization.
Explanation of the methods for each of the articles examined, the stages of
development, the need arising from it, the studies on the data sets and the accuracy
results obtained were detailed. In addition, datasets containing videos from daily life,
vehicles in traffic, sports and drone videos were also considered and a comparison
table was created by examining each dataset in order to gain an idea for new
researchers. Tables containing training and test separations of articles using data sets
are also included. This research will be a reference to future studies of all articles and
data sets detailed.