Yapay zeka yöntemleri kullanılarak insan eylemi tanıma
Human action recognition using artificial intelligence methods
Yazar: ENGİN SEVEN
Danışman: DOÇ. DR. EYLEM YÜCEL DEMİREL
İstanbul Üniversitesi-Cerrahpaşa / Lisansüstü Eğitim Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2021
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
İnsan eylemi tanıma son yıllarda sağlık, güvenlik ve oyun gibi birçok alanda yer bulmuş ve araştırmacılar tarafından bu konuda çeşitli çalışmalar yapılmıştır. Bu alanda yapılan çalışmalar giderek artmaktadır. Bilgisayarlı görü alanındaki son teknolojik gelişmeler ile birlikte resim ve video gibi verilerden insan eylem, jest ve mimikleri analiz edilip karar süreçleri için değerlendirilmektedir. 
Gerçek hayat görüntüleri içerisinden insan eylemlerini analiz ederek sınıflandırmak aşılması gereken bir problem alanı olarak karşımıza çıkmaktadır. Bu görüntülerde, farklı arka plan, hareketli kamera ve kötü hava koşulları gibi olumsuz etkenlerden dolayı insan eylemlerinin tanınmasında zorluklar yaşanmaktadır. Kullanılan veri seti içerisinde 3 kanallı (Kırmızı, Yeşil, Mavi) ve 16 insan eylemi sınıfına ait resimler yer almaktadır. Yapılan çalışmada temel olarak iki farklı topluluk öğrenme modeli geliştirilmiştir. Ayrıca bu modeller farklı mimarilere sahip evrişimli sinir ağı modelleri ile karşılaştırılmıştır. Yığma topluluk öğrenme modellerimizden ilkinde temel öğrenici katmanında evrişimli sinir ağı modeli kullanılarak veri seti ile öğrenme gerçekleştirilmiştir. Temel öğrenicilere ait tahminler, meta öğrenici katmanında olan Lojistik Regresyon yöntemi ile öğrenme yapılmıştır. İkinci yığma topluluk öğrenme modeli olarak temel öğreniciler katmanında farklı evrişimli sinir ağı modeli kullanılarak veri seti ile öğrenme gerçekleştirilmiştir. Daha sonra meta öğrenici katmanında çok katmanlı sinir ağı modeli kullanılarak alt katmandan gelen tahminler üzerinde öğrenme yapılmıştır. Evrişimli sinir ağı modelleri ile yığma topluluk öğrenme modelleri performans metrikleri olarak Hassasiyet, Kesinlik ve F1 değerleri kullanılarak karşılaştırılmıştır. Deneysel çalışmalar sonucunda çok katmanlı sinir ağı meta öğreniciye sahip yığma topluluk öğrenme modeli diğer derin öğrenme modellerinden daha başarılı sonuçlar elde etmiştir.

Abstract:
Recognition of human action has taken place in many areas such as health, safety and play in recent years and various studies have been carried out by researchers. Studies in this area are increasing day by day. With the latest technological developments in the field of computer vision, human actions, gestures and facial expressions from data such as pictures and videos are analyzed and evaluated for decision processes.
Analyzing and classifying human actions from real life images is a problem area that needs to be overcome. These images have difficulties in recognizing human actions due to negative factors such as different background, moving camera and bad weather conditions. Our dataset includes 3-channel (Red, Green, Blue) and 16 human action classes. In our study, basically two different ensemble learning models were developed. In addition, these models are compared with convolutional neural network models with different architectures. The first of our stacking ensemble learning models was created using the convolutional neural network model in the basic learner layer. Learning was carried out on our data set using this model. The predictions of the basic learners are fed to the meta learner in the upper layer. Learning was carried out with the Logistic Regression method in the meta learner layer. As the second stacking ensemble learning model, a different convolutional neural network model was used in the basic learners layer. Learning was carried out with the data set using the stacking ensemble learning model. Then, the training was carried out using the predictions from the meta-learner layer. A multilayer neural network is used in the meta-learning layer of our model. Convolutional neural network models and heap ensemble learning models were compared using  precision, F1 scores as performance metrics. As a result of experimental studies, the stacking ensemble learning model, which uses a multilayer neural network in the meta-learner layer, has achieved more successful results than other deep learning models.