Videoların kurgusu ve özetlenmesi için derin öğrenme ile hareket analizi
Motion analysis with deep learning for editing and summarizing videos
Yazar: AHMET SAMET HALICI
Danışman: DR. ÖĞR. ÜYESİ AYŞE DEMİRHAN
Gazi Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: Gerçek zamanlı video aktarımı = Real time video transmission ; Hareket analizi = Motion analysis ; Video analizi = Video analytics

Özet:
Sosyal medya platformlarında düzenlenmiş video paylaşımlarının ve içerik tüketimlerinin hızla artması ile video düzenleme üzerinde yoğun olarak çalışılan aktif bir konu haline gelmiştir. Bu tez çalışmasında videoların özetlenebilmesi için videodaki kişilerin hareketlerinin poz tahmini algoritmalarının çıktılarını kullanan bir takip yöntemi geliştirilerek anlamlandırılması ve en önemli sahnelerin parçalanarak bir arka plan müziğine göre birleştirilmesi amaçlanmıştır. Literatürdeki çeşitli poz tahmini algoritmalarının geliştirilen poz takibi yöntemine etkisi ile farklı ön işleme adımlarının poz takibi başarımına katkıları PoseTrack veri kümesi kullanılarak incelenmiştir. Kişi takibinin sonucunda elde edilen zamana bağlı eklem noktası dizilerini kullanarak derin öğrenme yöntemleri ile hareketleri tanıma işlemi gerçekleştirilmiştir. Ayrıca video içeriğindeki muhtemel başrol oyuncuları tespit edilerek karakterlerin davranışlarına ve belirlenen kurguya göre en değerli sahnelerin belirlenmesi için analizler yapılmıştır. Tüm bu çalışmaların yapılabilmesi için insansız hava aracı ile kaydedilen 396 037 görüntüden oluşan yeni bir video veri kümesi meydana getirilmiştir. Veri kümesi ile ilgili detaylara posedrone.com sayfasından erişilebilir. Oluşturulan veri kümesi üzerinde 7 hareket sınıfı için 33 083 adet kişinin eklem noktalarının etiketlenmesi yapılmıştır. Görüntülerin ham hali ve OpenPose kullanılarak etiketlenen doğru veriler posedrone.com sayfasında yayınlanmıştır. Poz tahmini yöntemleri için geliştirilen ön işleme adımları; PoseTrack veri kümesi üzerinde MOTA değerinde DCPose için %21.2, OpenPose için %22.6 iyileştirme sağlamıştır. Hareket tanıma için tasarlanan modele veri kalitesini artırmak için uygulanan işlemlerinin de olumlu katkı sağladığı gösterilmiştir. Video özetleme için poz tahmini, poz takibi, hareket tanıma ve en değerli sahne algoritmalarının birbirinden bağımsız olarak güncellenebildiği bir alt yapı meydana getirilmiştir. Müzik sinyalindeki vuruşların zamanları tespit edilerek sahneler arası geçiş yapan yeni bir video özetleme yöntemi geliştirilmiştir. Literatürde bir ilk olan hem hareket tanıma hem de video özetleme alanında birlikte kullanılabilecek insansız hava aracı ile kaydedilen veri kümesi yayınlanmıştır.

Abstract:
Video editing has become an active topic that is being studied intensively with the rapid increase in video shares and content consumption organized on social media platforms. In this thesis study, in order to convert the videos into clips, it is aimed to make sense of the actions of the people in the video by developing a tracking method using the outputs of pose estimation algorithms and to combine the most important scenes. The effects of various pose estimation algorithms in the literature on the developed pose tracking method and the contribution of different preprocessing steps to the pose tracking performance were examined using the PoseTrack dataset. Recognition of actions was carried out using deep learning methods and using time dependent keypoint sequences obtained as a result of pose tracking. In addition, possible lead actors in the video content were identified and analyzes were made to determine the most valuable scenes according to the behaviors of the characters and the determined fiction. In order to carry out all these studies, a new video dataset consisting of 396 037 images recorded with by unmanned aerial vehicle has been created. Details about the dataset are available at posedrone.com. On the created dataset, the joint points of 33 083 people were labeled for 7 action classes. The preprocessing steps developed for pose estimation methods provided an improvement of 21.2% for DCPose and 22.6% for OpenPose in the value of MOTA on the PoseTrack dataset. It has been shown that the processes applied to increase the data quality of the model designed for action recognition also make a positive contribution. For video summarization, an infrastructure has been created in which pose estimation, pose tracking, action recognition and most valuable scene algorithms can be updated independently of each other. A new video summarization method has been developed that switches between scenes by deciphering the times of beats in the music signal. A set of data recorded by an unmanned aerial vehicle that can be used together in the field of both action recognition and video summarization, which is the first in the literature, has been published.