Hareketli nesnelerde algılanması güç olan değişimlerin video büyütme yöntemiyle tespiti ve derin öğrenme ile analizi
Detection of subtle changes on moving objects with video magnification method and analysis with deep learning
Yazar: ABDULLAH ASIM YILMAZ
Danışman: PROF. DR. İMAN ASKERBEYLİ
Ankara Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2020
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Makine öğrenmesi = Machine learning ; Yapay zeka = Artificial intelligence

Özet:
Hareketli objelerin tespiti ve analizi işlemleri, son yıllarda hem akademik hem de ticari dünyadaki potansiyeli nedeniyle görüntü işleme, bilgisayarla görme ve yapay zeka alanında dikkat çeken önemli bir çalışma alanıdır. Bu tez çalışması kapsamında; obje tespiti, video büyütme yaklaşımları ve derin öğrenme yöntemleri bir araya getirilerek obje tespiti ve analizi yaklaşımları alanında optimize bir model üretilmiştir. Bu çalışmadaki amaç video kareleri arasındaki farkların analizine dayalı olarak objelerin tespitini, izlenmesini sağlamak ve sonrasında obje hareketlerini izleyen video içerisinde analiz edilecek bölgeye; video büyütme yöntemi ile yaklaşım işlemi gerçekleştirilerek o bölge üzerinde derin öğrenme yöntemi ile video analiz işlemleri gerçekleştirmektir. Bu kapsamda çalışma içerisinde üretilen model, hibrit bir modele dayalı yeni bir derin öğrenme temelli mimari önermektedir. Mimari temel olarak transfer öğrenme metodolojisi ve genetik algoritmanın kullanılması ile önceden eğitilmiş ağlara dayalı olarak tasarlanmıştır ve üç ana aşamadan oluşmaktadır. Bunlar sırasıyla; obje tespiti ve tanımlama, video büyütme ve video analizi işlemleridir. Burada önerilen yöntemin ana katkıları; literatürde yaygın olarak kullanılan, önceden eğitilmiş dört ağ modelini optimize edilmiş bir şekilde birleştiren bir hibrit model önermesi ve öznitelik optimizasyonu işlemi için yeni bir sezgisel algoritma modellemesi geliştirilmesidir. Kapsamlı veri setleri dayanılarak gerçekleştirilen performans karşılaştırmaları, önerilen mimarinin literatürdeki en gelişmiş mimarilerden daha iyi sonuç verdiğini göstermiştir.

Abstract:
Detection of moving objects and analysis operations are remarkable an important working field in image processing, computer vision and artificial intelligence due to its potential in both academic and commercial worlds  in recent years.Within the scope of this thesis study, an optimized model has been produced in the field of object detection and analysis by combining object detection, video magnification approaches and deep learning methods.The aim of this study is to ensure the detection and tracking of the objects based on the analysis of the differences between the video frames, and then the process of approaching the region to be analyzed in the video following the object movements is carried out by using the video magnification method and performing video analysis operations on that region with the deep learning method. In this context, the model produced in the study proposes a new deep learning based architecture based on a hybrid model. The architecture is basically designed based on pre-trained networks using transfer learning methodology and genetic algorithm and consists of three main stages. These are object detection and recognition, video magnification and video analysis operations, respectively. The main contributions of the method proposed here are the development of a hybrid model proposition that combines four well-known pre-trained network models in an optimized way and the development of a new genetic algorithm modeling for the feature optimization process. Performance comparisons based on extensive data sets showed that the proposed architecture yields better results than most advanced architectures in the literature.