Çoklu video görüntüleri üzerinde akıllı hedef takibi
Intelligent target tracking on multi video images
Yazar: SEVİNÇ AY DOĞRU
Danışman: PROF. DR. MURAT KARABATAK
Fırat Üniversitesi / Fen Bilimleri Enstitüsü / Yazılım Mühendisliği Ana Bilim Dalı / Yazılım Mühendisliği Bilim Dalı
Derece: Doktora, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
ÖZET
Dummy
Çoklu Video Görüntüleri Üzerinde Akıllı Hedef Takibi 

Sevinç AY 

Doktora Tezi

FIRAT ÜNİVERSİTESİ
Fen Bilimleri Enstitüsü
Yazılım Mühendisliği Anabilim Dalı
     
Temmuz 2023,   Sayfa:  xii  + 96


Son yıllarda, teknoloji alanında yaşanan gelişmelerle birlikte kamera, veri depolama cihazları ve yazılım sistemleri bileşenlerinden oluşan görsel gözetim sistemlerinin kullanımı da yaygınlaşmıştır. Görsel gözetim yapmak için kullanılan bu sistemler, nesneler veya insanların hareketlerini, davranışlarını gözlemlemede yaygın olarak tercih edilmektedirler. Trafikte kullanılan gözetleme sistemlerinde çeşitli algoritmalar sayesinde kalabalıklar arasında şüpheli şahısların ya da araçların anormal davranışlarının tespiti mümkün olmaktadır. Bu hareketlerin doğru bir şekilde tespit edilmesi oluşabilecek birçok tehlikenin önceden tespitine ve engellenmesine yardımcı olmaktadır. Günlük yaşamdaki birçok alanda görsel takip sistemlerinin kullanılma gereksinimi, son yıllarda araştırmacıların nesne takibi konusuna olan ilgisini arttırmıştır. Nesne tespiti ve takibi, görsel gözetim sistemlerinin yorumlanması amacıyla giderek daha yaygın olarak kullanılmaktadır.
Tez çalışması kapsamında bir yol güzergâhında bulunan birden fazla kameradan alınan çoklu video görüntüleri kullanılmıştır. Bu tez çalışmasının ilk aşamasında, şüpheli olarak nitelendirilen bir aracın çoklu trafik video görüntüleri üzerinde geliştirilen araç takip yöntemi kullanarak izlenmesi sağlanmıştır. İkinci aşamasında aracın görüntülenebileceği kameraların belirlenmesi sağlanmıştır. Son aşamada ise derin öğrenme tabanlı nesne tanıma algoritmaları kullanılarak şüpheli aracın tespit edilme işlemi gerçekleştirilmiştir. Tez çalışmasında sırasıyla Bölge Tabanlı Evrişimli Sinir Ağı (B-ESA), Daha Hızlı Bölge Tabanlı Evrişimli Sinir Ağı (Daha Hızlı B-ESA) ve Yalnızca Bir Kez Bakarsınız (YOLO) kullanılmıştır. Deneysel sonuçlardan elde edilen ortalama kesinlik değerlerinin ortalaması (mean Average Precision-mAP) karşılaştırılmış ve Daha Hızlı B-ESA derin öğrenme modelinin ResNet101 omurga ağı ile eğitilmesi ile elde edilen % 89 değerinin en yüksek ortalama olduğu belirtilmiştir.

Anahtar Kelimeler: Derin Öğrenme, Araç Takibi, Araç Tespiti, B-ESA, Daha Hızlı B-ESA, YOLO

Abstract:
ABSTRACT
dummy
Intelligent Target Tracking on Multi Video Images 

Sevinç AY 

Ph.D. Thesis 

FIRAT UNIVERSITY
Graduate School of Natural and Applied Sciences
Department of Software Engineering
     
July 2023,   Pages:  xii  + 96


In recent years, with the developments in the field of technology, the use of visual surveillance systems consisting of camera, data storage devices and software systems has become widespread. These systems, which are used for visual surveillance, are widely preferred in observing the movements and behaviors of objects or people. Thanks to various algorithms in the surveillance systems used in traffic, it is possible to detect the abnormal behavior of suspicious persons or vehicles among the crowds. Accurate detection of these movements helps to detect and prevent many dangers that may occur. The need to use visual tracking systems in many areas of daily life has increased the interest of researchers in object tracking in recent years. Object detection and object tracking is increasingly used for the interpretation of visual surveillance systems.
Within the scope of the thesis study, multiple video images taken from more than one camera located on a road route were used. In the first stage of this thesis, a vehicle, which is considered suspicious, was monitored using the vehicle tracking method developed on multiple traffic video images. In the second stage, it was ensured that the cameras on which the vehicle could be viewed were determined. In the last stage, the suspicious vehicle was detected by using deep learning-based object recognition algorithms. In the thesis study, Region-Based Convolutional Neural Network (CNN), Faster Region-Based Convolutional Neural Network (Faster CNN) and You Only Look Once (YOLO) were used. The mean average precision (mAP) obtained from the experimental results were compared and it was stated that the 89% value obtained by training the Faster CNN deep learning model with the ResNet101 backbone network was the highest mean.


Keywords: Deep Learning, Vechile Tracking, Vechile Detection, Fast RCNN, Faster RCNN, YOLO