Video görüntüleri üzerinde nesnelerin mekansal-zamansal bütünleşik çerçevesinde anlamlandırılması
Giving meaning to objects on video footage in the spatial-temporal unified framework
Yazar: TANSU TEMEL
Danışman: PROF. DR. YAŞAR HOŞCAN ; DR. ÖĞR. ÜYESİ MEHMET KILIÇARSLAN
Eskişehir Teknik Üniversitesi / Lisansüstü Eğitim Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Donanım Bilim Dalı
Derece: Doktora, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Derin öğrenme = Deep learning ; Evrişimli sinir ağları = Convolutional neural networks ; Görüntü işleme = Image processing ; Nesne tanıma = Object recognition ; Yapay zeka = Artificial intelligence

Özet:
Video görüntülerinin işlenmesi günümüzde çok rağbet gören fakat o ölçüde de zorlu bir görevdir. Görüntü işleme yöntemleriyle, hareketli ve sabit kamera görüntülerinden anlamlı bilgiler çıkarılabilmektedir. Hareketli kameralardan elde edilen görüntüler üzerinde çalışmanın en zorlu unsurlarından biri, nesnelerin, sürekli değişen bir ortamda yer almasıdır. Buna ek olarak, video görüntüleri üzerindeki gürültü, yansıma, ölçekleme ve benzeri zorluklarla baş edebilmek dayanıklı bir model geliştirmek için kritik öneme sahiptir. Yapılan tez çalışmasında araç içi video görüntüleri üzerinde araçların hareket yönleri ve aynı zamanda hareket açılarının öğrenilmesi üzerine çalışmalar yapılmıştır. Bu çalışmalarda video görüntülerinden elde edilen hareket profilleri kullanılmıştır. Bu sayede resim boyutu küçültülerek mimarinin gerçek zamanlı olarak çalışabilmesi sağlanmıştır. Araçların hareket yönlerinin öğrenilmesi aşamasında başarılı derin öğrenme mimarilerinden YOLOv3 kullanılmıştır. Buna ek olarak araçların hareket açılarının yeni bir parametre olarak öğrenilmesi aşamasında YOLOv3 geliştirilerek yeni bir mimari ortaya çıkartılmıştır. Bu sayede izleme algoritmalarına gerek kalmadan tek bir resim üzerinde araçlar, hareket yönleri ve açılarının öğrenilmesi sağlanmıştır. Elde edilen sonuçlar güncel derin öğrenme mimarileriyle baş edebilir seviyede çıkmıştır. Sunulan yöntemde kötü hava şartları, görüntüdeki gürültü vb. etmenler sonucu olumsuz olarak etkilememektedir. Böylece daha tutarlı ve dayanıklı bir sistem elde edilmiştir. Araçların hareket açıları ve yönlerinin öğrenilmesi araçların hareketlerinin anlamlandırılması ve bu sayede çarpışma önleyici sistemlerde kullanılması bakımından önem arz etmektedir.

Abstract:
Processing video footage is a popular but challenging task today. With image processing methods, meaningful information can be extracted from moving and stable camera images. One of the most challenging aspects of working with images from moving cameras is the location of objects in an ever-changing environment. Besides, dealing with noise, reflection, scaling and similar challenges on video images is critical to developing a durable model. In the thesis study, studies were carried out on learning the motion directions of vehicles and also their motion angles using in-vehicle video images. In these studies, motion profiles obtained from video images were used. In this way, the image size was reduced, allowing the architecture to work in real time. YOLOv3, one of the successful deep learning architectures, was used to learn the motion directions of vehicles. In addition, a new architecture was created by developing YOLOv3 in the phase of learning the movement angles of vehicles as a new parameter. In this way, without the need for tracking algorithms, vehicles, motion directions, and angles can be learned on a single picture. The results obtained are at a level that can cope with current deep-learning architectures. In the presented method, bad weather conditions, noise in the image etc. factors do not adversely affect the result. Thus, a more consistent and durable system was obtained. Learning the movement angles and directions of the vehicles is important in terms of making sense of the movements of the vehicles and thus using them in anti-collision systems.