Araç kamerası görüntülerinde nesne ve nesne hareketi tespiti için bütünleşik bir derin öğrenme mimarisi
A unified deep learning architecture for object and motion detection in vehicle cameras
Yazar: ÖZLEM OKUR
Danışman: DR. ÖĞR. ÜYESİ MEHMET KILIÇARSLAN
Eskişehir Teknik Üniversitesi / Lisansüstü Eğitim Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Donanımı Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Mühendislik Bilimleri = Engineering Sciences

Özet:
Akıllı araçlar ve otonom sürüş teknolojilerindeki gelişmeler güvenli ve konforlu bir sürüş için kritik öneme sahiptir. Kısmi ya da tamamen sürücüden bağımsız gerçekleşen sürüş faaliyetleri olarak tanımlanan otonom sürüş ve akıllı araçlarda bir nesnenin tespitinin ve hareketinin hızlı bir şekilde belirlenmesi için çok sayıda uygulama bulunmaktadır. Bu uygulamalarda kullanılan geleneksel algoritmalar genellikle önce nesneleri video karelerinde tespit eder, ardından bu nesnelerin hareketlerini izleyip analiz eder. Bu çalışma, uzamsal (görüntüdeki konum) ve zamansal (zaman içindeki değişim) bilgileri birleştiren yeni bir derin öğrenme tabanlı nesne ve hareket tespit yöntemi sunmaktadır. Model, nesnelerin konumlarını ve hareketlerini aynı anda analiz ederek farklı nesne sınıflarının benzer hareket desenlerini tespit eder. Nesnelerin bu hareket desenleri, uzamsal ve zamansal alanda izler bırakır. Hareket Profili Görüntüleri olarak adlandırılan bu izler, nesnelerin zaman içindeki hareketlerini görselleştirir ve karmaşık sürüş ortamlarında hareket kalıplarını anlamayı sağlar. Bu tez çalışması, geniş bir sürüş videosu veri seti kullanarak nesneleri ve hareketlerini doğrudan tespit eden yenilikçi bir yaklaşım sunmaktadır. Dinamik sürüş senaryolarının zorluklarıyla başa çıkmak için özel olarak tasarlanan bu yöntem, gerçek zamanlı performans sunar. Kamuya açık veri kümelerinde %78 hassasiyet ve 3,09˚ ortalama hata ile yüksek doğruluk sağlar ve %22'lik bir performans iyileştirmesi göstermektedir.

Abstract:
Developments in intelligent vehicles and autonomous driving technologies are crucial for ensuring safe and comfortable driving. In autonomous driving and intelligent vehicles, where driving activities are defined as partially or fully independent of the driver, various applications exist for the rapid detection and determination of object movement. Traditional algorithms used in these applications typically involve a two-step process: first detecting objects in video frames, and then tracking and analyzing their movements. This study presents a novel deep learning-based method that integrates spatial (position in the image) and temporal (change over time) information into a single architecture. The model simultaneously analyzes the objects' positions and movements to detect similar motion patterns across different object classes. These motion patterns leave traces in both spatial and temporal domains. These traces, known as Motion Profile Images, visualize the objects' movement over time and help in understanding motion patterns in complex driving environments. The thesis introduces an innovative approach that directly detects objects and their movements from a large dataset of driving videos. Specifically designed to address the challenges of dynamic driving scenarios, this method provides real-time performance. It demonstrates its effectiveness in practical applications by delivering interpretable motion detection in both spatial and temporal domains. Additionally, it confirms its reliability with high accuracy, achieving 78% average sensitivity and 3.09˚ average error on public datasets, reflecting a 22% improvement in performance.