Otonom araçlar için gerçek zamanlı nesne tanıma ve uzaklık tahmini sistem tasarım ve uygulaması
Real-time object recognition and distance estimated system design and implementation for autonomous vehicles
Yazar: SALİH PALAMUT
Danışman: DOÇ. DR. ERDİNÇ AVAROĞLU
Mersin Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Derin öğrenme = Deep learning ; Görüntü işleme = Image processing ; Mesafe ölçme = Distance measurement ; Otonom araçlar = Autonomous vehicles

Özet:
Günümüzde yaşanan teknolojik gelişmelere birlikte hayatımızın her alanında insanlara kolaylık ve zaman kazandıran ürünler geliştirilmektedir. Otomotiv sanayisinde ise insanların ve çevrede bulunan canlı/cansız nesnelerin korunmasına yönelik olarak nesne tanıyan hatta acil durumlarda karar veren sürücü destek sistemleri geliştirilmektedir. Bu sistemlerin temel amacı olası insan hatalarını iyileştirme, ortadan kaldırma ve bunların yanı sıra insansız araçların alt yapısını oluşturmaktır. Bu sistemler karmaşık sensörlerin birleşiminden oluşabileceği gibi sadece kamera tabanlı sistemlerden de oluşturulabilir.
Günümüzde yaygın olarak kullanılan yöntem mikro dalga radar hesaplama yöntemidir. Mikro dalga radarlar bir yüzeye çarpıp geri yansıma prensibine dayanarak çalıştığı için önde bulunan aracın binek otomobil tarzı olması dışında hataya açık olduğu gözlemlenmiştir. Ayrıca bu sistem engebeli ve eğimli yüzeylerde, aşırı soğuk ve sıcak havalarda hatalı çalışma eğilimi göstermektedir.
Bu çalışmada bazı araçların önünde bulunan mikro dalga radarı ile mesafe ölçümü yerine iki adet kamera kullanılarak derin öğrenme tabanlı gömülü sistem bir mesafe tahmin prototipi hazırlanmıştır. Bu prototip öncelikle kenar bulma algoritması ile test edilmiş, ardından oyuncak arabalar ile farklı uzaklıklarda cm bazında ölçüm tahminleri alınmıştır. Ayrıca kamera gürültüsü ve kalibrasyon hataları işlenmiş en optimum değerler saptanarak üzerine YOLO ile görüntü tanımlama kısmı eklenmiştir. En son alınan değerler YOLO'nun çerçeve hesabıyla gerçek arabalarla yapılmıştır. Alınan sonuçlara göre Jetson Nano platformu gerçek zamanlı nesne tanımlama ve uzaklık tahmini konusunda çok yetersiz olduğu yapılan çalışmalarca ortaya konulmuştur. Gerçek hayatta saniyede 5 kare işlem hızıyla seyir halinde hiçbir araca kullanılamayacağı verilerle sabitlenmiştir. Ayrıca yapılan 150~1500 cm arası ölçüm çalışmasında, hata oranlarının 500 cm de ~%0.15 iken 1100 cm de ~%90.5 olarak hesaplandığından ölçeklendirilebilir olmadığı kanaatine varılmıştır. Bu sonuçlar ışığında öneriler bölümünde başka yöntemler tavsiye edilmiştir.

Abstract:
With the technological developments in today's world, products that provide convenience and time to people are being developed in all areas of our lives. In the automotive industry, on the other hand, driver support systems that recognize objects and even make decisions in emergency situations are being developed for the protection of people and living/inanimate objects in the environment. The main purpose of these systems is to improve and eliminate possible human errors, as well as to create the infrastructure of unmanned vehicles. These systems can consist of a combination of complex sensors, or they can be created from only camera-based systems.
Since microwave radars hit a surface and work based on the back reflection principle, it has been observed that the vehicle in front is prone to error, except that it is a passenger car style. In addition, this system tends to malfunction on uneven and sloping surfaces, and in extremely cold and hot weather.
In this study, a deep learning based embedded system distance estimation prototype was prepared by using two cameras instead of microwave radar in front of some vehicles. This prototype was first tested with the edge detection algorithm, then measurement estimates were taken with toy cars at different distances on a cm basis. In addition, camera noise and calibration errors were processed and the most optimum values were determined and the image definition part with YOLO was added. The most recent values were made with real cars with YOLO's frame calculation. According to the results obtained, studies have shown that the Jetson Nano platform is very inadequate in real-time object identification and distance estimation. It has been fixed by data that it cannot be used in any vehicle while driving at a processing speed of 5 frames per second in real life. In addition, in the measurement study between 150~1500 cm, it was concluded that it is not scalable since the error rates were calculated as ~0.15% at 500 cm and ~90.5% at 1100 cm. In the light of these results, other methods have been recommended in the recommendations section.