İnsansız hava araçlarında gerçek zamanlı nesne tespiti ve sınıflandırma için gömülü sistem ve derin öğrenme tekniklerinin kullanılması
Using embedded system and deep learning techniques for real-time object detection and classification in unmanned vehicles
Yazar: ZİYA SAYGILI
Danışman: DR. ÖĞR. ÜYESİ GÜZİN ÖZMEN
Selçuk Üniversitesi / Fen Bilimleri Enstitüsü / Mekatronik Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Mekatronik Mühendisliği = Mechatronics Engineering
Dizin: Derin öğrenme = Deep learning ; Gömülü sistemler = Embedded systems ; Nesne tespiti = Object detection ; İnsansız hava aracı = Unmanned aerial vehicle

Özet:
Nesne tespiti teknolojinin gelişmesiyle birlikte İnsansız Hava Araçlarında (İHA) keşif, gözetim ve istihbarat görevleri için kullanılmaya başlanmıştır. Yerden yere görüntüler üzerinde eğitilen nesne algılama yöntemlerinin büyük başarısına rağmen, İHA' lar tarafından yakalanan görüntülere doğrudan nesne algılama yöntemleri uygulandığında; yetersiz performans, değişen uçuş irtifaları, olumsuz hava koşulları ve dinamik olarak değişen görüş açıları gibi birçok İHA' ya özgü problemden dolayı nesne tespitinde performans düşüşü gözlemlenmektedir. Bu çalışmada bu durumun önüne geçmek için nesne tespiti, gömülü sistem üzerinden derin öğrenme ile gerçekleştirilmiştir.
Bu tez çalışmasının amacı gömülü sistem üzerinden derin öğrenme algoritmalarına dayalı Tek Atım Dedektör (SSD) yöntemi kullanarak nesne tespiti yapmaktır. İHA ile gerçekleştirilen hedef tespiti uygulamalarında, çoğunlukla görüş tabanlı nesne bulma algoritmaları kullanılmaktadır. Yapılan bu uygulamalarda, bilgisayarla görme teknikleri yetersiz sonuçlar sağlayabilmekte ve nesne tespitinde bilinmeyen verileri tahmin etmede sorunlara neden olabilmektedir. Bu durum göz önünde bulundurulduğunda tez çalışmasında derin öğrenme yöntemleri kullanılarak bilinmeyen verilerin tahmini GPU tabanlı bir gömülü sistemin İHA üzerinde çalıştırılması ile gerçekleştirilmiştir. Tez çalışmasında gömülü sistem içerisinde MultiBox bir algoritma oluşturularak elde edilen görüntülere, SSD-MobileNet derin öğrenme yöntemi ile özellik karşılaştırma işleminin uygulanmasının ardından elde edilen çıktılar nesne sınırı, doğruluk yüzdesi ve ortalama hassasiyet yüzdesi (mAP) kullanılarak değerlendirilmiştir. Sonuç olarak, İHA üzerinden alınmış gerçek zamanlı görsel verilerden insan tespiti için %87.45 doğruluk, %69.45 mAP değeri, araç tespiti için %93.35 doğruluk ve % 64.5 mAP değeri elde edilmiştir.

Abstract:
Object detection with the development of technology, Unmanned Aerial Vehicles (UAVs) began to be used for reconnaissance, surveillance and intelligence tasks. Despite the great success of object detection trained on images from one place to the method, the UAV' s inadequate performance when applied to images captured by a direct object detection methods, changing flight altitudes, and specific problems such as adverse weather conditions and viewing angles because of UAVs in many dynamically changing object detection performance degradation is observed. In order not to prevent these problems from detecting objects, the detection model is carried out with deep learning through the embedded system in this study.
The aim of this thesis study is to perform object detection using an effective method based on deep learning algorithms through the embedded system. In the target detection applications with UAV, mostly vision-based object finding algorithms are used. In these applications, computer vision techniques can provide inadequate results and cause problems in predicting unknown data in object detection. Considering this situation, estimating unknown data using deep learning methods in the thesis study was carried out by running a GPU-based embedded system on the UAV. In this study, an arrangement was made on the images obtained by creating a MultiBox algorithm in the embedded system. The outputs obtained after feature comparison with the SSD-MobileNet deep learning library were evaluated using the object boundary, percentage accuracy and mean Average Precision percentage (mAP). As a result, 87.45% accuracy, 69.45% mAP average sensitivity for human detection, 93.35% accuracy and 64.5% mAP average sensitivity for vehicle detection were obtained from real-time visual data taken from the UAV.