İnsansız hava araçlarından alınan görüntülerde süper çözünürlük yöntemleri kullanılarak nesne tespitinin iyileştirilmesi
Improving object detection using super resolution methods in unmanned aerial vehicle images
Yazar: SETTAR YİĞİT
Danışman: PROF. DR. TÜLAY YILDIRIM
Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı / Elektronik Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
İnsansız Hava Araçları (İHA) ya da yaygın olarak bilinen adıyla dronlar, son yıllarda eğlence sektöründen hizmet sektörüne kadar pek çok alanda popülerlik kazanmıştır. Bu hava araçlarının kullanım alanları her geçen gün genişlemekte ve giderek daha çeşitli hale gelmektedir. Savunma sanayisinde de son zamanlarda sıkça kullanılmakta olup hem savunma hem de taarruz durumlarında vazgeçilmez bir envanter haline gelmiştir. Bu bağlamda sahip ülkelerin stratejik avantajlarına önemli katkılarda bulunmakta ve üstünlük kurabilmesinde ciddi derecede etkili olabilmektedir. Tüm bunların bir getirisi olarak, İHA'lardan elde edilen görüntülerle gerçekleştirilen nesne tespiti, takip ve diğer özelleştirilmiş görevler gün geçtikçe daha da önem kazanmaktadır. Fakat bu hava araçlarından elde edilen görüntüler, güvenli bir uçuş mesafesinden çekilmesi gerektiğinden genellikle düşük çözünürlük ve kalitede olmaktadır. Bu durum nesne tespiti ve takibi uygulamaları için bir dezavantaj teşkil etmektedir. Bu dezavantajı aşmak adına bir dizi süper çözünürlük tekniği geliştirilmiştir. Bu çalışmada, GAN ağlarının bir çeşidi olan Real-ESRGAN modeli kullanılarak İHA'lardan alınan görüntülerin daha yüksek çözünürlüklü hale getirilmesini sağlamak amaçlanmaktadır. Uygulanan bu yöntemin nesne tespitine olan etkisini inceleyebilmek adına YOLO modelleri kullanılmıştır. Bu tez çalışmasındaki temel amaç, nesne tespiti performansını artırarak hem tespit edilen nesnelerin sayısını hem de tespit sürecinin genel doğruluğunu iyileştirmektir. Bu çalışma, iki farklı yöntemle elde edilen sonuçların karşılaştırmalı analizini sunmaktadır. İlk aşamada, VisDrone ve SDD veri setlerindeki düşük çözünürlüğe sahip görüntüler kullanılarak, YOLO-V7 ve YOLO-V8 modelleri eğitilip test edilmiştir. Daha sonra aynı YOLO-V7 ve YOLO-V8 modelleri, VisDrone ve SDD veri setlerindeki görüntülerin Real-ESRGAN modeli kullanılarak elde edilen süper çözünürlüklü (SR) versiyonları üzerinde eğitilerek test edilir. Bu iki aşama sonucunda elde edilen veriler karşılaştırılarak Real-ESRGAN modelinin nesne tespiti üzerindeki etkisi ortaya konulmaktadır. Yapılan deneysel sonuçlara göre, VisDrone veri setinin SR görüntüleri ile eğitilen YOLO-V7 modelinde, LR görüntüleri ile eğitilen YOLO-V7 modeline göre doğruluk oranında yaklaşık %1'lik artış olduğu gözlemlenmiştir. Bu model haricindeki, VisDrone veri setinin YOLO-V8 ile eğitilmesi, SDD veri setinin hem YOLO-V7 hem de YOLO-V8 ile eğitilmesi ile elde edilen modellerde herhangi bir doğruluk artışı gözlemlenememiştir.

Abstract:
Unmanned Aerial Vehicles (UAVs), commonly known as drones, have gained popularity in various fields, from the entertainment sector to the service industry in recent years. The usage areas of these aerial vehicles continue to expand, becoming increasingly diverse. They have become indispensable inventory in both defense and attack situations, frequently employed in the defense industry. In this context, they significantly contribute to the strategic advantages of nations, playing a crucial role in establishing superiority. As a result, object detection, tracking, and other customized tasks performed using images captured by UAVs are gaining increasing importance. However, images obtained from these aircraft often have low resolution and quality due to the need for a safe flight distance. This poses a disadvantage for object detection and tracking applications. To overcome this drawback, a series of super-resolution techniques have been developed. In this study, the Real-ESRGAN model, a type of GAN network, is used to enhance the resolution of images captured by UAVs. To examine the impact of this applied method on object detection, the YOLO model is utilized. The main objective of this thesis is to improve object detection performance, enhancing both the number of detected objects and the overall accuracy of the detection process. This study presents a comparative analysis of results obtained through two different methods. Initially, YOLO-V7 and YOLO-V8 models are trained and tested using LR images from the VisDrone and SDD datasets. Subsequently, the same YOLO-V7 and YOLO-V8 models are trained and tested on super-resolution (SR) versions of images obtained using the Real-ESRGAN model on the VisDrone and SDD datasets. The data obtained from these two stages are compared to highlight the impact of the Real-ESRGAN model on object detection. According to experimental results, the YOLO-V7 model trained on VisDrone dataset's SR images showed an approximately 1% increase in accuracy compared to the YOLO-V7 model trained on LR images. No accuracy increase was observed in models obtained by training the VisDrone dataset with YOLO-V8 or both YOLO-V7 and YOLO-V8 on the SDD dataset.