Derin öğrenme tabanlı ses ve görüntü işleme teknolojilerine sahip otonom insansız hava aracı
Autonomous unmanned aerial vehicle with deep learning-based audio and visual processing technologies
Yazar: ERTUĞRUL KIRAÇ
Danışman: PROF. DR. SUNULLAH ÖZBEK
İstanbul Gedik Üniversitesi / Lisansüstü Eğitim Enstitüsü / Savunma Teknolojileri Ana Bilim Dalı / Savunma Teknolojileri Bilim Dalı
Derece: Doktora, 2024
Konu: Savunma ve Savunma Teknolojileri = Defense and Defense Technologies

Özet:
Bu çalışma, derin öğrenme tabanlı çevresel ses sınıflandırma teknolojisi ve bilgisayarlı görü tekniklerini bir araya getirerek gerçek zamanlı nesne algılama ve sınıflandırma işlemlerini gerçekleştirebilen ve bu özellikleri sayesinde otonom karar verebilen bir İnsansız Hava Aracı (İHA) platformunu tanıtmayı amaçlamaktadır. İHA'nın aynı anda ses ve görüntü işleme yeteneklerini kullanabilmesi, iki farklı veri kaynağından bilgi toplama ve analiz yapma olanağını sunar. Bu, İHA'nın hem çevresel sesleri dinleyebilme hem de çevresindeki nesneleri gözlemleme yeteneğini içerir. Ses işleme, platformun çevresel sesleri algılayarak ses tabanlı nesne tanıma ve sınıflandırma yapmasına olanak tanırken, görüntü işleme ise uçuş sırasında çevresindeki nesneleri görsel olarak algılayarak nesne tanıma ve sınıflandırma işlemlerini gerçekleştirebilir. Bu da İHA'nın tanımlı görevleri otomatik olarak gerçekleştirebilmesine olanak tanır.
Daha önceki bilimsel çalışmalar incelendiğinde nesne algılama ve sınıflandırmada, görüntü ve ses işleme teknolojisinin farklı alanlarda değişik amaçlar için ayrı ayrı kullanıldığı görülmektedir. İHA'ya otonom karar verme yeteneği kazandırmak ve gerçek zamanlı algılamanın yanı sıra kaydedilen görüntülerden ve seslerden nesne algılama ve sınıflandırma yapabilmek için gömülü bir yapay zekâ modülü gereklidir. İHA'nın, gömülü sistemler aracılığıyla hem ses hem de görüntü işleme teknolojilerini aynı anda kullanabilme yeteneğine sahip olması, nesne algılama ve sınıflandırma kapasitesini büyük ölçüde artırır ve ona önemli bir avantaj sağlar. Bu, İHA'nın çeşitli görevlerde daha etkili ve güvenilir bir şekilde kullanılmasına olanak tanır.
Önerilen yaklaşımda, görüntü ve ses işleme, İHA üzerine Raspberry Pi 4, kamera ve mikrofon monte edilerek gömülü gerçekleştirildi. Ayrıca uzaktan müdahale imkânı sağlaması için Raspberry Pi ile uyumlu 4G/LTE modem kit ve nesne algılama hızını arttırması için Coral Edge TPU yardımcı işlemcisi kullanıldı. Görüntü işleme için TensorFlow Kütüphanesi ve SSD MobilNetV2 evrişimsel sinir ağı modeli kullanıldı. Test uçuşları sırasında, araba için %96.3 ve insan için %96.2 doğruluk elde edildi. Ses sinyali işleme için derin öğrenme modeli olarak MobileNetV1 evrişimsel sinir ağı üzerine kurulu YAMNet derin öğrenme modeli seçildi. Ses sınıflandırması için yapılan uçuş testlerinde helikopter sesi kullanıldı ve modelin sesi doğru sınıflandırdığı gözlemlendi.

Abstract:
This study aims to introduce an Unmanned Aerial Vehicle (UAV) platform capable of real-time object detection and classification by combining deep learning-based environmental sound classification technology with computer vision techniques. The UAV's ability to simultaneously utilize audio and visual processing capabilities allows it to gather information and analyze data from two different sources. This includes the UAV's capacity to both listen to environmental sounds and observe surrounding objects. Sound processing enables the platform to detect and classify objects based on sound, while image processing allows it to visually perceive and classify objects during flight. This enables the UAV to autonomously perform defined tasks.
Previous scientific studies indicate that in object detection and classification, image and sound processing technologies have been separately used for different purposes. To endow the UAV with autonomous decision-making abilities and enable real-time detection from recorded images and sounds, an embedded artificial intelligence module is required. The UAV's capability to simultaneously use both sound and image processing technologies through embedded systems significantly enhances its object detection and classification capacity, providing it with a significant advantage. This allows the UAV to be used more effectively and reliably in various missions.
In the proposed approach, image and sound processing were embedded onto the UAV using Raspberry Pi 4, a camera, and a microphone. Additionally, a 4G/LTE modem kit compatible with Raspberry Pi was utilized to enable remote intervention, and the Coral Edge TPU auxiliary processor was used to increase object detection speed. For image processing, the TensorFlow Library and the SSD MobilNetV2 convolutional neural network model were used. During test flights, accuracy rates of 96.3% for cars and 96.2% for humans were achieved. For sound signal processing, the YAMNet deep learning model built on the MobileNetV1 convolutional neural network was chosen. Helicopter sound was used during flight tests, and the model correctly classified the sound.