İHA destekli IoT ağlarında derin pekiştirmeli öğrenme yoluyla akıllı yansıtıcı yüzey destekli verim maksimizasyonu
Reconfigurable intelligent surface (RIS) assisted throughput maximization via deep reinforcement learning in UAV-powered IoT networks
Yazar: İDRİS ERTAŞ
Danışman: DR. ÖĞR. ÜYESİ HALİL YETGİN
Bitlis Eren Üniversitesi / Lisansüstü Eğitim Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
Bu yüksek lisans tezi, Akıllı Yansıtıcı Yüzeyler (RIS) kullanılarak, Derin Pekiştirmeli Öğrenme yöntemiyle, İnsansız Hava Araçları (İHA) destekli Nesnelerin İnterneti (IoT) ağlarında verimliliği maksimize etmeyi ele almaktadır. Bu çalışmanın temel amacı, bir bölgedeki IoT cihazlarından veri toplayan bir İHA'nın, bu cihazlardan maksimum veriyi toplayabilmesini, enerji verimliliğini artırmasını ve hedef bölgeye güvenli bir şekilde inmesini sağlamaktır. Bu amaçla, çeşitli IoT cihazlarından veri toplamak için bir İHA görevlendirildi ve bu İHA farklı çevresel koşullar için eğitildi. Çalışma iki aşamadan oluşmaktadır. Aşama-1'de İHA'nın yön kapasitesini ve keşif kabiliyetini arttırmak için bir algoritma oluşturuldu. Aşama-2'de ise sisteme RIS dahil edilerek RIS'in etkisi incelendi.
RIS teknolojisi, IoT cihazları ile İHA arasındaki iletişimin güvenilirliğini, güvenliğini, kapasitesini ve kapsama alanını artırmak için kullanılmaktadır. Özellikle bir IoT cihazı ile İHA arasında doğrudan görüş olmadığında veya aralarında bir engel (bina, ağaç, vb.) bulunduğunda, RIS, bir IoT cihazından gelen sinyalleri İHA'ya daha iyi iletmeye yardımcı olabilir. Bu çalışmada, RIS teknolojisinin kullanımının, IoT cihazları ile İHA arasındaki iletişimi geliştirdiğini ve enerji verimliliğini koruyarak toplanan veri miktarını artırdığını gösteriyoruz.
Simülasyon sonuçları, İHA'nın yön kapasitesi ve keşif kabiliyeti artırıldığında veri toplama performansını %8,18 ve birim enerji başına toplayabildiği veri miktarında %6,91 oranında artış sağladığı görülmektedir. Sisteme RIS teknolojisi dahil edildiğinde de veri toplama performansını %10,7, birim enerji başına toplanan veri miktarını ise %22,64 artırdığını göstermektedir. Ayrıca, derin pekiştirmeli öğrenme algoritmalarından biri olan Double Deep Q-Network (DDQN) algoritması kullanılarak eğitilen İHA, IoT cihazlarından veri toplamak için en uygun rotayı belirledi ve başarıyla iniş yapabildi.
Sonuç olarak, bu çalışma, RIS teknolojisinin İHA destekli IoT ağlarında veri toplama ve enerji verimliliği açısından büyük potansiyele sahip olduğunu ortaya koymaktadır. Bu çalışmanın sonuçları, gelecekteki İHA destekli IoT uygulamalarının geliştirilmesi ve optimize edilmesi için kullanılabilir.

Abstract:
This master thesis deals with maximizing throughput using Reconfigurable Intelligent Surfaces (RIS) through Deep Reinforcement Learning in Unmanned Aerial Vehicle (UAV)-powered Internet of Things (IoT) networks. The main purpose of this study is to ensure that a UAV collecting data from IoT devices positioned in a region can collect maximum data from these devices, as well as increase energy efficiency and land safely in the target area. For this purpose, a UAV was deployed to collect data from various IoT devices more effectively and this UAV was trained for different environmental conditions. The study consists of two phases. In phase 1, an algorithm was developed to increase the directional capacity and reconnaissance capability of the UAV. In phase 2, the RIS was integrated into the system and the effect of the RIS was analysed.
RIS technology is used to improve the reliability, safety, capacity and coverage of communication between IoT devices and UAV. In particular, when there is no direct line of sight between an IoT device and the UAV or when there is an obstacle (building, tree, etc.) between them, RIS can help to better transmit the signals from an IoT device to the UAV. In this study, we show that the use of RIS technology improves the communication between IoT devices and the UAV and increases the amount of data collected while maintaining energy efficiency.
The simulation results show that increasing the directional capacity and reconnaissance capability of the UAV increases the data collection performance by 8,18% and the amount of data it can collect per unit of energy by 6,91%. Leveraging RIS technology also improves the performance of data collection by 10,7% and the performance of collected data per unit energy by 22,64%. In addition, the UAV, which was trained with the Double Deep Q-Network (DDQN) algorithm, one of the deep reinforcement learning algorithms, determined the most suitable route for collecting data from IoT devices and was able to land successfully.
As a result, this study revealed that the use of RIS technology in UAV-powered IoT networks has great potential in terms of improved data collection and energy efficiency. The results of this study can be used for the development and optimisation of future UAV-powered IoT applications.