Bir insansız hava aracının modellenmesi ve derin pekiştirmeli öğrenme tabanlı otonom kontrolü
Modeling of an unmanned aerial vehicle and autonomous control based on deep reinforcement learning
Yazar: BURAK TAŞ
Danışman: PROF. DR. AYŞEGÜL UÇAR
Fırat Üniversitesi / Fen Bilimleri Enstitüsü / Savunma Teknolojileri Ana Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Savunma ve Savunma Teknolojileri = Defense and Defense Technologies
Dizin: Derin öğrenme = Deep learning ; Modelleme = Modelling ; Modellenme = Represent ; Otonom ve kontrol = Autonomous  and controlled ; İnsansız hava aracı = Unmanned aerial vehicle

Özet:
İnsansız Hava Araçlarına (İHA) yönelik araştırma ilgisi, çok çeşitli uygulamalar için
potansiyel kullanımları nedeniyle hızla artmıştır. İHA'lar uçuş manevrası olarak, top atma ve
yakalama, İnsansız Yer Araçlarının (İYA) düzen kontrolü, kritik tarım alanlarında İHA'nın uçan
bir sensör görevi görerek örneklemler yapabilmesi ve birçok buna benzer görevleri üslenebilmesi
kabiliyeti sayesinde uzak ve riskli ortamlarda tehlikeli ve süreklilik gerektiren görevleri yerine
getirebilme yetenekleriyle İHA'lar çok umut vermektedir.
Son yıllarda, bilgi teknolojisi ve yapay zekadaki büyük ilerleme, giderek yaygınlaşmakta olan
akıllı otonom sistemleri büyük ölçüde etkilemektedir. Bu tür bir gelişime, tam otonom, yarı otonom
ve veya uzaktan kontrol edile bilen uçan araçlardan oluşan İnsansız Hava Araçlarını da etkisi altına
almıştır. Bu alanda yapılan çalışmaların en temel öncelikli hedefi, İHA'ların herhangi bir insan
kontrolü olmadan o anki durum ve şartlara göre kendi yol planlama, manevra yapma ve görev yerine
geri dönme gibi kendi kararlarını alabilen bir otonom sistem oluşturmaktır.
Otonom bir İnsansız Hava Aracından beklenen temel görev, insan müdahalesi olmaksızın
çarpışmalardan kaçınarak ve verimli bir yol boyunca istenen hedeflere yönlenmesi amaçlamaktadır.
Bu nedenle bir İHA'nın zorlu ortamlardaki otonom görevlerde bulunması çok önemli bir rol
oynamaktadır.
Bu çalışmada, derin pekiştirmeli öğrenme yaklaşımını kullanarak otonom bir İHA yolu
planlama algoritması oluşturmak hedeflenmektedir. Bu çalışmanın temel amacı, belirli bir üç
boyutlu statik engelleri aşarak belirlenen hedefe ulaşmasını sağlamaktır. Bunun için İHA'nın kendi
kendini eğitmesi ve belirlenen hedefe eğitilmiş olan ağ yapısını kullanarak ulaşması beklenmektedir.
Bu çalışmada, İHA'nın belirlenen hedefine ulaşması için engellerin sağından veya solundan geçerek
kendi yolunu oluşturması gerekmektedir. Bu amaç doğrultusunda bu çalışmada sürekli eylem
alanına sahip bir Derin Deterministik Politika Gradyanı (DDPG) tasarlanmıştır. Aynı zamanda
İHA'nın kontrolü MAVROS iletişim protokolü aracılığı ile İHA ya aktarılmaktadır. Bu iletişim
protokolü bu tez çalışmasına özgü olarak yeniden tasarlanmıştır. İHA ile varış noktası arasındaki
mesafeyi en aza indirmek ve çarpışmaları cezalandırmak için bu çalışmaya özgü bir ödül işlevi
geliştirilmiştir. Bu sayede İHA'nın çarpışmalardan kaçınarak istenilen hedefe en kısa yoldan
ulaşması sağlanmıştır.

Abstract:
Research interest in Unmanned Aerial Vehicles (UAV) has increased rapidly due to their potential
uses for a wide variety of applications. UAVs offer a lot of promise with their ability to perform
dangerous and continuous tasks in remote and risky environments, thanks to the ability of UAVs such
as, perform flight maneuvers, ball throwing, and catching, and order control of Unmanned Ground
Vehicles, the UAV's ability to perform samples by acting as a flying sensor in critical agricultural
areas and to undertake many similar tasks.
In recent years, great progress in information technology and artificial intelligence has
significantly affected the increasingly widespread intelligent autonomous systems. This kind of
development has also influenced Unmanned Aerial Vehicles, which consist of fully autonomous,
semi-autonomous, and remotely controlled flying vehicles. The primary objective of the studies in
this field is to create an autonomous system that can make its own decisions such as planning its
own path, maneuvering, and returning to the duty place according to the current situation and
conditions without any human control.
The main task expected from an Autonomous Unmanned Aerial Vehicle is to avoid collisions
without human intervention and to lead to desired targets along an efficient path. Therefore, it
plays a very critical role for a UAV to perform autonomous missions in extreme environments.
This thesis, it is aimed to create an autonomous UAV path planning algorithm using a deep
reinforcement learning approach. The main purpose of this thesis is to reach the determined target
by overcoming certain three-dimensional static obstacles. For this, it is expected that the UAV will
train itself and reach the determined target by using the trained network structure. In this thesis,
in order for the UAV to reach its determined target, it has to create its own path by passing from
the right or left of the obstacles. For this purpose, a Deep Determining Policy Gradient (DDPG)
with a continuous action area was designed in this thesis. At the same time, the control of the
UAV is communicated to the UAV via the MAVROS communication protocol. This
communication protocol has been redesigned specifically for this thesis. A reward function specific
to this thesis was developed to minimize the distance between the UAV and the destination and
penalize collisions. In this way, it was ensured that the UAV avoided collisions and reached the
desired target by the shortest route.