Taktik çevre simülasyon programlarında sanal varlıkların pekiştirmeli öğrenme ile eğitilmesi
Training virtual entities with reinforcement learning in tactical environment simulation programs
Yazar: FATİHA NUR BÜYÜKOFLAZ
Danışman: DR. ÖĞR. ÜYESİ HÜSEYİN OKTAY ALTUN
KTO Karatay Üniversitesi / Lisansüstü Eğitim Enstitüsü / Elektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2021
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Günümüzde uçuş eğitimlerinin büyük bir kısmı güvenlik gerekçeleri, gerçek araçların bakım, onarım ve kullanım maliyetleri, eğitim için gerekli olan savaş koşullarının gerçek dünyada zor oluşturulması gibi sebeplerden ötürü uçuş simülatörleri üzerinden gerçekleştirilmektedir. Bu uçuş simülatörleri genellikle taktik çevre yazılımları ile entegre çalışırlar ve pilotun kontrol ettiği yüksek gerçeklik sadakat derecesine sahip varlıklarla birlikte senaryoyu oluşturan diğer düşük gerçeklik sadakat derecesine sahip varlıklar bu taktik çevre simülasyon programları ile yönetilirler. Mevcut taktik çevre simülasyon programlarında ortamdaki varlıkların kontrolleri geleneksel kontrol dallanmaları ile uzman ekipler tarafından programlanmak suretiyle gerçekleştirilmektedir. Bu şekilde tasarlanan simülasyonlarda karşılaşabilecek bütün durum olasılıklarını düşünmek zaman almaktadır ve yazılımsal anlamda oldukça güçtür. Ayrıca simülasyonda kullanılan sanal varlıkların statik olarak tasarlanması oldukça sınırlı ve kendini tekrarlayan senaryolara olduğu gibi katı davranış modellerine de sebep olmaktadır. Bu ve benzeri problemler için taktik çevre sümülasyonlarındaki sanal varlıkların eğitilmesi ihtiyacı ortaya çıkmıştır. Bu varlıkların eğitilmesi için pekiştirmeli öğrenme algoritmalarından olan  proksimal politika optimizasyonu tercih edilmiştir. Çalışmalar ticari bir taktik çevre simülasyon programı üzerinde gerçekleştirilmiştir. Sonuç olarak proje kapsamında kullanılan algoritmaların sanal varlıkları eğitmek için uygunluğu gösterilmiştir. Buna ek olarak birden çok sanal varlığın bulunduğu senaryolarda tüm varlıkların akıllandırılması suretiyle bir ekip olarak çalışabileceği ispatlanmıştır.

Abstract:
Today, most of the flight trainings are carried out on flight simulations due to maintenance, repair and usage costs of real vehicles, security reasons and the fact that the war conditions required for training can be difficult in the real world. Flight simulators are usually integrated with tactical environment simulators. Along with the high fidelity model of an airplane controlled via a pilot, the rest of the low fidelity entities are controlled by this tactical environment simulators.
In the existing simulation softwares, controlling agents in the environment where the pilots are trained are performed by traditional computer coding techniques with many branches in order to account for many possibilities. It takes substantial time and effort to consider all the possibilities that may be encountered in simulation environments and it is a quite challening task to program these entities. In addition, the static design of virtual entities used in simulation causes limited and repetitive scenarios and rigid behavioral models. For this problem and related problems, the need for  intelligent virtual entities has emerged. Proximal policy optimization, which is a branch of reinforcement learning algorithm was preferred to train this agent. The studies were carried out on a highly sophisticated commercial simulation software. As a result, the algorithms used within the scope of the project have been proven to be suitable for smarting static virtual entities. In addition, it has been shown that virtual entitys can work as a team with the proposed approach.