Unity3D ortamında derin pekiştirmeli öğrenme ile eğitilen uçakların performansı
Performance evaluation of aircraft agents trained with deep reinforcement learning in Unity3D environment
Yazar: METE CANTEKİN
Danışman: DR. İBRAHİM FURKAN İNCE ; PROF. ONUR OSMAN
İSTANBUL NİŞANTAŞI ÜNİVERSİTESİ / Lisansüstü Eğitim Enstitüsü / Yazılım Mühendisliği Ana Bilim Dalı / Yapay Zeka Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Sivil Havacılık = Civil Aviation
Dizin: Derin öğrenme = Deep learning ; Makine öğrenmesi = Machine learning ; Otonom araçlar = Autonomous vehicles ; Oyuncu olmayan karakter = Non player character ; Video oyunları = Video games ; Yapay zeka = Artificial intelligence

Özet:
İçinde yaşadığımız evren, fizik yasalarının geçerli olduğu bir simülatör ortamı olarak görülebilir. Ne var ki bir robot ya da video oyun karakteri gibi sentetik bir ajana göre kendi yapay dünyaları haricinde herhangi bir evren ya da simülasyon tanımı yoktur. Bu ajanlar karmaşık talimatlar dizisi ile oluşturulmuş sanal dünyalarında, bu dünyanın fiziği hakkında bilgi edinmek istiyorlarsa, geliştiricinin sakladığı değişkenleri öğrenme yoluyla tespit etmeleri yeterlidir. Bu ajanlar fiziksel dünyamızın zaman değişkeniyle sınırlı olmadıklarından, kendi sanal dünyalarında daha hızlı öğrenebilmektedirler. Bu yüzden günümüzde ajan eğitiminin merkezinde dijital ortam bulunmaktadır. Burada kullanılan bilgisayar simülatörü tabirinden bir algoritmanın çalıştığı ortamı anlamak gerekmektedir. Bu ve benzeri ortamlarda öğrenme süreci çok sayıda eğitim tekrarı gerektirdiğinden, pekiştirmeli öğrenme metodunu algoritma ile simülatör ya da ajan ve çevre arasındaki boşluğu dolduran bir unsur olarak görmek yerinde olacaktır. Unity3D ortamında derin pekiştirmeli öğrenme ile uçak ajan eğitimi çalışmasında bir başlangıç noktasından harekete geçen 4 uçak ajan, yarış rotasındaki 21 adet kontrol noktasından geçtikten sonra belirli sınırlar içerisinde tekrar başlangıç noktasına dönerek bitiş çizgisine ulaşmaktadır. Dolayısıyla uçak ajanlarının ödül ve ceza sistemi ile oluşturulan bu ortamda, engellere çarpmadan kontrol noktalarından geçebilmesi için eğitilmeleri amaçlanmaktadır. Bu doğrultuda uçak ajanların eylemlerinin sonuçlarına göre politikalarını güncelleyebildiği ve onlara gittikçe daha iyi performans göstermelerini sağlayabildiği için Proksimal Politika Optimizasyonu (PPO) algoritmasından yararlanılmıştır. Ayrıca Unity3D ML-Agents aracının kullanımında Reinforcement Learning: AI Flight with Unity ML-Agents adlı örnek çalışmadan yararlanılmıştır. Böylece ML-Agents aracı sayesinde uçak ajanların sinir ağlarındaki PPO davranış parametreleri optimize edilebilmiştir. Bu durumda yapay sinir ağları değiştirildiğinde, uçak ajanlarının performansının da değişebildiği gözlemlenmiştir. Ne var ki pekiştirmeli öğrenmenin kapsam alanı yakın bir tarihte bilgisayar simülasyonunun ötesine geçecek gibi görünmektedir. Bu kapsamdaki çalışmalar oyun karmaşıklığının dengelenmesi kadar bazı robotik simülasyon ve otonom uçuş gibi gerçek yaşam problemlerine de uygulanabilmektedir. Dolayısıyla bu çalışmalar yapay zeka, dijital oyun ve havacılık gibi farklı alanlarda heyecan verici gelişmelere sebep olmaktadır.

Abstract:
The universe we live in can be seen as a simulator environment where physical laws are valid. However, for a synthetic agent like a robot or a video game character, there is no definition of any universe or simulation other than their own artificial worlds. If these agents want to learn about the physics of this world in their virtual worlds created by a complex sequence of instructions, they only need to detect the variables hidden by the developer through learning. These agents are not limited by the time variable of our physical world, so they can learn faster in their own virtual worlds. That is why digital environment is at the center of agent training today. It is necessary to understand the environment where an algorithm works from the term computer simulator used here. In such and similar environments, since the learning process requires a large number of training repetitions, it would be appropriate to see the reinforcement learning method as an element that fills the gap between the algorithm and the simulator or the agent and the environment. In the study of aircraft agent training with deep reinforcement learning in Unity3D environment, 4 aircraft agents moving from a starting point reach the finish line by returning to the starting point within certain limits after passing 21 control points on the race route. Therefore, it is aimed to train the aircraft agents in this environment created with the reward and penalty system to pass the control points without hitting the obstacles. In this direction, the Proximal Policy Optimization (PPO) algorithm was used, which allows the aircraft agents to update their policies according to the results of their actions and to provide them with better performance. In addition, the example study Reinforcement Learning: AI Flight with Unity ML-Agents was used in the use of Unity3D ML-Agents tool. Thus, thanks to the ML-Agents tool, the PPO behavior parameters in the neural networks of the aircraft agents could be optimized. In this case, it was observed that the performance of the aircraft agents changed when the artificial neural networks were changed. However, the scope of reinforcement learning seems to go beyond computer simulation in the near future. Studies in this context can be applied to real-life problems such as robotic simulation and autonomous flight as well as balancing game complexity. Therefore, these studies cause exciting developments in different fields such as artificial intelligence, digital games and aviation.