Makı̇ne öğrenmesı̇ ı̇le sürü robotları ı̇çı̇n savaş stratejı̇sı̇ modelı̇
A q-learning based approach for simple and multi-agent systems
Yazar: ÜMİT ULUSOY
Danışman: DOÇ. DR. MEHMET SERDAR GÜZEL
Ankara Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2019
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Yapay sinir ağları = Artificial neural networks

Özet:
Bu çalışma, iki boyutlu robot simülasyon platformunda (Robocode) gerçekleşen hem tekli hem de çok ajanlı sistemlere farklı makine öğrenmeye dayalı çözümler önermektedir. Bu dinamik ve programlanabilir platform, çeşitli savaş stratejileri kullanarak robotların çevreleriyle ve birbirleriyle etkileşime girmelerini sağlar. Makine öğrenmesi temelli modellerden biri olan Pekiştirmeli Öğrenme ise bu tarz bir problemin uygulanmasında popüler çözümlerden biridir. Bununla birlikte, özellikle sürekli devam problemler için alanlarda, alan sorunu derinleşmektedir. Temel olarak, Pekiştirmeli Öğrenmenin (PÖ) ana dezavantajlarından biri, basit görevler için sadece birkaç parametre kullanılarak işlevin tanımlanabileceği uygun bir ödül işlevi tasarlamaktır, oysa ödül işlevinin amacını daha karmaşık bir şekilde tahmin etmek zor olabilir. Son araştırmalar, Yapay Sinir Ağı(YSA) tabanlı yaklaşımların bu zorluklarla başa çıkabileceğini, iki boyutlu veya bir boyutlu verilerinden kontrol stratejileri öğrenmeyi de başardığını kanıtlamıştır. Tekli robotlar için PÖ algoritmalarının bu sorunlara ek olarak, robot sayısı arttıkça ve sistemlerin çok robotlu sistemler gibi davranması gerektiğinde, genel algoritma tasarım gereksinimleri daha da karmaşık hale gelmektedir. Bu çalışmada, bu kapsam dahilinde önerilen sistem farklı savaş senaryoları dikkate alınarak doğrulanmıştır.
İlk olarak, Pekiştirmeli Öğrenme algoritması tarafından eğitilmiş tek robot, tek bir robota karşı savaşmıştır. Ayrıca, Pekiştirmeli Öğrenme algoritması tarafından eğitilmiş robotlardan çok robotlu ve merkezi bir noktadan yönetilmeyen bir sistem daha tasarlanmıştır. Tasarlanan bu sistem ile oyunun kurallarına göre diğer sürü robotları ile savaşlar yapılmıştır. Üçüncü durumda ise robot, geleneksel bir Yapay Sinir Ağı tabanlı bir sistem kullanılarak eğitilmiştir. Daha sonra, Yığılmış Otomatik Kodlayıcılar(YOK) temel alan derinlemesine öğrenmeye dayalı bir mimari, eğitimli robotların rakip robotlara karşı savaşmasına izin verecek şekilde tasarlanmış ve kullanılmıştır. Pekiştirmeli Öğrenme tabanlı sistemin performansı ve denetlenen öğrenme teknikleri, bu problem için farklı senaryolar kullanılarak karşılaştırılmıştır. Dördüncü olarak ise Genetik Algoritma ile bireysel robotlar geliştirilmiştir. Tüm durumlar için alınan sonuçlar neticesinde Yapay Sinir Ağları tabanlı yaklaşımın diğer yöntemlere göre üstünlüğü ortaya net bir şekilde çıkmaktadır.

Abstract:
This study proposes different machine learning based solutions to both single and multi-agent systems, took place on a 2-D simulation platform, namely, Robocode. This dynamic and programmable platform allows agents to interact with the environment and each other by employing a variety of battling strategy. Q-Learning is one of the leading and popular machine learning based solution to be applied such a problem. However, especially for continues spaces the control problem gets deeper. Essentially, one of the main drawbacks of Reinforcement Learning (RL) is to design an appropriate reward function that the function can be described by only employing few parameters for simple tasks, whereas for more complex estimating the goal of the reward function may be a challenging problem. Recent studies prove that Neural Network based approaches can handle these challenges and achieve to learn control strategies from 2-D or 1-D data. Besides those problems of RL algorithms for single robots, once the number of robots increases and the systems need to behave as a multi agent systems, the overall design requirements become more complex. Accordingly, the proposed system is validated by considering different battle scenarios.
First, the single robot, trained by Q-Learning algorithm battles against a single robot. Besides, a multi agent system is designed from the robots trained by the Q-Learning algorithm and they battle against multiple robots based on the rules of the game. For the third case, on the other hand, the robot is trained by employing a conventional Artificial Neural Network (ANN) based system. Next, a deep learning based architecture based on Stacked Autoencoders (SAE) is designed and employed to the system so as to allow trained robots battle against competing robots. Fourthly, Genetic Algorithm(GA) is used to evolve single agent robot. The performance of the Q-Learning based system and the supervised learning techniques are compared by employing different scenarios for this problem. Results reveal the superiority of the ANN based approach over other methods.