Kapalı ortamlar için derin pekiştirmeli öğrenme algoritmaları ile mobil robotların navigasyonu
Navigation of mobile robots with deep reinforcement learning algorithms for indoor environments
Yazar: EMRE APAYDIN
Danışman: DR. ÖĞR. ÜYESİ ALPASLAN BURAK İNNER
Kocaeli Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Mevcut mobil robotik araştırmalarındaki en önemli konulardan biri otonom navigasyondur. Navigasyon; yol planlama ve hareket planlama olarak iki kısımdan oluşur. Bununla birlikte yol ve hareket planlama, haritası çıkarılmamış ortamlarda zorlu bir görevdir. Bu zorlukları aşmak için son yıllarda derin pekiştirmeli öğrenme (DPÖ) yöntemleri sıklıkla kullanılmaktadır. Bu çalışmanın amacı, haritası çıkarılmamış ortamlarda düşük maliyetli sensörler kullanarak bir mobil robotun navigasyonu için derin pekiştirmeli öğrenme yöntemlerinin kullanımını araştırmak, modellemek ve kıyaslamaktır. Belirtilen amaca ulaşmak için iki aşamalı bir yöntem belirlenmiştir. Birinci aşamada kapalı bir oda ortamı iki boyutlu grid olarak temsil edilmiştir. Bu ortam üzerinde A2C, DQN, TRPO, PPO gibi ayrık eylem uzayında çalışabilen farklı pekiştirmeli öğrenme algoritmalarının performansları kıyaslanmıştır. Bu karşılaştırmayı yaparken belirli bir öğrenme kriteri eklenmiştir ve ayrıca epsilon değeri, adım sayısı gibi parametreler değiştirilerek eğitim ve test aşamalarındaki değişiklikler analiz edilmiştir. Değerlendirme ölçütü olarak bölüm başına alınan ortalama ödül kullanılmıştır. Daha yüksek ödül, bir robotun çarpışmadan veya zaman adımı sınırını aşmadan daha fazla sayıda hedefe ulaşabildiği anlamına gelir. Bu ortamlarda PPO ajanının daha başarılı olduğu görülmüştür. İkinci aşamada Gazebo benzetim ortamında üç boyutlu hazır ortamlarda algoritmaların performansı değerlendirilmiştir. Sürekli eylem uzaylarında çalışan TD3, SAC, PPO algoritmaları Gazebo ortamında kıyaslandı. 2B ortamında başarı sağlayan hiperparametreler 3B ortamda da kullanıldı. Bu şekilde TD3 ajanı daha başarılı sonuçlar almıştır. Son olarak ise hem ayrık hem de sürekli eylem uzayında çalışabilen ve 2B ortamda en başarılı olan PPO ajanı ile sadece sürekli eylem uzayında çalışan ve 3B ortamda başarısı görülen TD3 ajanı kıyaslandı ve gözlemler sonucunda TD3 ajanının daha başarılı olduğu görüldü.

Abstract:
One of the most important topics in current mobile robotics research is autonomous navigation. Navigation consists of two parts: path planning and motion planning. However, path and motion planning is a challenging task in unmapped environments. To overcome these challenges, deep reinforcement learning (DRL) methods have been widely used in recent years. The aim of this work is to investigate, model and benchmark the use of deep reinforcement learning methods for navigation of a mobile robot using low-cost sensors in unmapped environments. In order to achieve the stated goal, a two-stage methodology was defined. In the first stage, an indoor room environment is represented as a two-dimensional grid. The performances of different reinforcement learning algorithms such as A2C, DQN, TRPO, PPO which can operate in discrete action space are compared on this environment. While making this comparison, a specific learning criterion was added and also parameters such as epsilon value, number of steps were changed and the changes in the training and testing phases were analyzed. The average reward per episode was used as the evaluation criterion. Higher reward means that a robot is able to reach a greater number of targets without colliding or exceeding the time step limit. The PPO agent was found to be more effective in these environments. In the second phase, the performance of the algorithms was evaluated in three-dimensional ready-made environments in the Gazebo simulation environment. TD3, SAC, PPO algorithms operating in continuous action spaces were compared in Gazebo environment. Hyperparameters that were successful in 2D environment were also used in 3D environment. Finally, PPO agent, which can work in both discrete and continuous action space and is the most successful in 2D environment, and TD3 agent, which works only in continuous action space and is successful in 3D environment, were compared and TD3 agent was more successful.