Derin pekiştirmeli öğrenme ile otonom gezgin robotların dinamik ortamlarda navigasyonu
Navigation of autonomous mobile robots in dynamic environments with deep reinforcement learning
Yazar: KORAY ÖZDEMİR
Danışman: DR. ÖĞR. ÜYESİ ADEM TUNCER
Yalova Üniversitesi / Lisansüstü Eğitim Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2021
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Hareketli robotlar = Mobile robots ; Sayısal görüntü işleme = Digital image processing

Özet:
Son yıllarda teknolojinin gelişmesine bağlı olarak gezgin robotların kullanımı yaygınlaşmakta ve robotların görevlerini otonom olarak gerçekleştirmeleri ile ilgili çalışmaların da sayısı gün geçtikçe artmaktadır. Gezgin robotların hedef tanıma, navigasyon ve engelden sakınım gibi pek çok görevi otonom olarak yerine getirmesi onların üstesinden gelmesi gereken problemlerin başında yer almaktadır. Literatürde sabit engellerin bulunduğu ortamlar ile ilgili pek çok çalışma bulunmaktadır; ancak gerçek dünyada çevrede sabit engellerin yanında hareketli engeller de bulunmaktadır. Gezgin robotların insanların veya diğer hareketli engellerin bulunduğu ortamlarda görevlerini yerine getirebilmeleri oldukça önemlidir.
Pekiştirmeli öğrenme bulunulan ortamla ilgili herhangi bir ön bilgi gerektirmemesi ve insan öğrenmesine benzer bir yaklaşım göstermesi nedeniyle son yıllarda üzerinde çalışmaların yoğunlaştığı bir makine öğrenmesi yöntemidir. Pekiştirmeli öğrenmenin en sık kullanılan yöntemi Q öğrenme algoritmasıdır. Q öğrenme algoritması ile derin sinir ağlarının birleştirilmesiyle derin Q öğrenme (veya derin Q ağlar) ortaya çıkmıştır. Robotların engellerle dolu çevrelerde herhangi bir ön bilgiye ihtiyaç duymadan kendi kendilerine öğrenme gerçekleştirebilmeleri, derin Q öğrenmenin geleneksel algoritmalara göre tercih edilmesinin en önemli sebebidir.
Bu tez çalışmasında, bir gezgin robotun herhangi bir harita bilgisine ihtiyaç duymadan verilen hedefleri tanıyarak ve engellerden kaçınarak hedeflere ulaşması amaçlanmaktadır. Bu amaçla derin Q öğrenme algoritmalarından, düello çift derin Q öğrenme (D3QN) algoritmasını temel alan üç farklı ağ modeli tasarlanmıştır. Derinlik kamerasından elde edilen derinlik görüntüleri modellerin eğitim sürecinde kullanılmıştır. Gezgin robotun hedefini tanıması ve hedefe doğru yönelmesi için ağ modellerine ek bilgi olarak hedefe olan yön açısı ve mesafe bilgileri verilmiştir. Eğitim ve test süreçleri Robotik işletim sistemi (ROS) ve Gazebo benzetim ortamı üzerinde gerçekleştirilerek sistemin gerçek dünyada uygulanabilirliği gösterilmiştir. Sonuç olarak önerilen modelin gezgin robotların hedeflerini tanıyıp engellerden sakınarak hedeflerine ulaşmalarında başarılı olduğu görülmüştür.

Abstract:
In recent years, depending on the development of technology, the use of mobile robots is becoming widespread and the number of studies on autonomous robots is increasing day by day. The fact that mobile robots can perform many tasks autonomously, such as target recognition, navigation and obstacle avoidance, is one of the problems that they must overcome. There are many studies in the literature on environments with static obstacles. However, in the real world, there are dynamic obstacles as well as static obstacles in the environment. It is very important that mobile robots can perform their tasks in environments with people or other dynamic obstacles.
Reinforcement learning is a method of machine learning that has been focused on in recent years, since it does not require any prior knowledge of the environment and shows a similar approach to human learning. The most commonly used algorithm of reinforcement learning is the Q learning algorithm. Deep Q learning (or Deep Q networks) has emerged by combining the Q learning algorithm with deep neural networks. In recent years, the use of deep Q learning algorithms in robot navigation has been increasing. The most important reason why deep Q learning is preferred over classical algorithms is that robots can learn on their own without the need for any prior knowledge in environments full of obstacles.
In this thesis, it is aimed for a mobile robot to reach the targets by recognizing the given targets and avoiding obstacles without the need for any map information. For this purpose, three different network models were designed based on the dueling double deep Q learning (D3QN) algorithm, one of the deep Q learning algorithms. Depth images obtained from the depth camera were used in the training step of the models. In order for the mobile robot to recognize its target and steer towards the target, the direction angle and distance information to the target are given as additional information to the network models. Training and testing steps were carried out on Robotic operating system (ROS) and Gazebo simulation environment, and the applicability of the system in the real world was demonstrated. As a result, it has been seen that the proposed model is successful in reaching the targets of mobile robots by recognizing their targets and avoiding obstacles.