Öndeki aracı geçme probleminin derin pekiştirmeli öğrenme yöntemiyle modellenerek otonom sistem tasarımı
Autonomous system design by modeling the problem of passing the front vehicle with deep reinforcement learning method
Yazar: YASİN ATILKAN
Danışman: DR. ÖĞR. ÜYESİ FEHİM KÖYLÜ
Erciyes Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Bilgisayar destekli benzetim = Computer aided simulation ; Yapay zeka = Artificial intelligence ; Öğrenme algoritmaları = Learning algorithms

Özet:
Yapay zekâ alanında yapılan gelişmeler ile birlikte insanlar tarafından yapılan işler yapay sistemler tarafından da yapılır hale gelmiştir. Birçok alanda yapay zekâ tabanlı sistemler ile büyük başarımlar elde edilse de insan sürücüsüz araçlar olan otonom araçların performansı henüz yeterli seviyede olmayıp gelişime açıktır. 
    
Öndeki aracı geçme, en çok uygulanan araç davranışlarından biridir. Otonom araçlar zaman, konfor ve güvenlik yönünden zarara uğramamak için bu kabiliyete sahip olmalıdır. Otonom araç görevlerindeki son yaklaşımlar, sürüş davranışlarının zor ve karmaşık yapısı nedeni ile derin öğrenme tabanlı makine öğrenmesi yaklaşımlarıdır.
    
Bu tez çalışmasında, derin pekiştirmeli öğrenme algoritmalarının öndeki aracı geçme problemi üzerindeki etkinliği simülasyon ortamlarında incelenmiştir. Oluşturulan ilk ortam, otonom aracın bir zaman adımında belirlenen eylem kümesinden bir tanesini seçebileceği kesikli eylem uzayında, diğer ortam ise belirli değer aralığından eylem seçimi yapabileceği sürekli eylem uzayında oluşturulmuştur. Üçüncü bir ortam ise öncelikle alt bir göreve odaklanarak müfredat öğrenme yaklaşımı ile kesikli eylem uzayında eğitilen modellerin performansını artırmak için oluşturulmuştur. Çalışmada derin Q-ağları, avantaj aktör kritik, proksimal politika optimizasyonu ve esnek aktör kritik algoritmaları kullanılmıştır. Bu algoritmalar farklı hiperparametre ayarlarında eğitilerek model sayıları artırılmıştır. Algoritmaların ilgili görevi çözmede hiperparametre değişikliğinden etkilendiği belirlenmiştir. Kesikli eylem uzayında eğitilen bir proksimal politika optimizasyonu modeli ve sürekli eylem uzayında eğitilen bir esnek aktör kritik modeli diğer modellere göre daha başarılı olmuşlardır. Ayrıca müfredat öğrenimi yaklaşımı ile derin Q-ağları ile eğitilen bir modelin performansı artırılarak yaklaşımın olumlu etkisi görülmüştür.

Abstract:
With the developments made in the field of artificial intelligence, the work done by humans has become done by artificial systems. Although great success has been achieved with artificial intelligence-based systems in many areas, the performance of autonomous vehicles, which are human driverless vehicles, is not yet at a sufficient level and is open to improvement.

Passing the vehicle in front is one of the most common vehicle behaviors. Autonomous vehicles must have this capability to avoid losses in time, comfort and safety. Recent approaches in autonomous vehicle tasks are deep learning-based machine learning approaches due to the difficult and complex nature of driving behaviors.

In this thesis, the effectiveness of deep reinforcement learning algorithms on the overtaking problem was investigated in simulation environments. The first environment is a discrete action space where the autonomous vehicle can choose one action from a set of actions in a time step, and the second environment is a continuous action space where the autonomous vehicle can choose actions from a range of values. A third environment was created to improve the performance of the models trained in discrete action space with a curriculum learning approach, focusing primarily on a sub-task. Deep Q-networks, advantage actor critic, proximal policy optimization and soft actor critic algorithms were used in the study. These algorithms were trained with different hyperparameter settings to increase the number of models. The algorithms were found to be affected by the hyperparameter change in solving the task of interest. A proximal policy optimization model trained in discrete action space and a soft actor critic model trained in continuous action space were more successful than the other models. In addition, the curriculum learning approach improved the performance of a model trained with deep Q-networks, showing the positive impact of the approach.