Hareket temelli yapay yaşam formlarının farklı öğrenme yöntemleri kullanılarak uyarlanabilmedeki başarılarının ölçülmesi
Comparision of the adaptation success of articulated artificial life forms in locomotion using various techniques
Yazar: EKİN SU UĞURLU
Danışman: PROF. DR. A. COŞKUN SÖNMEZ
Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2007
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Hareket etme problemi öğrenme yöntemleri üzerinde çalışmak için çok elverişli birproblemdir. Bu durum hareket probleminin zor bir öğrenme probleminin bütün parçalarınıiçermesinden kaynaklanmaktadır. Bu bilgiden yola çıkarak tezde eklemli yapıya sahip biryapay yaşam formunun hareketlerini kontrol edebilmeyi öğrenmesini sağlayacak çeşitliöğrenme yöntemlerinin uygulanması ve karşılaştırılması gerçekleştirilmiştir. Öğrenmedoğanın fizik kurallarının benzetildiği gerçekçi bir yapay ortamda sağlanmıştır.Hareket etme, uyarlanabilirlik isteyen bir problemdir. Bu nedenle hareket kontrolmekanizmasının önceden belirlenmiş veya dış kaynaklı olmasındansa nasıl hareket etmesigerektiğini yapay yaşam formunun kendi kendine öğrenmesi daha tercih edilebilir birdurumdur. Dolayısıyla yapay yaşam formunun hareket etmeyi öğrenmesinigerçekleştirebilmek amacıyla organizmaların işleyiş şekillerinden etkilenerek oluşturulan üçöğrenme alanından faydalanılmıştır.Temel alınan alanlar evrimsel öğrenme, denetimli öğrenme ve destekli öğrenmedir. Evrimselöğrenmeyi gerçekleştirmek için Genetik Algoritmalar; denetimli öğrenmeyi gerçekleştirmekiçin Yapay Sinir Ağlarının eğitilmesine yarayan Geri Yayılımlı Öğrenme ve Yinelenen YapaySinir Ağlarının eğitilmesinde kullanılan Gerçek Zamanlı Yinelenen Öğrenme; destekliöğrenmeyi sağlamak için ise Q-Öğrenme ve Politika Gradyanlı Destekli Öğrenmeyöntemlerinden faydalanılmıştır.Genetik Algoritma ile öğrenmenin gerçekleşmesi diğer yöntemlere göre çok yavaş olmuştur;öğrenme sonucunda da belirgin ve emin adımlarla ilerlediği görünümünü sağlayan yavaşadımlar gözlemlenmiştir. Denetimli öğrenmeyi gerçekleştirmek amacı ile kullanılanyöntemler arasında Gerçek Zamanlı Yinelenen Öğrenme daha iyi sonuçlar vermiştir. Buyöntemle öğrenme çabuk gerçekleşmiştir ve yaşam formu çok hızlı adımlarla ilerlemiştir fakatçoğunlukla ilerlediği doğrultuda sapmalar yaşanmıştır. Destekli öğrenme için kullanılanyöntemlerden Q-Öğrenme problem uzayının boyutuna ayak uyduramadığından başarısızsonuçlar vermiştir. Politika Gradyanlı Destekli Öğrenme ile eğitilen yapay yaşam formları isebüyük ve belirgin adımlar ile ilerlemişlerdir. Öğrenme çabuk gerçekleşmiştir, bu öğrenmeyöntemi ile eğitilen yapay yaşam formlarının ilerleme hızı yavaştır fakat hareketlerdüzgündür, genelde sapma göstermemişlerdir.Sonuç olarak üç öğrenme alanının kullanımından da görsel olarak belli bir gerçekçilik eşiğinitutturan hareketler elde edilmiştir. Yöntemlerin sonuçlarındaki farklılık daha çok öğrenmehızı, hareket hızı ve doğrultu değişiminden kaynaklanmaktadır. Gerçek Zamanlı YinelenenÖğrenmedeki sapmalarının ileriki çalışmalarda azaltılması hedeflenmelidir. Ayrıca dahasonraki çalışmalarda Genetik Algoritmalar ile Politika Gradyanlı Destekli Öğrenmeyöntemleri birleştirilerek daha iyi sonuçlar elde edilmesi beklenmektedir.Anahtar Kelimeler: Yapay Yaşam, Dinamik Hareket, Evrimsel Öğrenme, DenetimliÖğrenme, Destekli Öğrenme

Abstract:
Locomotion is a favorable area to work on learning techniques. This situation arises from itscapability to include all the elements of a difficult learning problem. Due to this fact, thisstudy aims to apply and compare the effect of the usages of various learning techniques on anarticulated artificial life form. This way the articulated structure tries to control its actionsautonomously. Learning is implemented on an artificial environment which simulates nature?sphysics laws in their basic form.Locomotion is a problem that requires adaptability. Thus instead of building a fixedlocomotion control structure or providing control from outside of the structure, it is moredesirable for the artificial life form to learn how to control its own actions. Therefore, thisstudy makes use of three learning areas in order for the artificial life form to learn to actautonomously. The commonality of these three learning areas is that they have all beeninfluenced by the way organisms operate.The learning areas worked on are evolutionary learning, supervised learning andreinforcement learning. Genetic Algorithms are used to realize evolutionary learning.Backpropagation Learning is applied on Artificial Neural Networks and Real Time RecurrentLearning is applied on Recurrent Neural Networks in order to realize supervised learning.Lastly, Q-Learning and Policy Gradient Reinforcement Learning are implemented to realizereinforcement learning.The conclusion of learning with Genetic Algorithms took much more time with respect toother learning techniques and, slow and distinctive movements were observed uponcompletion of the learning process. Real Time Recurrent Learning, which is one of the triedsupervised learning techniques, produced better results than learning by Backpropagation.This technique eventuated fast. In addition, the artificial life form moved very quickly butdirectional deviations were observed frequently. Due to its inefficiency to deal with thedefined large problem space, Q-learning turned out to be unsuccessful. The otherreinforcement learning technique Policy Gradient Reinforcement Learning on the other hand,converged fast and resulted in large and distinctive movements. Only the pace of thelocomotion turned out to be low.In conclusion, the implementations of all the learning areas resulted in some kind oflocomotion that was visually above the threshold. The results of the learning techniquesmostly differed on speed of learning, pace of locomotion and change in direction. Thedirectional diversions of Real Time Recurrent Learning are aimed to be reduced in futurestudies. Additionally, the combination of Genetic Algorithms and Policy GradientReinforcement Learning is offered as another future work.Keywords: Artificial Life, Locomotion, Evolutionary Learning, Supervised Learning,Reinforcement Learning