Robot kollarının cisimlerin tutulabilirliğini federe derin pekiştirmeli öğrenme yöntemiyle öğrenmesi
Learning the grip of objects by the federated deep reinforcement learning method of robot arms
Yazar: MURAT UĞUR GÜLLE
Danışman: DR. ÖĞR. ÜYESİ PERİ GÜNEŞ
İstanbul Aydın Üniversitesi / Lisansüstü Eğitim Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Derin öğrenme = Deep learning ; Robot kolu = Robot arm ; Öğrenme teknikleri = Learning techniques

Özet:
Robot kollar son yıllarda endüstride en çok kullanılan robotik sistemlerden birisi haline gelmiştir. Bu sayede üretim hatları gelişmiş, hızlanmış ve otomatik hale getirilmiştir. Robotların belirlenen cisimleri belirli yerlerden alıp tekrar belirlenen yere taşınması, robotların belirli cisimleri tanıması ve ona göre hareket etmesi, robot kolların eklem bölgelerinin hareket performansları, robot kollarının tork kontrolleri araştırmacıların çalıştığı konuların başında gelmektedir. Robot kolların otomatik hale getirmedeki en büyük problemlerden birisi kullanım yerine göre eğitilmesidir. Geçtiğimiz yıllarda bu eğitim uzun sürmekteyken son yıllarda yöntemlerin ve eğitim algoritmalarının gelişmesiyle birlikte oldukça hızlı gerçekleşmektedir. Önerilen ve geliştirilen algoritmalar bahsedilen problemleri çözmektedir. Son yıllarda çeşitli araştırmacıların önerdiği federe öğrenme yöntemi ile derin pekiştirmeli öğrenme yaklaşımı birleştirilmiştir. Federe öğrenme yaklaşımı alt sistemlerin yani robot kolların aynı anda eğitilmesini sağlamaktadır. Bu eğitim gerçekleştirilirken alt sistemler hatalarını ve sinir ağlarının parametrelerini sunucuya gönderir ve sunucuda tekrar hesaplanan bu ağırlıklar ve hatalar güncellenmiş bir şekilde tekrar alt sistemlere gönderilir. Federe öğrenmenin bir faydası da veri güvenliği olarak karşımıza çıkar. Federe öğrenmede alt sistemler kendi aralarında haberleşmez ve sunucuya herhangi bir veri göndermezler. Tüm transferler sadece alt sistemlerin sinir ağlarının hataları ve ağırlıkları üzerinden gerçekleştirilir. Sunulan eğitim algoritmasının testi federe derin öğrenme yaklaşımıyla eğitilen bir robot kolun eğitim performansı ile karşılaştırılmıştır. Geliştirilen federe derin öğrenme yaklaşımı yaklaşık 6 saat eğitimden sonra %90 seviyesinde öğrenme gerçekleştirmiştir. Ancak sunulan federe derin pekiştirmeli öğrenme algoritması aynı eğitim düzeyine yaklaşık 5 saatte ulaşmıştır. Sunulan eğitim algoritması standart federe derin öğrenme algoritmasından daha iyi performans göstermiş ve daha hızlı sonuç vermiştir. Aynı zamanda sunulan bu algoritma herhangi bir veriye ihtiyaç duymadan öğrenmeyi sağlar.
Anahtar kelimeler: Robot Kollar, Federe Öğrenme, Federe Derin Öğrenme, Pekiştirmeli Öğrenme, Federe Pekiştirmeli öğrenme

Abstract:
Robotic arms have become one of the most used electronic systems in the industry in recent years. In this way, production lines have been developed, accelerated and automated.Precise objects identification and moving, the motion performances of the joint areas of the robot arms,  and torque controls of the robot arms are some of the favorite subjects that researchers are working on. One of the biggest problems in automating robot arms is they are being trained for needs in certain fields. While this training took a long time in the past years, it has been taking place very quickly with the development of methods and training algorithms in recent years. Suggested and developed algorithms are able to solve the mentioned problems.  In recent years, the federated learning method recommended by various researchers has been combined with a deep reinforcement learning approach. Federated learning method enables training of multiple robot arms at the same time. While performing this training, subsystems send their errors and neural network parameters to the server, and these recalculated and updated weights and errors are sent back to the subsystems.  Another benefit of federated learning is data security. In federated learning, subsystems do not communicate with each other and do not send any data to the server. All transfers are performed only on the faults and weights of the subsystems of neural networks.The testing of the developed training algorithm is compared with the training performance of a robot arm trained with a federated deep learning approach. The developed federated deep learning approach achieved 90% of learning after approximately 6 hours of training. However, the presented federated deep reinforcement learning algorithm reached the same education level in approximately 5 hours. The presented training algorithm outperformed the standard federated deep learning algorithm and provided faster results. At the same time, this algorithm provides learning without the need for any data.
Keywords: Robot arms, federated learning, federated deep learning, reinforcement learning, federated reinforcement learning