Otonom robotlar için pekiştirmeli öğrenme tabanlı dağıtık arıza teşhis sistemi
Reinforcement learning based distributed fault diagnosis system for autonomous robots
Yazar: MAHMUT KASAP
Danışman: PROF. DR. AHMET YAZICI ; DOÇ. DR. EYÜP ÇİNAR
Eskişehir Osmangazi Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Bilimleri Bilim Dalı
Derece: Doktora, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Arıza tespiti = Fault diagnosis ; Otonom robotlar = Autonomous robots

Özet:
Otonom mobil robotlar (AMR'ler), endüstri 4.0 için en önemli siber-fiziksel sistemlerden biridir. Bu robotların arızaları, üretimde kazalara, maliyetli gecikmelere ve kesintilere neden olabilir. Arıza tespitinde veriye dayalı yapay zekâ yöntemleri başarılıdır. Fakat başarılı yapay zekâ modellerinin eğitimi, farklı sistemleri temsil eden yoğun veri gerektirir. Ham sensör verilerinin merkezi sisteme gönderimi hız, güvenlik ve bant genişliği sorunları ortaya çıkarır. Diğer yandan, yalnızca uç sistemlerde eğitilen modeller tüm ajanları ve durum uzayını temsil etmemektedir. Akıllı fabrikalar gibi gerçek ve dinamik ortamlarda birden fazla mobil robot ajan için merkezi ve eşzamanlı eğitim zordur. Her ajan bilinmeyen zor durumlarla karşılaşır ve arızalar nadir görülür, bu durum modelin dengesiz koşullarla eğitilmesi sorununu beraberinde getirir. Bu tez, öngörü ve sağlık yönetimi amaçları doğrultusunda, akıllı fabrikalarda filo düzeninde faaliyet gösteren AMR'ler için çok ajanlı pekiştirmeli öğrenmeye dayalı bir arıza tespit yöntemi önermektedir. Yöntem, ham verileri uç sistemlerden merkezi sisteme aktarmak yerine, model parametrelerinin eşzamansız olarak sistemler arası paylaşılmasına dayanır. Model eğitiminde, insan deneyiminin öğrenilmesini sağlayan taklit öğrenme kullanılmıştır. Çalışma, bilinmeyen ortamlarda birden fazla ajana yönelik eğitimde dengesiz veriler için parametrelendirilmiş orantılı ödül mekanizması önermektedir. Modeller uçta sensör tabanlı aykırılık tespiti gerçekleştirir. Arıza tespiti aşamasında tek sensör verisinde görülebilen ve yanlış alarma sebep olan gürültüye karşı karar seviyesi füzyonu uygulanmaktadır. Çalışma, Eskişehir Osmangazi Üniversitesi Akıllı Fabrika ve Robotik Laboratuvarı'nda yürütülmüştür. Sonuçlar önerilen yöntemin normal koşular için tüm yanlış alarmları ortadan kaldırdığını göstermektedir. Ayrıca arızalı koşular %100 oranında, arızalı pencereler ise yaklaşık %78 oranında tespit edilmiştir. Önerilen yöntem, arıza anını yüksek doğrulukta tespit ederek doğru bakım planlamasında kullanılabilir.

Abstract:
Autonomous mobile robots (AMRs) are one of the most essential cyber-physical systems for industry 4.0. Faults of these robots can cause accidents, delays, and interruptions in production. Data-driven artificial intelligence methods are successful in detecting faults. However, training successful artificial intelligence models requires extensive data representing different systems. Sending raw sensor data to the central system poses speed, security, and bandwidth issues. On the other hand, models trained only on edge systems do not represent all agents and state space. Centralized and synchronized training for multiple mobile robot agents is difficult in real and dynamic environments such as intelligent factories. Every agent faces unknown difficult situations, and faults are rare, which brings the problem of training the model under unbalanced conditions. This thesis proposes a fault detection method based on multi-agent reinforcement learning for AMRs operating in fleet order on intelligent factory floors for prognostics and health management. The method is based on asynchronously sharing model parameters between systems instead of transferring raw data from edge systems to the central system. In model training, imitation learning was used, which allows learning about human experience. The study proposes a parameterized proportional reward mechanism for unbalanced data in training multiple agents in unknown environments. The models perform sensor-based anomaly detection at the edge. During the fault detection phase, decision-level fusion is applied against noise that can be seen in a single sensor data set and causes false alarms. The study was conducted at Eskişehir Osmangazi University Intelligent Factory and Robotics Laboratory. The results show that the proposed method eliminates all false alarms for normal runs. In addition, faulty runs were detected at a rate of 100%, and faulty windows were detected at approximately 78%. The proposed method can be used in accurate maintenance planning by detecting the moment of fault with high accuracy.