Dijital elektrohidrolik sistemlerin popet tipi hidrolik valflerle pekiştirmeli öğrenme kullanılarak denetlenmesi
Control of digital electrohydraulic systems driven by poppet-type hydraulic valves using reinforcement learning
Yazar: MUSTAFA YAVUZ COŞKUN
Danışman: PROF. DR. MEHMET İTİK
Karadeniz Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Makine Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2023
Konu: Makine Mühendisliği = Mechanical Engineering
Dizin: Derin öğrenme = Deep learning ; Elektrohidrolik = Electrohydraulic ; Elektrohidrolik sistemler = Electrohydraulic systems ; Makine öğrenmesi yöntemleri = Machine learning methods

Özet:
Bu tez kapsamında, enerji verimliliği ve maliyet açısından geleneksel elektrohidrolik sistemlerin (G-EHS) yerine geçebilecek dijital elektrohidrolik sistemlerin (D-EHS) konum denetimi için bir denetim yöntemi önerilmektedir. Bu sayede, D-EHS'lerin denetiminde sıkça karşılaşılan karmaşık denetleyici tasarım sürecine alternatif bir yaklaşım sunulmaktadır. D-EHS'nin konum denetimi için geniş ve ayrık eylem uzaylarında etkinliği bilinen ikili derin q-ağı (DDQN) pekiştirmeli öğrenme yaklaşımı kullanılmıştır. DDQN denetleyicinin eğitimi için D-EHS'nin matematik modeli kullanılmıştır. Eğitim için farklı yaklaşımlar denenmiş ve en iyi sonuç, benzetim ortamında eğitilen çoklu DDQN denetleyicinin deney düzenindeki eğitim ile birleştirilmesiyle elde edilmiştir. Ayrıca, D-EHS'nin performansı G-EHS ile karşılaştırılmış ve D-EHS'nin G-EHS'ye benzer performans sergilediği benzetim ve deneysel çalışmalarla gösterilmiştir Sürekli eylem çıktısı ile denetlenebilen G-EHS için pekiştirmeli öğrenme tabanlı denetim yöntemi olarak derin deterministik politika gradyanı yöntemi kullanılmıştır. Önerilen DDQN denetleyici ve D-EHS'nin eğitim dışı (farklı konum referansı, valf arızası, besleme basıncı değişimi) durumlardaki davranışları da deneysel çalışmalarla incelenmiştir. Elde edilen sonuçlar, D-EHS'nin önerilen denetleyici ile kullanılması durumunda G-EHS ile kıyaslanabilir performans sunduğunu göstermiştir. Bununla beraber, eğitim dışı koşullar altında dahi konum denetim performansının korunduğu gözlenmiştir.

Abstract:
In this thesis, a control method is proposed for the position control of digital electrohydraulic systems (D-EHS) that could replace conventional electrohydraulic systems (C-EHS) in terms of energy efficiency and cost. This offers an alternative approach to the complex controller design process frequently encountered in the control of the D-EHS. The double deep Q-network (DDQN) reinforcement learning approach, known for its effectiveness in controlling large and discrete action spaces, is employed for the position control of the D-EHS. The mathematical model of the D-EHS is obtained and employed for training the DDQN controller. Various training approaches were explored, and the best result was achieved by retraining the multiple DDQN controllers, which had been pretrained in a simulation environment, using an experimental setup. Additionally, the D-EHS's performance is evaluated against the C-EHS, showing comparable results in both simulation and experiments. A deep deterministic policy gradient based controller is employed for the position control of the C-EHS. The behavior of the proposed DDQN controller and the D-EHS under non-training conditions is also examined through experimental studies. The results show that, the D-EHS offers comparable performance to the C-EHS when used with the proposed controller, and the position control performance is maintained even under non-training conditions.