Duruma bağlı Riccati denklemi (SDRE) temelli kontrol yöntemi ve SDRE'nin yaklaşık çözümü
State dependent riccati equation (SDRE) based control method and approximate solution of SDRE
Yazar: HAFSA CEREN DEMİRCİ
Danışman: PROF. DR. AFİFE LEYLA GÖREN
İstanbul Teknik Üniversitesi / Lisansüstü Eğitim Enstitüsü / Kontrol ve Otomasyon Mühendisliği Ana Bilim Dalı / Kontrol ve Otomasyon Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Doğrusal olmayan kontrol teorisi = Nonlinear control theory ; Elektromanyetik sistemler = Electromagnetic systems ; Riccati denklemi = Riccati equation ; Ters sarkaç = Inverted pendulum

Özet:
Doğrusal olmayan sistemlerin kontrolünde karşılaşılan asıl zorluk, optimal ve uygulanabilir bir kontrol kuralının elde edilmesidir. Bir sistemin kontrolü için belirlenen amaç ölçütünü minimum yapan optimal kontrol kuralı, Hamilton Jacobi Bellman (HJB) yöntemiyle elde edilir. Ancak, doğrusal olmayan veya yüksek boyutlu sistemler için kısmi diferansiyel denklemler içeren HJB ifadesini çözmek zordur ve kesin çözümü bulmak mümkün olmayabilir. Bu sebeple, HJB denklemlerini çözmekten kaçınmak için pek çok çalışma yayınlanmıştır.
Karesel amaç ölçütüne sahip doğrusal ve zamanla değişmeyen sistemler için HJB denklemi, cebirsel Riccati denklemine dönüşür ve kontrol problemi "Doğrusal Karesel Regülatör (Linear Quadratic Regulator, LQR)" olarak adlandırılır. Doğrusal olmayan kontrol yöntemlerinin aksine,  LQR teorisi oldukça pratiktir ve karesel amaç ölçütüne sahip doğrusal sistemler için son derece basit bir geri beslemeli optimal kontrol kuralı sunar. Ancak çok sayıda sistem doğrusal değildir. Sistemlerin çalışma aralıklarına bağlı olarak doğrusallaştırma yapılabilir. Ancak doğrusal olmayan özellikler; sistemin yapısal özelliğidir ve doğrusallaştırma sonucu, önemli ve faydalı olabilecek bu özellikler kaybolur. Bahsedilen bu bilgiler ışığında, düşük boyutlu doğrusal olmayan sistemler veya karesel amaç ölçütlü doğrusal sistemler için optimal kontrol kuralının elde edilebildiği söylenebilir.
Bu noktada "Duruma Bağlı Riccati Denklemi (State Dependent Riccati Equation, SDRE)"; LQR teorisini temel alan, sistemin doğrusal olmayan özelliklerini göz önünde bulunduran, sistematik tasarım adımlarına sahip, esnek bir kontrol yöntemi olarak karşımıza çıkar. SDRE yöntemi; kontrolör tasarımında, sistemin doğrusal olmayan özelliklerinin korunmasına imkan tanır. Ayrıca, sistem dinamiği üzerinde karşılanması kolay olan koşullara sahiptir ve bu sayede çok çeşitli doğrusal olmayan sistemlere uygulanabilir. 
SDRE kontrol yöntemi; doğrusal olmayan dinamikleri, bir durum vektörü ve duruma bağlı katsayılı matris değerli fonksiyonlarla çarpanlara ayırır.  Bu çarpanlara ayrılmış gösterim, tek bir biçimde değildir ve kapalı çevrimli sistemin performansını arttıracak bir gösterim seçilebilir. 
SDRE yönteminde, kontrol sinyalini hesaplamak için her adımda cebirsel Riccati denklemi çözülür. HJB'nin çözümü ile elde edilecek optimal kontrol kuralı yerine, SDRE yaklaşık optimal bir kontrol kuralı sunar. Bu nedenle, istenen amaç ölçütü yaklaşık olarak minimum yapılır ve performanstan feragat edilmiş olur. Ancak SDRE yöntemiyle; gerçek zamanlı uygulamaya izin veren, uygulanması kolay ve yaklaşık optimal bir kontrol kuralı elde edilir.
SDRE kontrol kuralı, sistemi noktasal kararlı yapan bir kontrol kuralıdır. Her adımda cebirsel Riccati denklemi çözülerek inşa edildiği için, kontrol kuralının açık ifadesi bilinmez. Oysa, kontrol kuralının ifadesi, kararlılık analizinde vazgeçilmezdir. Bu noktada, her adımda Riccati denkleminin çözülmesinden kaçınmak ve SDRE kontrol kuralının analitik bir ifadesini elde edebilmek için bir yöntem önerilmiştir. Buna göre, kontrol işaretinin inşasında kullanılan SDRE'nin çözümünü yaklaşık şekilde ifade edebilecek, birbirine benzer iki algoritma sunulmuştur. Bu sayede çözüm, sistemin durumlarına bağlı olarak analitik şekilde ifade edilebilmiş ve SDRE yöntemindeki hesaplama yükü hafifletilmiştir. Bu yaklaşık çözüme göre hesaplanan kontrol kuralının sınanması için literatürde çokça kullanılan araba-sarkaç sistemi ve manyetik kaldırma sistemi kullanılmıştır. SDRE'nin yaklaşık çözümüne bağlı sonuçlar ile standart çevrimiçi SDRE sonuçları karşılaştırılmıştır. Sonuçta, yaklaşık çözüm ile hesaplanan kontrol kuralı ile standart SDRE'ye oldukça yakın bir performans elde edilmiştir.

Abstract:
For controlling a system, the control rule is expected to provide the following features: optimal control which satisfies a performance index, disturbance rejection, small computation effort, feedback structure. While controlling a nonlinear system, the main difficulty is that finding the optimal solution might be challenging and if the solution is too complex, implementation might not be possible. 
To control the nonlinear systems, the Hamilton-Jacobi-Bellman (HJB) strategy provides the optimal control solution. However, solving partial differential equations for nonlinear or high-dimensional systems is inefficient; therefore it may not be possible to determine the exact solution of HJB equation. Even if a solution exists, it may be too complicated for implementation. 
To avoid solving HJB equations for nonlinear regulator problem, numerous papers have been published in recent years. But these methods have major constraints in system model and control input; so, their implementation areas are limited. 
If a system is linear time invariant and corresponding cost function is infinite time quadratic cost function, then corresponding HJB equation can be represented as Algebraic Riccati Equation and the control problem is called as Linear Quadratic Regulation (LQR) problem. On the contrary to nonlinear control approaches, LQR theory is relatively practical and well documented for linear systems. LQR theory provides optimal control rule for linear systems with quadratic cost function and the control rule can be extremely straightforward. However, linear systems are not common systems; in fact, a large number of systems are nonlinear. It is possible to deal with nonlinear systems by using linearization near the operation point if the operation range is sufficiently small. If the operation range is wide, then nonlinear system can be linearized near different operation points and linear controller methods can be applied. However, nonlinearity is inherent in the system. When a system is linearized around an operation point, it loses nonlinear behaviors even if the nonlinearity has significant or useful role in the system. As a result, optimal control solutions can be found for very low-dimensional nonlinear systems or linear systems with quadratic cost function.
To overcome the aforementioned issues for nonlinear systems, the "State Dependent Riccati Equation (SDRE)" approach is an extremely attractive control tool which is motivated by LQR theory and allows to preserve the system nonlinearity. Besides, SDRE approach has mild conditions on system dynamics and it can be applied to wide class of nonlinear systems. SDRE provides a systematic design technic which is not available in other nonlinear controller design methods. SDRE stands out compared to other nonlinear control methods with this aspect. Moreover, controller design is flexible in SDRE method.
SDRE method is originally proposed by Pearson in 1962 to provide feedback control for nonlinear systems. The SDRE control method factorizes the nonlinear dynamics into a state vector and a state dependent matrix valued function, which enables the nonlinear system dynamics to be captured by a linear-like state dependent structure. Hence, this factorization is not unique and a design flexibility is offered to control designer to maximize robustness of the closed loop system via factorization. Selecting state dependent coefficient matrices is the first and most important step of SDRE systematic design process. Besides, SDRE provides to build a trade-off between state errors and control effort by using a performance criteria and the performance design parameters create an additional flexibility on controller design.
SDRE provides an approximately optimal control rule instead of the optimal control rule obtained from the HJB.
There is a trade-off between optimal control and approximately optimal (suboptimal) control. Optimal control is a control rule that globally minimizes (or maximizes) the desired performance criteria. But solving HJB equations might not be possible or implementing optimal control rule might be difficult and expensive. But in SDRE, the control rule is suboptimal  and approximately minimizes desired performance criteria. So performance is sacrificed but the control rule is easy to implement which allows real time implementation.
In the SDRE control approach, the algebraic Riccati equation is solved at each step and quite simple and applicable control rule is calculated similar to LQR theory. SDRE does not have too restrictive limitations on nonlinear system, and under mild conditions, SDRE guarantees a pointwise stabilizing controller. The control rule is local asymptotic stable and SDRE does not provide a global asymptotic solution for all case. The controlled system stability can be analyzed if the control rule is obtained analytically. But in SDRE controller, algebric Riccati equation is solved at each step to calculate control signal. In order to realize this process, computation time should be short enough. So this assumption may not be possible, especially as the number of states increases. 
In this study, to overcome aforementioned issue of the SDRE-based control technique, a method is proposed to obtain an approximate solution of SDRE. Using this method, the approximate solution of the SDRE is obtained as a function of the  system's states. Thus, the approximate solution of the SDRE can be expressed analytically. Moreover, it is possible to make the stability analysis theoretically before the application and then use it in the control of the system. With this proposed method, the online calculation effort of the SDRE control method is reduced. In addition, it is determined whether the obtained control rule stabilizes the system before applying to system.
Based on the proposed approximate solution method, two similar algorithms are created. In order to test the method, nonlinear cart-pendulum and magnetic levitation systems, which are widely used in the literature, are discussed and controlled by the control rule created by the approximate solution of the SDRE.  
The cart pendulum system is a two-dimensional underactuated nonlinear system which has a single-inverted pendulum placed on a motorized cart on a linear rail; and the control problem is to move the cart to a specific position while keeping the pendulum at its unstable equilibrium point. 
To design a SDRE controller, first the "best" representation is determined to maximize controllability in operation range. Once state dependent coefficient representation and performance design parameters are selected, approximate solution of SDRE is obtained by using both approximation algorithms. Control signals which constructed via approximated solutions, are used to control the cart-pendulum system.  Algorithm performances and the approximation results according to the standard SDRE are analyzed.
The magnetic levitation system is an unstable, electromechanical, nonlinear system; and the control problem is to keep the magnetic ball at desired point by applying magnetic force. First, a proper representation and controller design parameters are determined for SDRE controller. After that, the operation range is divided into 7 areas and the approximate function for the solution of SDRE is constructed by using second method. Magnetic levitation system is controlled by using approximate solution and results are compared with standart SDRE. 
It has been observed that the performance of the system controlled by the approximate solution of SDRE is very similar to the performance of standart SDRE controller.