最佳軌跡問題

**最佳投影方程**（optimal projection equations）是控制理論中，建構局部最佳降階 LQG 控制器的充分必要條件。

LQG 控制（線性二次高斯控制）問題是最優控制領域中最基礎的問題之一，這問題包括了存在不確定性的線性系統，受到加性高斯白噪聲的影響，沒有完整的狀態資訊（無法量測到所有的狀態變數，也無法透過回授得知），對應二次的成本泛函。不過存在唯一解，而且可以建構線性動態回授的控制律，易於計算以及實現。而 LQG 控制器也是非線性系統中最佳擾動控制的基礎。

LQG 控制器的架構會類似要控制的系統，兩者會有相同的維度。因此若系統本身就是高維度，要實現（全階）LQG 控制器會很困難。降階 LQG 問題（固定階 LQG 問題）事先固定 LQG 控制器的階數，因此克服了這個困難。不過在全階 LQG 控制器中適用的分離原理，在降階 LQG 問題中已無法適用，因此這方面會更困難，而且其解也不唯一。不過可以找到數值分析的演算法來求解對應的最佳投影方程。

## 問題的數學表示以及其解

### 連續時間

降階的 LQG 控制問題幾乎和全階的 LQG 控制問題相同。令 ${\hat {\mathbf {x} }}_{r}(t)$ 表示降階 LQG 控制器的狀態，唯一的差異是 LQG 控制器的狀態維度 $n_{r}=dim({\hat {\mathbf {x} }}_{r}(t))$ 是事先定義好的值，比受控系統的狀態維度 $n=dim({\mathbf {x} }(t))$ 要少。

降階 LQG 控制器可以表示為下式：

　
: ${\dot {\hat {\mathbf {x} }}}_{r}(t)=A_{r}(t){\hat {\mathbf {x} }}_{r}(t)+B_{r}(t){\mathbf {u} }(t)+K_{r}(t)\left({\mathbf {y} }(t)-C_{r}(t){\hat {\mathbf {x} }}_{r}(t)\right),{\hat {\mathbf {x} }}_{r}(0)={\mathbf {x} }_{r}(0),$

　
: ${\mathbf {u} }(t)=-L_{r}(t){\hat {\mathbf {x} }}_{r}(t).$

上述公式刻意寫的類似傳統全階 LQG 控制器的形式，降階的 LQG 控制問題也可以改寫為下式：

　
: ${\dot {\hat {\mathbf {x} }}}_{r}(t)=F_{r}(t){\hat {\mathbf {x} }}_{r}(t)+K_{r}(t){\mathbf {y} }(t),{\hat {\mathbf {x} }}_{r}(0)={\mathbf {x} }_{r}(0),$

　
: ${\mathbf {u} }(t)=-L_{r}(t){\hat {\mathbf {x} }}_{r}(t),$

其中

　
: $F_{r}(t)=A_{r}(t)-B_{r}(t)L_{r}(t)-K_{r}(t)C_{r}(t).$

降階 LQG 控制器的矩陣 $F_{r}(t),K_{r}(t),L_{r}(t)$ 和 ${\mathbf {x} }_{r}(0)$ 是由所謂的**最佳投影方程**（optimal projection equations、OPE）來決定。

 $n$ 維的最佳投影方陣 $\tau (t)$ 是 **OPE** 的核心。此矩陣的秩在所有狀態下幾乎都等於 $n_{r}$ 。相關投影為斜投影（oblique projection）： $\tau ^{2}(t)=\tau (t)$ 。最佳投影方程包括四個矩陣微分方程。前二個是 LQG 控制器對應的矩陣 Riccati 微分方程的擴展。在方程式中 $\tau _{\perp }(t)$ 表示 $I_{n}-\tau (t)$ ，而 $I_{n}$ 為 $n$ 維的單位矩陣

　
: ${\begin{aligned}{\dot {P}}(t)={}&A(t)P(t)+P(t)A'(t)-P(t)C'(t)W^{-1}(t)C(t)P(t)+V(t)\\[6pt]&{}+\tau _{\perp }(t)P(t)C'(t)W^{-1}(t)C(t)P(t)\tau '_{\perp }(t),\\[6pt]P(0)={}&E\left({\mathbf {x} }(0){\mathbf {x} }'(0)\right),\\[6pt]&{}-{\dot {S}}(t)=A'(t)S(t)+S(t)A(t)-S(t)B(t)R^{-1}(t)B'(t)S(t)+Q(t)\\[6pt]&{}+\tau '_{\perp }(t)S(t)B(t)R^{-1}(t)B'(t)S(t)\tau _{\perp }(t),\end{aligned}}$

　
: $S(T)=F.$

若 LQG 的維度沒有減少，也就是 $n=n_{r}$ ，則 $\tau (t)=I_{n},\tau _{\perp }(t)=0$ ，上述二個方程就是二個沒有耦合的矩陣 Riccati 微分方程，對應全階的 LQG 控制器。若 $n_{r}<n$ ，則兩個方程會有斜投影項 $\tau (t).$ 。這也是為何降階的 LQG 控制器無法分離的原因，斜投影 $\tau (t)$ 是由另外二個矩陣微分方程所決定，其中也和秩的條件（rank conditions）有關。這四個矩陣微分方程組成了最佳投影方程。為了要列出另外二個矩陣微分方程，先定義以下二個矩陣：

　
: $\Psi _{1}(t)=(A(t)-B(t)R^{-1}(t)B'(t)S(t)){\hat {P}}(t)+{\hat {P}}(t)(A(t)-B(t)R^{-1}(t)B'(t)S(t))'$

　
: : : ${}+P(t)C'(t)W^{-1}(t)C(t)P(t),$

　
: $\Psi _{2}(t)=(A(t)-P(t)C'(t)W^{-1}(t)C(t))'{\hat {S}}(t)+{\hat {S}}(t)(A(t)-P(t)C'(t)W^{-1}(t)C(t))$

　
: : : ${}+S(t)B(t)R^{-1}(t)B'(t)S(t).$

則最後二個矩陣微分方程如下：

　
: ${\dot {\hat {P}}}(t)=1/2\left(\tau (t)\Psi _{1}(t)+\Psi _{1}(t)\tau '(t)\right),{\hat {P}}(0)=E({\mathbf {x} }(0))E({\mathbf {x} }(0))',\operatorname {rank} ({\hat {P}}(t))=n_{r}$ almost everywhere,

　
: $-{\dot {\hat {S}}}(t)=1/2\left(\tau '(t)\Psi _{2}(t)+\Psi _{2}(t)\tau (t)\right),{\hat {S}}(T)=0,\operatorname {rank} ({\hat {S}}(t))=n_{r}$ almost everywhere,

其中

　
: $\tau (t)={\hat {P}}(t){\hat {S}}(t)\left({\hat {P}}(t){\hat {S}}(t)\right)^{*}.$

此處的 \* 表示群廣義逆矩陣（group generalized inverse）或 Drazin 逆矩陣，是唯一的，定義如下

　
: $A^{*}=A(A^{3})^{+}A.$

其中 + 是摩爾－彭若斯廣義逆.

矩陣 $P(t),S(t),{\hat {P}}(t),{\hat {S}}(t)$ 都需要是非負對稱矩陣。可以建構最佳投影方程的解，而此解可以決定降階 LQG 控制器矩陣 $F_{r}(t),K_{r}(t),L_{r}(t)$ 和 ${\mathbf {x} }_{r}(0)$ ：

　
: $F_{r}(t)=H(t)\left(A(t)-P(t)C'(t)W^{-1}(t)C(t)-B(t)R^{-1}(t)B'(t)S(t)\right)G(t)+{\dot {H}}(t)G'(t),$

　
: $K_{r}(t)=H(t)P(t)C'(t)W^{-1}(t),$

　
: $L_{r}(t)=R^{-1}(t)B'(t)S(t)G'(t),$

　
: ${\mathbf {x} }_{r}(0)=H(0)E({\mathbf {x} }(0)).$

上式中的矩陣 $G(t),H(t)$ 是符合以下性質的矩陣：

　
: $G'(t)H(t)=\tau (t),G(t)H'(t)=I_{n_{r}}$ 幾乎在所有狀態下。

可以由 ${\hat {P}}(t){\hat {S}}(t)$ 的投影分解中得到：

若降階 LQG 問題中的所有矩陣都是非時變的，且最終時間（horizon） $T$ 趨近無限大，則最佳降階 LQG 控制器和最佳投影方程也都會是非時變的。此情形下，最佳投影方程左側的微分項會為零。

### 離散時間

離散時間的情形類似連續時間的例子，要處理的是將 $n$ 階傳統離散時間全階 LQG 問題轉換為事先已知固定階數的 $n_{r}<n$ 階降階 LQG 控制器。為了要表示離散時間的 OPE，先引入以下二個矩陣：

　
: $\Psi _{i}^{1}=\left(A_{i}-B_{i}(B'_{i}S_{i+1}B_{i}+R_{i})^{-1}B'_{i}S_{i+1}A_{i})\right){\hat {P}}_{i}\left(A_{i}-B_{i}(B'_{i}S_{i+1}B_{i}+R_{i})^{-1}B'_{i}S_{i+1}A_{i})\right)'$

　
: : : ${}+A_{i}P_{i}C'_{i}(C_{i}P_{i}C'_{i}+W_{i})^{-1}C_{i}P_{i}A'_{i}$

　
: $\Psi _{i+1}^{2}=\left(A_{i}-A_{i}P_{i}C'_{i}(C_{i}P_{i}C'_{i}+W_{i})^{-1}C_{i}\right)'{\hat {S}}_{i+1}\left(A_{i}-A_{i}P_{i}C'_{i}(C_{i}P_{i}C'_{i}+W_{i})^{-1}C_{i}\right)$

　
: : : ${}+A'_{i}S_{i+1}B_{i}(B'_{i}S_{i+1}B_{i}+R_{i})^{-1}B'_{i}S_{i+1}A_{i}$

則離散時間 OPE 為

　
: $P_{i+1}=A_{i}\left(P_{i}-P_{i}C'_{i}\left(C_{i}P_{i}C'_{i}+W_{i}\right)^{-1}C_{i}P_{i}\right)A'_{i}+V_{i}+\tau _{\perp i+1}\Psi _{i}^{1}\tau '_{\perp i+1},P_{0}=E\left({\mathbf {x} }_{0}{\mathbf {x'} }_{0}\right)$ .

　
: $S_{i}=A'_{i}\left(S_{i+1}-S_{i+1}B_{i}\left(B'_{i}S_{i+1}B_{i}+R_{i}\right)^{-1}B'_{i}S_{i+1}\right)A_{i}+Q_{i}+\tau '_{\perp i}\Psi _{i+1}^{2}\tau _{\perp i},S_{N}=F$ .

　
: ${\hat {P}}_{i+1}=1/2(\tau _{i+1}\Psi _{i}^{1}+\Psi _{i}^{1}\tau '_{i+1}),{\hat {P}}_{0}=E({\mathbf {x} }(0))E({\mathbf {x} }(0))',\operatorname {rank} ({\hat {P}}_{i})=n_{r}$ almost everywhere,

　
: ${\hat {S}}_{i}=1/2(\tau '_{i}\Psi _{i+1}^{2}+\Psi _{i+1}^{2}\tau _{i}),{\hat {S}}_{N}=0,\operatorname {rank} ({\hat {S}}_{i})=n_{r}$ almost everywhere.

斜投影（oblique projection）矩陣為

　
: $\tau _{i}={\hat {P}}_{i}{\hat {S}}_{i}\left({\hat {P}}_{i}{\hat {S}}_{i}\right)^{*}.$

非負對稱矩陣 $P_{i},S_{i},{\hat {P}}_{i},{\hat {S}}_{i}$ 是離散時間 OPE 的解，也決定了降階 LQG 控制器的矩陣 $F_{i}^{r},K_{i}^{r},L_{i}^{r}$ and ${\mathbf {x} }_{0}^{r}$ ：

　
: $F_{i}^{r}=H_{i+1}\left(A_{i}-P_{i}C'_{i}\left(C_{i}P_{i}C'_{i}+W_{i}\right)^{-1}C_{i}-B_{i}\left(B'_{i}S_{i+1}B_{i}+R_{i}\right)^{-1}B'_{i}S_{i+1}\right)G'_{i},$

　
: $K_{i}^{r}=H_{i+1}P_{i}C'_{i}\left(C_{i}P_{i}C'_{i}+W_{i}\right)^{-1},$

　
: $L_{i}^{r}=\left(B'_{i}S_{i+1}B_{i}+R_{i}\right)^{-1}B'_{i}S_{i+1}G'_{i},$

　
: ${\mathbf {x} }_{0}^{r}=H_{0}E({\mathbf {x} }_{0}).$

在上述的方程中，矩陣 $G_{i},H_{i}$ 是有以下性質的矩陣：

　
: $G'_{i}H_{i}=\tau _{i},G_{i}H'_{i}=I_{n_{r}}$ 幾乎在所有狀態下。

這些矩陣可以從 ${\hat {P}}_{i}{\hat {S}}_{i}$ 的投影因式分解中求得。

如同在連續時間中的例子一樣，若問題中所有的矩陣都是非時變，且且最終時間（horizon） $T$ 趨近無限大，降階 LQG 控制器就會是非時變的。因此離散時間 OPE 會收斂到穩態解，決定非時變的降階 LOG 控制器。

離散時間 OPE 也可以應用在狀態維度，輸入維度或是輸出維度可變的離散時間系統（具有時變維度的離散時間系統）。若在數位控制器中的取樣是不同步的，就可能會出現這類的系統。

## 參考資料