$$ \begin{aligned}&\mathrm{A}_{\mathrm{T}}{{=}}(\mathrm{I}-\mathrm{B}_{1\mathrm{T}})^{-1}\mathrm{B}_{2\mathrm{T}}\\&\mathrm{C}_{\mathrm{T}}{{=}}(\mathrm{I}-\mathrm{B}_{1\mathrm{T}})^{-1}\mathrm{B}_{3\mathrm{T}}\\&\mathbf{b}_{\mathrm{T}}{{=}}\tilde{\mathbf{y}}_{\mathrm{T}}-\mathrm{A}_{\mathrm{T}}\mathbf{y}_{\mathrm{T}-1}^{0}-\mathrm{C}_{\mathrm{T}}\tilde{\mathbf{x}}_{\mathrm{T}}\quad(4-4-11)\end{aligned} $$

である。$\mathrm{A}_{\mathrm{T}}$、$\mathrm{C}_{\mathrm{T}}$、$\mathrm{b}_{\mathrm{T}}$ はここでは最初に（暫定的に）選んだ $y_{\mathrm{T}-1}^{0}$ に依存していることに注意せよ。（4 - 4 - 8）または（4 - 4 - 10）を用いて、ガウス・ザイデル法により（4 - 4 - 6）の最終期（第 T 期）の解 $\mathrm{x}_{\mathrm{T}}$ を求めることができる。この反復による解法は以下の手順で行なわれる。

まず最初に$\tilde{x}_{T}$を任意に選び（4-4-7）により確率変数$\tilde{y}_{T}$を定義する。次に線形近似した（4-4-10）を（4-4-6）に代入すると、

$$ \begin{aligned}E_{T-1}\left\{C^{\prime}H_{T}(A_{T}y_{T-1}+C_{T}x_{T}+b_{T})-C^{\prime}h_{T}\right\}&=0\ $ 4-4-12)\end{aligned} $$

を得る。(4 - 4 - 12) を xT について解けば、

フィードバック解

$$ \begin{aligned}\stackrel{\wedge}{\mathbf{x}}_{\mathrm{T}}=&-(\mathbf{E}_{\mathrm{T}-1}\mathbf{C}^{\prime}_{\mathrm{T}}\mathbf{H}_{\mathrm{T}}\mathbf{C}_{\mathrm{T}})^{-1}\left\{(\mathbf{y}_{\mathrm{T}-1}\mathbf{C}^{\prime}_{\mathrm{T}}\mathbf{H}_{\mathrm{T}}\mathbf{A}_{\mathrm{T}})\mathbf{y}_{\mathrm{T}-1}\right.\\&\left.+\mathbf{E}_{\mathrm{T}-1}\mathbf{C}^{\prime}_{\mathrm{T}}=\mathbf{G}_{\mathrm{T}}\mathbf{y}_{\mathrm{T}-1}+\mathbf{g}_{\mathrm{T}}(\mathbf{H}_{\mathrm{T}}\mathbf{b}_{\mathrm{T}}-\mathbf{h}_{\mathrm{T}})\right\}\\\left.(4-4-13)\right.\end{aligned} $$

を求めることができる。ここで、

$$ \begin{aligned}\mathbf{G}_{\mathrm{T}=}-\quad&(\mathbf{E}_{\mathrm{T}-1}\mathbf{C}^{\prime}_{\mathrm{T}}\mathbf{H}_{\mathrm{T}}\mathbf{C}_{\mathrm{T}})^{-1}\{(\mathbf{E}_{\mathrm{T}-1}\mathbf{C}^{\prime}_{\mathrm{T}}\mathbf{H}_{\mathrm{T}}\mathbf{A}_{\mathrm{T}})\mathbf{g}_{\mathrm{T}}\\ =-\quad&(\mathbf{E}_{\mathrm{T}-1}\mathbf{C}^{\prime}_{\mathrm{T}}\mathbf{H}_{\mathrm{T}}\mathbf{C}_{\mathrm{T}})^{-1}(\mathbf{E}_{\mathrm{T}-1}\mathbf{C}^{\prime}_{\mathrm{T}}\mathbf{H}_{\mathrm{T}}\mathbf{b}_{\mathrm{T}}-\mathbf{E}_{\mathrm{T}-1}\mathbf{C}^{\prime}_{\mathrm{T}}\mathbf{h}_{\mathrm{T}})\\ &\quad(4-4-14)\end{aligned} $$

である。さらに第3ステップとして（4-4-13）において $ y_{T-1}=y_{0T-1} $ とし $ x_{T} $ を計算する。こうして得られた $ x_{T} $ を最初に選んだ $ \tilde{x}_{T} $ として、再び同じ手順を繰り返し、 $ x_{T} $ が収束するまでこれを反復する。

上述の反復過程が収束したとき、その解$\tilde{\mathbf{x}}_{\mathrm{T}}$ は（4-4-6）の1期の最適制御問題の解であると見なすことができる。このとき線形近似モデル（4-4-8）または（4-4-10）をみたす$\mathbf{y}_{\mathrm{t}}$ はもとの非線形動学モデル（4-4-7）をみたす$\tilde{\mathbf{y}}_{\mathrm{t}}$ に一致することがわかる。実際、$\mathbf{x}_{\mathrm{T}}=\tilde{\mathbf{x}}_{\mathrm{t}}$、$\mathbf{y}_{\mathrm{T}-1}=\mathbf{y}_{\mathrm{T}-1}^{0}$ のとき、線形近似モデル（4-4-8）は、$\mathbf{y}_{\mathrm{T}}=\tilde{\mathbf{y}}_{\mathrm{T}}+\mathbf{B}_{\mathrm{1T}}(\mathbf{y}_{\mathrm{T}}-\tilde{\mathbf{y}}_{\mathrm{T}})$ すなわち逆行列$(\mathbf{I}-\mathbf{B}_{\mathrm{1T}})^{-1}$ の存在を仮定して

$$ \left(\mathbf{I}-\mathbf{B}_{1\mathrm{T}}\right)\mathbf{y}_{\mathrm{T}}=\left(\mathbf{I}-\mathbf{B}_{1\mathrm{T}}\right)\widetilde{\mathbf{y}}_{\mathrm{T}}\quad\left(4-4-15\right) $$

となるので、 $ y_{T}=\tilde{y}_{T} $ となる。

(4 - 4 - 14) 式の G_{T} と g_{T} の計算に含まれる期待値を数値的に計算することは困難である。そのため、ここでは期待値の計算を、 $ \eta_{T} $ に関して乱数を発生させてモンテカルロ法によって行なう。その詳細を次に述べる。

#### 4.4.2 動的計画法による多期間の最適制御問題の解法

上では$\hat{x}_{T}$を求めるのにフィードバック方程式（閉ループ解）を用いた。ここで注意しなければならないのは、(4-4-13)は$\mathrm{y}_{\mathrm{T}-1}=\mathrm{y}_{\mathrm{T}-1}^{0}$のときにのみ、正確な解を与えるという点である。これは、(4-4-13)が(4-4-7)ではなくて、$\mathrm{y}_{\mathrm{T}-1}=\mathrm{y}_{\mathrm{T}-1}^{0}$のまわりでの(4-4-7)の線形近似式(4-4-8)または(4-4-10)を用いて導出されているためである。したがって$\mathrm{y}_{\mathrm{T}-1}^{0}$と異なる$\mathrm{y}_{\mathrm{T}-1}$においては解(4-4-13)は線形近似式(4-4-8)または(4-4-10)の近似解としての意味しかもたないことになる。しかしながら動的計画法を用いるためには$\mathrm{x}_{\mathrm{T}}$を$\mathrm{y}_{\mathrm{T}-1}$の関数として与える線形の最適フィードバック方程式（閉ループ解）が必要となる。ここでは、この線形最適フィードバック方程式を用いて多期間にわたる最適制御解を求める方法について述べる。

線形化した動学モデル（4 - 4 - 10）の $ x_{T} $ にフィードバック方程式（4 - 4 - 13）を代入して、さらにその結果を T 期における目的関数の条件付き期待値（4 - 4 - 4）に代入すると、