り立つことを示していることになる。

#### 4.2.4 動的計画法による閉ループ解

次に、線形計画法（Dynamic Programming、以下 DP と略）による解法を紹介する。ここでは最初から確率項の入った

$$ \mathbf{y}_{\mathrm{t}}=\mathbf{A}_{\mathrm{t}}\mathbf{y}_{\mathrm{t}-1}+\mathbf{C}_{\mathrm{t}}\mathbf{x}_{\mathrm{t}}+\mathbf{b}_{\mathrm{t}}+\mathbf{u}_{\mathrm{t}}\quad(4-2-51) $$

の形のモデルを考える。目的関数としてはこれまでと同様に

$$ \begin{aligned}\mathbf{W}=&\sum_{t=1}^{\mathrm{T}}\left(\mathbf{y}_{t}-\mathbf{a}_{t}\right)^{\prime}\mathbf{K}_{t}(\mathbf{y}_{t}-\mathbf{a}_{t})\\=&\sum_{t=1}^{\mathrm{T}}\left(\mathbf{y}^{\prime}\mathbf{k}_{t}\mathbf{y}_{t}-2\mathbf{y}^{\prime}\mathbf{k}_{t}\mathbf{a}_{t}+\mathbf{a}^{\prime}\mathbf{k}_{t}\mathbf{a}_{t}\right)\end{aligned} $$

を採る。今度の問題は、初期条件 $ y_{0} $ （の分布）に関する条件付き期待値 $ E_{0}W $ を最小にするような制御 $ x_{1}, \ldots, x_{T} $ を選ぶことである。（4 - 2 - 51）のモデルで $ Eu_{t}=0 $ 、 $ Eu_{t}u'_{t}=V $ であるとする。またモデルの形は、必要ならば（4 - 2 - 6）のように $ y_{t} $ を定義し直して、1 階の差分方程式の形で表現されているものとする。

具体的な解法の説明に進む前に、この問題において $ E_{0}W $ を最小にする（最適化する）理由も含めて、動的計画法に手法の概略を述べておこう。

動的計画法の基本的な考え方は、t=1 から t=T までの期間にわたる最適化問題の解は、t=1 から t=T-1 までの期間についても最適解になっているはずであるというものである。そうすれば、最終段階 t=T における制御 xT は、それ以前の最適制御 x₁, …, xT-1 の結果現われる yT-1 に対して、最適な結果を与えるように選べば良いことになる。この場合、確率項が存在しているために yT-1 の値を予め（t=1 以前に）決めることはできないが、yT-1 が与えられたとして最後の1段階つまり T 期において最適化するような xT が yT-1 の（線形の）関数で表されたとしよう。次に最後の2段階つまり T-1 期と T 期についての最適制御問題を考えると、この場合、決定すべき制御変数は xT-1 と xT の 2 つであるが最適な xT はすでに yT-1 の関数として表されているので、実質的には xT-1 のみを決めればよいことになる。すると、これも結局 1 つの制御変数を考える最適制御問題に帰着されることになって、最適解を求めることができる。このようにして順次後向きに制御変数の列 x₁, …, xT（実際にはフィードバック制御規則の形で求まる）が得られる。その構成方法から明らかな通り、第 t 期において最適解を与える x₁ を決定するためには yT-1 の（分布に関する）情報が必要となり、上の論法によれば、これは結局、初期条件 y₀ の分布にまで遡ることになる。したがって、目的関数を評価するのに期待値をとる操作は y₀ の分布についてのみ行なえばよいことになる。

さて、具体的に最終段階 t=T 期の問題を考えよう、 $ y_{T-1} $ の分布による条件付き期待値を $ E_{T-1} $ で表すことにすれば、これは

$$ \begin{aligned}\mathrm{V}_{\mathrm{T}=}&\mathrm{E}_{\mathrm{T}-1}(\mathrm{y}_{\mathrm{T}}-\mathrm{a}_{\mathrm{T}})^{\prime}\mathrm{K}_{\mathrm{T}}(\mathrm{y}_{\mathrm{T}}-\mathrm{a}_{\mathrm{T}})\\=&\mathrm{E}_{\mathrm{T}-1}(\mathrm{y}^{\prime}_{\mathrm{T}}\mathrm{H}_{\mathrm{T}}\mathrm{y}_{\mathrm{T}}-2\mathrm{y}^{\prime}_{\mathrm{T}}\mathrm{h}_{\mathrm{T}}+\mathrm{C}_{\mathrm{T}})\quad(4-2-53)\end{aligned} $$

を最小にする問題である。ここで $ H_{T}=K_{T} $ とし、 $ h_{T}=k_{T}=K_{T} $ と、 $ C_{T}=a'T K_{T} $ とおいた。(4-2-53)に(4-2-51)を代入すれば、

$$ \begin{aligned}&\mathrm{V}_{\mathrm{T}=}(\mathrm{A}_{\mathrm{T}}\mathrm{y}_{\mathrm{T}-1}+\mathrm{C}_{\mathrm{T}}\mathrm{x}_{\mathrm{T}}+\mathrm{b}_{\mathrm{T}})^{\prime}\mathrm{H}_{\mathrm{T}}(\mathrm{A}_{\mathrm{T}}\mathrm{y}_{\mathrm{T}-1}+\mathrm{C}_{\mathrm{T}}\mathrm{x}_{\mathrm{T}}+\mathrm{b}_{\mathrm{T}})\\ &-2(\mathrm{A}_{\mathrm{T}}\mathrm{y}_{\mathrm{T}-1}+\mathrm{C}_{\mathrm{T}}\mathrm{x}_{\mathrm{T}}+\mathrm{b}_{\mathrm{T}})^{\prime}\mathrm{h}_{\mathrm{T}}+\mathrm{E}_{\mathrm{T}-1}(\mathrm{u}^{\prime}\mathrm{T}\mathrm{H}_{\mathrm{T}}\mathrm{u}_{\mathrm{T}})+\mathrm{C}_{\mathrm{T}}\\ \end{aligned} $$

を得る。ここで、u_{T}とy_{T-1}は独立であるとした。

(4 - 2 - 54) を x_{T} で微分して 0 とおけば

$$ \begin{aligned}\frac{\partial\mathrm{V}_{\mathrm{T}}}{\partial\mathrm{x}_{\mathrm{T}}}=&2\mathrm{C}^{\prime}\mathrm{T}\mathrm{H}_{\mathrm{T}}(\mathrm{A}_{\mathrm{T}}\mathrm{y}_{\mathrm{T}-1}+\mathrm{C}_{\mathrm{T}}\mathrm{x}_{\mathrm{T}}+\mathrm{b}_{\mathrm{T}})-2\mathrm{C}^{\prime}\mathrm{t}\mathrm{h}_{\mathrm{T}}\\=&0\quad(4-2-55)\end{aligned} $$

を得る。これより第 T 期における最適フィードバック制御規則として

$$ \mathbf{x}_{\mathrm{T}}=\mathbf{G}_{\mathrm{T}}\mathbf{y}_{\mathrm{T}-1}+\mathbf{g}_{\mathrm{T}} $$

ただし、

$$ \begin{aligned}&\mathrm{G}_{\mathrm{T}}{=}\;-\;(\mathrm{C}^{\prime}\mathrm{T}\mathrm{H}_{\mathrm{T}}\mathrm{C}_{\mathrm{T}})^{-1}(\mathrm{C}^{\prime}\mathrm{T}\mathrm{H}_{\mathrm{T}}\mathrm{A}_{\mathrm{T}})\quad(4-2-57)\\&\mathrm{g}_{\mathrm{T}}{=}\;-\;(\mathrm{C}^{\prime}\mathrm{T}\mathrm{H}_{\mathrm{T}}\mathrm{C}_{\mathrm{T}})^{-1}\mathrm{C}_{\mathrm{T}}(\mathrm{H}_{\mathrm{T}}\mathrm{b}_{\mathrm{T}}\;-\;\mathrm{h}_{\mathrm{T}})\;(4-2-58)\\ \end{aligned} $$

が得られる。目的関数の最小値の期待値としては、 $ （4 - 2 - 56） $ を $ （4 - 2 - 54） $ に代入すれば、