となる。

x(t) の自己相関関数を

$$ \begin{aligned}\mathrm{Rxx}(\mathbf{t}_{1},\mathbf{t}_{2})=&\mathrm{E}\left\{(\mathbf{x}(\mathbf{t}_{1})-\mathbf{m}_{\mathrm{x}}(\mathbf{t}_{1}))(\mathbf{x}(\mathbf{t}_{2})-\right.\\&\left.\mathbf{m}_{\mathrm{x}}(\mathbf{t}_{2}))^{\mathrm{T}}\right\}\end{aligned} $$

と定義した場合には、共分散 M を用いて

$$ \begin{aligned}Rxx(\mathbf{t}_{1},\mathbf{t}_{2})=&\Phi\left(\mathbf{t}_{1},\mathbf{t}_{2}\right)M(\mathbf{t}_{2})\mathbf{1}\left(\mathbf{t}_{1}-\mathbf{t}_{2}\right)\\&+\mathbf{M}(\mathbf{t}_{2})\boldsymbol{\Phi}^{\mathrm{T}}(\mathbf{t}_{2},\mathbf{t}_{1})\mathbf{1}\left(\mathbf{t}_{2}-\mathbf{t}_{1}\right)\end{aligned} $$

と表せる。

これらの自己相関関数を知ることによって、異なる時刻における内部状態や出力の確率的な変動の相互依存関係を評価することができる。

最適制御理論においては、内部状態の変化の評価にはしばしば次のような2次形式の評価が用いられる。

$$ \int_{\mathrm{t}_{0}}^{\mathrm{t}_{\mathrm{f}}}\mathrm{x}^{\mathrm{T}}(\mathrm{t})\mathrm{Q}(\mathrm{t})\mathrm{x}(\mathrm{t})\mathrm{d}\mathrm{t} $$

上述の確率システムに対してもこの2次形式評価を考えることができる。しかし x(t) は確率変数であるのでこのままでは意味をなさない。そこで、確率システムの2次形式評価には、次のような期待値を利用する。

$$ \mathbf{J}=\mathbf{E}\left\{\int\limits_{t0}^{t f}\mathbf{x}^{\mathrm{T}}(\mathbf{t})\mathbf{Q}(\mathbf{t})\mathbf{x}(\mathbf{t})\mathbf{d}\mathbf{t}\right\} $$

このとき，J は上の入力 w(t) に対して

$$ \begin{aligned}&\mathbf{J}=\mathbf{tr}[\mathrm{X}_{0}\mathrm{P}(\mathrm{t}_{0})]+\mathbf{tr}[\int\limits_{\mathrm{t}_{0}}^{\mathrm{tf}}\mathrm{B}(\tau)\mathrm{W}(\tau)\mathrm{B}^{\mathrm{T}}(\tau)\mathrm{d}\tau]\\ &(\mathrm{ ただし }\;\mathrm{tr}[\cdot]\;\mathrm{ は行列 のトレースである })\\ \end{aligned} $$

で与えられる。ただし P(τ)は

$$ \mathbf{P}(\tau\mathbf{\Omega})=\int_{\tau}^{\mathrm{tf}}\boldsymbol{\Phi}^{\mathrm{T}}(\mathbf{t},\tau\mathbf{\Omega})\mathbf{Q}(\mathbf{t})\boldsymbol{\Phi}(\mathbf{t},\tau\mathbf{\Omega})\mathrm{d}\mathbf{t} $$

で定義され、Riccati 型の微分方程式微分方程式

$$ \begin{aligned}-\dot{\mathbf{P}}(\mathbf{t})=&\mathbf{A}(\mathbf{t})^{\mathrm{T}}\mathbf{P}(\mathbf{t})+\mathbf{P}(\mathbf{t})\mathbf{A}(\mathbf{t})+\mathbf{Q}(\mathbf{t})\\\mathbf{P}(\mathbf{t}_{\mathrm{f}})=&0\end{aligned} $$

を解くことによって得られる。これを利用すれば、確率線形システムが

$$ \begin{aligned}&\dot{\mathbf{x}}(\mathbf{t})=\mathbf{A}(\mathbf{t})\mathbf{x}(\mathbf{t})+\mathbf{B}(\mathbf{t})\mathbf{u}(\mathbf{t})+\mathbf{w}(\mathbf{t})\\&\mathbf{y}(\mathbf{t})=\mathbf{C}(\mathbf{t})\mathbf{x}(\mathbf{t})\\&\mathbf{x}(\mathbf{t}_{0})=\mathbf{x}_{0}\end{aligned} $$

であり、w(t) を上のような白色雑音としたとき、2 次形式の目的関数

$$ \mathbf{J}=\mathbf{E}\left\{\int\limits_{t0}^{t f}(\mathbf{x}^{\mathrm{T}}(\mathbf{t})\mathbf{Q}(\mathbf{t})\mathbf{x}(\mathbf{t})+\mathbf{u}^{\mathrm{T}}(\mathbf{t})\mathbf{R}(\mathbf{t})\mathbf{u}(\mathbf{t}))\mathbf{d}\mathbf{t}\right\} $$

を最小にするような最適制御問題における最適制御 u*(t) は

$$ \mathbf{u}^{*}(\mathbf{t})=-\mathbf{R}^{-1}(\mathbf{t})\mathbf{B}^{\mathrm{T}}(\mathbf{t})\mathbf{P}(\mathbf{t})\mathbf{x}(\mathbf{t}) $$

という制御規則で与えられることがわかる。ただし P(t) は

$$ \begin{aligned}-\dot{\mathbf{P}}(\mathbf{t})=&\mathbf{A}(\mathbf{t})^{\mathrm{T}}\mathbf{P}(\mathbf{t})+\mathbf{P}(\mathbf{t})\mathbf{A}(\mathbf{t})\\&-\mathbf{P}(\mathbf{t})\mathbf{B}(\mathbf{t})\mathbf{R}^{-1}(\mathbf{t})\mathbf{B}^{\mathrm{T}}(\mathbf{t})\mathbf{P}(\mathbf{t})+\mathbf{Q}(\mathbf{t})\\\mathbf{P}(\mathbf{t}_{\mathrm{f}})=&0\end{aligned} $$

を解くことによって得られる。

以上のように、確率システムの制御理論は確定システムの制御理論において、確率変数の評価として期待値や分散などを用いたものである。上述以外の確定システムの制御理論も確率システムの制御理論に導入できる。その中で、内部状態の観測問題を確率システムおける状態推定問題として扱ったものがフィルタの理論である。ここでは、線形状態推定器であるKalmanフィルタについて述べる。

線形システムを

$$ \begin{aligned}&\dot{\mathbf{x}}(\mathbf{t})=\mathbf{A}(\mathbf{t})\mathbf{x}(\mathbf{t})+\mathbf{B}(\mathbf{t})\mathbf{w}(\mathbf{t})\\&\mathbf{y}(\mathbf{t})=\mathbf{C}(\mathbf{t})\mathbf{x}(\mathbf{t})+\mathbf{v}(\mathbf{t})\\&\mathbf{x}(\mathbf{t}_{0})=\mathbf{x}_{0}\\ \end{aligned} $$