数理解析研究所講究録
第 835 巻 1993 年 173-180

173

On Markovian Jump Linear Systems
愛媛大学工学部1

大橋守 (Mamoru OHASHI)

はじめにコンポーネントの故障や修理等によってシステムの構造やパラメータが変化するダイナミック線形システムを考える. このようなランダムパラメータをもつ線形システムは Wonham[6], Mariton[5], Jiand Chizeck [3] 等によって研究されている. ここではレギュレータ問題を中心に考察する.
次の Markovian JumP を考慮した線形システム$\dot{x}(t)=A(y(t))x(t)+B(y(t))u(t)$ ,$x(t_{0})=x_{0},$$t\in[t_{0}, T]$,(1)$y(t_{0})=y0$を考える. ただし, 状態変数を $x(t)\in R^{n}$ , 入力変数 $u(t)\in R^{m},$ $nxn$ 係数行列 $A(y(t)),$ $nxm$ 係
数行列 $B(y(t))$ , マルコフ連鎖 $\{y(t), t\geq 0\}$ とする. マルコフ連鎖の状態空間 $S=\{1,2, \ldots, s\}$ は有限で生成行列 A を$\Lambda=(\begin{array}{llll}-\lambda_{11} \lambda_{12} \cdots \lambda_{1s}\lambda_{21} -\lambda_{22} \cdots \lambda_{2s}\lambda_{s1} \cdots\lambda_{s2} \cdots \cdots-\lambda_{\delta S}\end{array})$,(2)$\lambda_{ij}\geq 0$$\lambda_{:;}=\sum_{j\neq:}\lambda_{ij},$とする. このマルコフ連鎖によって, コンポーネントの故障や修理等によるシステムパラメータの変化と書くことを表す. 今後、 記号を簡単にするために $y(t)=i$ であるとき $A(y(t)),$ $B(y(t))$ を$A_{i},$$B_{i}$にする.

入力 $u(t)$ は次の条件を満たす admissible control とする.
$\phi:[t_{0},T]xR^{n}xSarrow R^{m}$,$|\phi(t,x, y)-\phi(t,\tilde{x},y)|\leq k|x-\tilde{x}|$$\phi(t,x, y)\leq k(1+|x|)$ ,この admissible control のクラスを,$(k>0)$ .

で表す. Wonham [6] は$\Phi$$u(t)=\phi(t,x(t),$ $y(t))\in\Phi$のとき (1), (2) の解が存在し,$z(t)=(xy\{_{t)}^{t)})$とおくと、 $\{z(t), t\leq 0\}$ がマルコフ過程になることを示した.
次の節で Markovian Jump パラメータをもつ線形システムの安定性について議論し, 連立 Lyapunov
方程式と安定性の関係を示す. 3 節では Markovian Jump パラメータをもつ線形システムのレギユレー

タ問題を取扱い, 最適制御法則を示す.

174
2

StableMarkovian Jump パラメータをもつ線形システム (1), (2) において,$u(t)=0$ の場合, すなわち, 線形システム$\dot{x}(t)=A(y(t))x(t)$$x(t_{0})=x_{0},$,(3)$t\in[t_{0},T]$$y(t_{0})=y_{0}$の安定性について考察する.
定義 21Markovian Jump パラメータをもつ線形システム (2), (3) の $x(t)$ が(4)$\lim_{Tarrow\infty}\int_{\downarrow 0^{T}}E[|x(t)|^{2}|x_{0},y_{0}]dt<\infty$であるとき、 A は stochastically stable という.

定義 22Markovian Jump パラメータをもつ線形システム (2), (3) の $x(t)$ が$E[|x(t)|^{2}|x_{0},y_{0}]\leq C|x_{0}|^{2}e^{-\alpha t}$,$C>0$ ,$\alpha>0$(5)であるとき, A は stochastically and exponentially stable という.
補題 21 任意の $i\in S$ に対して$(A_{i}- \frac{1}{2}\lambda;;I)’P_{i}P(A_{i}-\frac{1}{2}\lambda_{ii}I)+\sum_{j\neq:}\lambda_{ij}P_{j}+I=0$となる対称正定行列$P_{i},$$i\in S$(6)が存在するとき, A は stochastically and exponentially stable となる.

[証明] 対称正定行列$P_{:},$$i\in S$に対して stochastic Lyapunov 関数 $V(x, i)$ を$V(x, i)=x’P_{i}x$とする。

$\vee 7$

ルコフ過程 $\{z(t)\}$ の weak infinitesimal operator$\tilde{A}V(x,i)$$\tilde{A}$は$=$$\lim_{\Delta\downarrow 0}\frac{1}{\Delta}\{E[V(x(t+\Delta), y(t+\Delta))|x(t)=x,y(t)=i]-V(x, i)\}$$=$$x’ \{(A_{i}-\frac{1}{2}\lambda;;I)’P;+P_{:}(A;-\frac{1}{2}\lambda;;I)+\sum_{j\neq i}\lambda_{ij}P_{j}\}x$であるから (6) より$\frac{\tilde{A}V(x,i)}{V(x,i)}$$=$$\leq$となる. ただし,$\mu_{\max}(P:)$$- \frac{|x|^{2}}{x’ P_{i}x}$$- \frac{1}{\max_{1}\mu_{\max}(P:)}$は対称正定行列為の最大固有値を表す. 状態空間$\alpha=\frac{1}{\max_{i}\mu_{\max}(P_{i})}>0$$S$は有限集合であるから

175
とおくと, Dynkin の公式と Gronwell の不等式より(7)$E[V(x(t), y(t))|x_{0},y_{0}]\leq e^{-\alpha t}V(x_{0},y_{0})$を得る. また, 任意の $i\in S$ に対して君 は対称正定行列であるから$x’P_{1}x \geq\min_{i}\mu_{\min}(P_{1})|x|^{2}$となる. の最小固有値を表す.
$\beta=m_{1}!^{n}\mu_{\min}(P:)>0$

とおくと, (7) 式は$\beta E[|x(t)|^{2}|x_{0},y_{0}]$$E[V(x(t),y(t))|x_{0},y_{0}]$$\leq$$e^{-\alpha t}x_{0}’P(y_{0})x_{0}$$\leq$$\leq$$\max_{i}\mu_{\max}(P:)|x_{0}|^{2}e^{-\alpha t}$$=$$\frac{1}{\alpha}|x_{0}|^{2}e^{-\alpha\ell}$

従って,$E[|x(t)|^{2}|x_{0}, y_{0}]\leq C|x_{0}|^{2}e^{-\alpha\ell}$,$(C= \frac{1}{\alpha\beta})$.

補題 2.1 の (6) 式は次の 1 または 2 の式で置き換えることができる.

注 21

1. 任意の $i\in S$に対して$(A;- \frac{1}{2}\lambda_{ii}I)’P;+P_{1}(A;-\frac{1}{2}\lambda_{ii}I)+\sum_{j\neq*}\lambda_{ij}P_{j}+I\leq 0$

2. 任意の対称正定行列 $N:,$ $i\in S$ に対して$(A:- \frac{1}{2}\lambda_{ii}I)’P(A;-\frac{1}{2}\lambda:;I)+\sum_{j\neq i}\lambda_{ij}P_{j}+N_{i}=0$

補題 21 の条件のもとで A は stochastically stable となる.

系 2.1

対称正定行列 $M(T-t, i)$ を$x’M(T-t,i)x= E[\int^{T}|x(s)|^{2}ds|x(t)=x, y(t)=i]$ ,$t\in[t_{0},T]$と定義する.
補題 22

A が stochastically stable ならば$\lim$$T-tarrow\infty$となる対称正定行列
[証明]
補題 23

$M_{i},$$i\in S$$M(T-t,i)=M$;が存在する.

A が stochastically stable であることから $M(T-t, i)$ の定義より明かである.
A が stochastically stable ならば$M_{i},$$i\in S$

は方程式 (6) を満たす.

176
[証明]

Wonham より微分方程式$\frac{d}{dt}M(T-t, i)$$+$$(A;- \frac{1}{2}\lambda_{ii}I)’M(T-t,i)+M(T-t,i)(A;-\frac{1}{2}\lambda_{ii}I)$$+ \sum_{j\neq*}\lambda_{ij}M(T-t,j)+I=0$,$t\in[t_{0},T]$,(8)$M(0,i)=0$
はただ一つの解 $M(T-t, i)$ をもつ. よって,
$E[x’(T)M(0, y(T))x(T)]=x_{0}M(T-t_{0}, y_{0})x_{0}$$+ E[\int_{t_{0}}^{T}\tilde{A}\{x’(t)M(T-t, y(t))x(t)\}dt|x(t_{0})=x_{0}, y(t_{0})=y_{0}]$であるから (8) 式を用いると$x_{0}’M(T-t_{0},y_{0})x_{0}= E[\int_{t_{0}}^{T}|x(t)|^{2}dt|x(t_{0})=x_{0},y(t_{0})=y_{0}]$.

補題 22 より対称正定行列$M(T-t_{0},i)$$\lim$$M_{i}=$$T-t_{0}arrow\infty$が存在する. (8) 式より$M_{i}$

は補題 21 の条件式 (6) を満たす.

補題 23 の条件のもとで注 21 の式も同様に示すことができる.

注 22この補題より (6) 式を満たす対称正定行列君が存在することから次の結果を得る。
系 2.2

A が stochastically stable ならば$(A;- \frac{1}{2}\lambda_{ti}I),$$i\in S$ はstable となる.

以上の補題より deterministic の場合によく知られている次の同値関係が Markovian Jump Linear

System の場合にも得られる.
定理 2.1

Markovian Jump パラメータをもつ線形システム (2), (3) に対して次の 3 つは同値となる.

1. A が stochastically and exponentially stable である.

2. A が stochastically stable である.
3. (6) 式を満たす対称正定行列

3$P_{:},$$i\in S$が存在する.

Linear Quadratic Control
Markovian Jump パラメータをもつ線形システム (1), (2) に対して次の評価関数(9)$J(u : x_{0},y_{0})= E[\int_{t_{0}}^{\infty}\{x’(t)Q(y(t))x(t)+u’(t)R(y(t))u(t)\}dt|x_{0}, y_{0}]$を最小にする admissible control $u(t)\in\Phi$ を求めるレギュレータ問題を考える. ただし,は対称半$T$正定行列,は対称正定行列とする.
が有限である線形二次形式問題については次の結果が得られ$Q_{i}$$R_{i}$ている.
$\frac{d}{dt}$P. $(t)+(A$ . $- \frac{1}{2}\lambda_{ii}I-B_{i}K_{i}(t))’P_{i}(t)+P_{i}(t)(A;-\frac{1}{2}\lambda;;I-B_{i}K_{i}(t))$

177$+ \sum_{j\neq i}\lambda_{ij}P_{j}(t)+Q_{i}+K_{i}’(t)R_{i}(t)K_{i}(t)=0$$K_{i}(t)=R_{*}^{-1}B_{\acute{i}}P:(t)$,,$P_{i}(T)=0$$i\in S,$,$i\in S$$t\in[t_{0}, T]$

(10)

.

を満たす解乃, $i\in S$ が存在し, 入力が$u^{*}(t)=-R(y(t))^{-1}B(y(t))’P(t, y(t))x(t)$のとき最小で$J(u^{*} :x_{0}, y_{0})= \inf_{u\in\Phi}J(u:x_{0}, y_{0})$$=x_{0}’P(y_{0})x_{0}$となる.

定義 3.1 Markovian Jump パラメータをもつ線形システム (1), (2) に対して, A-BK が stochasticallystable となる $mxn$ 行列
対称半正定行列$Q_{i}$$K_{i},$$i\in S$が存在するとき $(A, B)$ は stochastically stabilizable という.

は $Q;=C_{i}’C_{i}$ と分解できる.

定義 3.2 Markovian Jump パラメータをもつ線形システム (1), (2), (9) に対して A–HC が stochas$i\in S$ が存在するとき $(C, A)$ は stochastically detectable とtically stable となる $nxm$ 行列いう$H_{i},$

補題 3.1$(C, A)$ が stochastically detectable ならば (Ci, $A;- \frac{1}{2}\lambda_{i};I$ ), $i\in S$

は detectable となる.

[証明] 系 22 より明らかである.
補題 3.2 $(C, A)$ が stochastically detectable で$(A;- \frac{1}{2}\lambda_{ii}I-B_{i}K_{i})’P:+P_{i}(A_{i}-\frac{1}{2}\lambda_{ii}I-B;K_{i})+Q_{i}+K_{:}’R_{i}K_{i}\leq 0$

ならば $(A;- \frac{I}{2}\lambda;;I-B;K_{i})$ は exponentially stable である.

[証明] Ichikawa [2] の lemma 4 と系 22 から結果を得る.
補題 33 $(A;- \frac{1}{2}\lambda_{ii}I-B_{i}K;)$ が exponentially stable で$W_{i}$

が半正定行列であるとき, 半正定行列$P_{i}= \int_{t_{0}}^{\infty}t^{1}:-\tau:i$

(11)

は方程式
$(A;- \frac{1}{2}\lambda_{ii}I-B;K_{i})’P_{i}+P_{i}(A;-\frac{1}{2}\lambda_{ii}I-B_{i}K_{i})+W_{i}=0$を満たす。逆に,$P_{i}$(12)が対称で方程式 (12) を満たすならば為は積分の形 (11) で書ける.

[証明] Ichikawa [2] の lemma 5.
補題 3.4 Markovian Jump パラメータをもつ線形システム (1), (2), (9) に対して $(A, B)$ が stochasticallystabilizable で $(C, A)$ が stochastically detectable ならば$(A_{i}- \frac{1}{2}\lambda_{ii}I)’P_{i}+P_{i}(A_{i}-\frac{1}{2}\lambda_{ii}I)+\sum_{j\neq i}\lambda_{ij}P_{j}+Q;-P_{i}B_{i}R_{i}^{-1}B_{\acute{i}}P_{i}=0$となる対称半正定行列$P_{i},$$i\in S$が存在する.

(13)178[証明] 方程式$(A_{i}- \frac{1}{2}\lambda_{ii}I-B;K;)’P_{i}^{0}+P^{0}$(A. $- \frac{1}{2}\lambda:;I-B;K_{i}$ )$+ \sum_{j\neq i}\lambda_{ij}P_{j}^{0}+Q_{i}+K_{;}’R_{i}K_{i}\leq 0$.

(14)$(A_{i}- \frac{1}{2}\lambda_{ii}I-B_{i}R_{i}^{-1}B_{i}P_{i}^{\mathfrak{n}-1})’P_{i}^{n}$(15)$+P_{i}^{n}(A;- \frac{1}{2}\lambda_{ii}I-B;R_{i:}^{-1}B’P_{i}^{n-1})$$+ \sum_{j\neq:}\lambda_{ij}P_{j}^{n-1}+Q_{i}+P_{i}^{n-1}B;R_{i}^{-1}B_{\acute{i}}P_{i}^{n-1}=0$

によって,$P_{i^{n}},$.

を定義する. 定理 21 より $(A, B)$ が stochastically stabilizable であることから,に対して方程式 (14) を満たす対称正定行列理が存在する. この方程式 (14) は$n\geq 0$

ある $mxn$ 行列$K_{i}$$(A;- \frac{1}{2}\lambda_{ii}I-B;R_{i}^{-1}B_{\acute{i}}P_{i}^{0})’P_{i}^{0}+P_{i}^{0}(A;-\frac{1}{2}\lambda;;I-B;R_{i}^{-1}B_{\acute{i}}P_{i}^{0})$:$+ \sum_{j\neq:}$$\leq-(K_{i}-R_{i}^{-1}B_{\acute{i}}P_{i}^{0})’R_{i}(K;-R_{i}^{-1}B_{i}P_{:}^{0})\leq 0$と変形できることから、 補題 32 より様に方程式 (15) は$(A;- \frac{1}{2}\lambda_{i};I-B:R_{i}^{-1}B’.\cdot P_{i^{0}})$は exponentially stable となる. 同$(A_{i}- \frac{1}{2}\lambda_{ii}I-B;R_{i::}^{-1}B’P^{n})’P_{1}^{n}+P_{i}^{n}(A_{i}-\frac{1}{2}\lambda;;I-B;R_{i}^{-1}B_{\acute{i}}P_{i}^{n})$$+ \sum_{j\neq i}\lambda_{ij}P_{j}^{n-1}+Q;+P_{i}^{n}B;R_{i}^{-1}B_{\acute{i}}P_{i}^{n}$$=-(P^{n}:-P_{1}^{n-1})’B;R_{;}^{-1}B_{i}’(P_{i}^{n}-P_{:}^{n-1})\leq 0$と書くことができ,$(A_{i}- \frac{1}{2}\lambda_{ii}I-B;R_{i:}^{-1}B’P_{i^{n}})$は exponentially stable となる. $M_{i^{n}}=-(P_{i^{n}}-P_{i}^{n-1})$

とおくと$(A;- \frac{1}{2}\lambda_{ii}I-B;R_{i}^{-1}B_{\acute{i}}P_{i}^{0})’M_{i}^{1}+M_{i}^{1}$$(A$.

$- \frac{1}{2}\lambda;;I-B:R_{i}^{-1}B_{\acute{i}}P_{i}^{0})$$+(K_{i}-R_{i}^{-1}B_{\acute{i}}P_{i}^{0})’R_{i}(K_{1}-R_{;}^{-I}B_{\acute{i}}P_{j}^{0})\leq 0$.

$(A_{i}- \frac{1}{2}\lambda:iI-B;R_{i}^{-1}B_{\acute{i}}P_{i}^{n-1})’M_{i}^{n}+M_{1}^{n}(A$.

$- \frac{1}{2}\lambda_{ii}I-B;R_{i}^{-1}B_{i}P_{i}^{n-1})$$+ \sum_{j\neq:}\lambda_{ij}M_{j}^{n-1}+M_{i}^{n-1}B;R_{i}^{-1}B_{\acute{i}}M_{i}^{n-1}=0$

は半正定行列となる.
となり, 補題 33 よりは対称正定行列であるからたがって,$M_{i}^{n}$$M_{i}^{n}$の定義より$P_{:^{n}}$$\lim_{narrow\infty}P_{i}^{n}=P_{i}\geq 0$となる$P_{:},$$i\in S$が存在し, (13) 式を満たす.

$P_{1}^{n}$は $n$ に関して単調非増加となる.

し179
定理 3.1 $(A, B)$ が stochastically stabilizable で $(C, A)$ が stochastically detectable ならば制御法則が$u_{t}^{*}=-R(y(t))^{-1}B(y(t))’P(y(t))x(t)$のとき, 評価関数 (9) を最小にし$J(u^{*} :x_{0}, y_{0})= \inf_{u\in\Phi}J(u:x_{0}, y_{0})$$=x_{0}’P(y_{0})x_{0}$となる. ただし,

$P_{1}$

は連立 Riccati 方程式 (13) の解とする.

補題 34 より方程式 (13) の解[証明]$P_{i}$

は対称半正定行列であるから, マルコフ過程 $\{z(t)\}$ に対して$\tilde{A}\{x’P;x\}=x’((A;-\frac{1}{2}\lambda_{ii}I)’P_{i}+P_{i}(A_{i}-\frac{1}{2}\lambda;;I)+\sum_{J\neq i}\lambda_{ij}P_{j})x+u’B_{\acute{i}}P_{i}x+x’P_{i}B_{i}u$となる. Wonham より$x_{\acute{0}}P(yo)x_{0}$$+$$E[\int_{t_{0}}^{\infty}\{x’(t)((A(y(t))$一訃$y(t)y(t)I)P(y(t))$$+P(y(t))(A(y(t))- \frac{1}{2}\lambda_{y(t)y(t)}I)+\sum_{J\neq y(t)}\lambda_{y(t)j}P_{j})x(t)$$+u’(t)B’(y(t))P(y(t))x(t)$$+x’(t)P(y(t))B(y(t))u(t)\}dt|x_{0},$$y_{0}$] $=0$ .

を得る. このとき, 評価関数は$J(u : x_{0}, y_{0})$$=$$x_{0}’P(y_{0})x_{0}$$+ E[\int_{t_{0}}^{\infty}\{x’(t)((A(y(t))-\frac{1}{2}\lambda_{y(\ell)y(t)}I)’P(y(t))$$+P(y(t))(A(y(t))- \frac{1}{2}\lambda_{y(t)y(\ell)}I)+\sum_{J\neq y(\ell)}\lambda_{y(\ell)j}P_{j}+Q(y(t))$$-P(y(t))B(y(t))R^{-1}(y(t))B’(y(t))P(y(t)))x(t)$$+(u(t)+R^{-1}(y(t))B’(y(t))P(y(t))x(t))’R(y(t))$$(u(t)+R^{-1}(y(t))B’(y(t))P(y(t))x(t))\}dt|x_{0},$$P_{i}$$y_{0}$

は方程式 (13) の解であるから$J(u:x_{0}, y_{0})$$=$$x_{0}’P(y_{0})x_{0}$$+ E[\int_{t_{0}}^{\infty}\{(u(t)+R^{-1}(y(t))B’(y(t))P(y(t))x(t))’R(y(t))$$(u(t)+R^{-1}(y(t))B’(y(t))P(y(t))x(t))\}dt|x_{0},$従って,$u^{*}(t)=-R^{-1}(y(t))B’(y(t))P(y(t))x(t)$のとき,$J(u:x0y_{0})$ が最小になり$J(u^{*} :となる.

x_{0}, y_{0})=x_{0}’P(y_{0})x_{0}$$y_{0}$].

].

180
参考文献
[1] R. Datko(1970), Extending a Theorem of A.M.Liapunov to Hilbert Space, J. Math. Anal. Appl.,
vol.32, 610-616.

[2] A. Ichikawa(1982), Stability and Optimal Control of Stochastic Evolution Equations: Theory andApplication, S.G. Tzafestas(Ed.) Pergamon Press, New York.

[3] Y. Ji and H.J. Chizeck(1990), Controllability, Stabilizability, and Continuous-Time Markovian
Jump Linear Quadratic Control, IEEE Trans. Automat. Contr. vol.AC-35,777-788.

[4] E.B. Lee and L. Markus(1967), Foundations of Optimal Control Theory, John Wiley and Sons,
New York.
[5] M. Mariton and P. Bertrand(1986), Output Feedback for a Class of Linear Systems with Stochastic Jumping Parameters, IEEE Trans. Automat. Contr., vol.AC-31, 680-683.

[6] W.M. Wonham(1970), Randam Differential Equations in Control Theory: Probabilistic Methods
in Applied Mathematics, vol.2, A.T. Bhancha-reid(Ed.), Academic Press, New York, 131-212.