マルコフ性の仮定

高橋幸雄
l刷蜘刷剛IIIUI剛附蜘l刷l附11601111ll10l10l11ll1lUIIIIIIIIIIIIII棚1111111111刷ImllU811刷l棚田剛110111111111"11111111111"11111111111111111111111111111111111111111111111111111111111111111"11111111111111111111IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIft

1.

存する.マルコフ性はマルコフ・モデルの大もとはじめにの仮定でありながら，扱いがむずかしく，直観的

マルコフ・モデルは時間ノミラメータを含む確率モデルの中で、最も簡単なものの 1 つであるため，な議論で済まされてしまうことが多い.

ここでは，このマルコフ性の仮定にまつわる話，特にマよく用いられており，使用範囲も非常に広い.自ルコフ性の仮定が崩れたときの対応に関する話を

然、科学の分野だけでなく社会科学の分野でも人の集めて紹介しよう.

動きや心の動きにまで応用されて，重要な解析道
具の l つとなりつつある.そしてコントロ}ルや各種の数理計画法とも結びついて新しい理論展開

2.

例と問題

ここでの問題意識をはっきりさせるために，簡単な例を 2 つほどあげておこう.

も行なわれている.
マルコフ・モデルの記述方法には種々のものが

例 1

劣化モデル

あるが，大別すると，いくつかの独立確率変数を

機器の劣化の状態を何段階かに分け，劣化の進用いてモデルを表現し，その中からマルコフ連鎖

行状況をそれらの段階を状態とするマルコフ・モとなる部分をとりだして分析する場合と，はじめ

デルで、記述することがよく行なわれている.故障から状態を決め，その聞の推移確率を推移図や推状態が吸収状態である.もし劣化が進行するだけ

移確率行列などの形で表現してし、く場合とがあるでよくなることがなければ，推移確率行列 p=( ρ([4J 第 5 章) .待ち行列や在庫モテ事ルなどでよく(i, j) )は上三角行列，つまり p(i ， j) =O , j <i ， とな

用いられているのは前者であり，後述の信頼性にる.劣化がある定められた段階まで進んだならばおける劣化モデル，医療システムの評価モデルや修理や取替えを行なうという保守ルールを用いる

社会科学の分野で用いられる人員計画における昇と ， j<i であるようないくつかの p(i ， j) を正に進モデル，社会移動モデル，マーケティングにおすることができ，その結果，故障状態へゆく確率

ける銘柄転移モテ'ルなどは後者である.

を小さくして，故障による損害を小さくすること

前者の場合，モデルの適合度は主としてモデルができる.

を表現するときの確率変数の独立性や分布のあて

このモデルで、は，どうすればマルコフ性が満た

はまり工合によって決まるが，後者の場合はマルされるように状態をとり推移確率を推定すること

コフ性の仮定がどの程度満足されるかに大きく依ができるかが問題である.多くの場合，マルコフ性が成り立つように劣化の状態を決めることはな

たかはしゆきお東北大学経済学部

1982 年 8 月号

かなかむずかしく，たとえ劣化の過程がマルコフ© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

(
2
3
)4
5
3

連鎖で記述しうるものであったとしても，その劣が成り立つことである.

モデルが斉時的で、あれ化の具合が観測し得ないものであることもある.

ば，この右辺はさらに t にもよらず ρ (i'-l， j) とこのようなときはどうしたらよいであろうか.

書ける.

例 2

いま {X ，Jと同じ確率構造をもっ互いに独立な診療システム評価モデル

この例として福富和夫氏による胃集団検診の評
価そデ、ルがある ([2J または [4J ， p.139).

患者

m 個のマルコフ連鎖(と思われている確率過程)の履歴のデータ

を，健康者，早期がん，進行がん，手おくれがん(
2) XOl , Xl¥"', XTl 1 ; ・ . ;xom , Xl前，…， ZTmmの 4 つに大きく分ける.そして，早期がん，進行が与えられたものとしよう .

がんのクーループをさらに，未発見時，治療後 1 年

f (i o, i l, "', iu) を zF=io， ZHlk=ib …， ZHJ=iu

2‑ 5 年，に細分化して状態をとなる k と t の組の数，それらのルについての和未満

1-2 年，

つくる.これに，進行がん患者の回復状態，およ

n=L: kT k とおく.

を f(;o ， i! , …, Zu-h ・)とする.

びがん死亡，がん以外死亡の 2 つの吸収状態を加もし推移確率 p (i， j) の聞に何も特別な関係がえて状態空間を構成し，推移確率を推定してマル仮定されていなければ，推移確率は最尤法によっ

コフ・モテツレを作る.集団胃検診をした場合として，五 (i， j) =f(i， j)jf(i ， ・)ない場合ではがん発見率が異なるので，それを推移確率に反映させれば，胃集団検診がどの程度のと推定される.モデルに何か構造が入っていて推効果があるのかをこのモデルから評価できる.

移確率の間に何かの関係が仮定されている場合でこのモデルでは，推移確率の推定自体かなりむ

ずかしいものであった.特に胃集団検診によらず外来受診によってがんが発見される確率の推定がむずかしかったようである.これは，問題の性質

上，このモテv ルが対象としている集団(患者と健も，適当な方法で ρ (i， j) を推定することができる. (1) のマルコフ性が満たされているならば，どのように u および io ， i
1，・"， lu をとっても，(
3)となっていなければならない.

康者の全体)を特定化してその中の各個人の履歴をすべて調べるというマルコプ・モデルで、の常道が使えないことによる.したがって，マルコフ性が満たされているかどうかも調べるのは非常にむずかしい.そのため，マルコフ性の仮定があまり効かない分析方法ないしモテール利用法を工夫しなくてはならない.

Ehhι立並一台五 (iu-! ， iu)

f(io , il ,… , iu.-l' ・)しかし，ふつうマルコフ性の検定といって行なっているテストで、は，すべての u について (3) をチエツグすることは稀で

u=2 のときの (3) を統計的に検定しているだけである.この検定は，もしマルコフ性が成り立つならば，

付)=L: l .Bi>_恒)三五i ，ιιL~-<k， j)P
i7k .Jf {i, k ， ・ jρ (k ， j)

)
'
2

ん

3
. マルコフ性とその検定は漸近的に χ分布(推移確率に構造の入っていまず，マルコフ性の仮定の復博から始めよう.

用する.この u=2 のときの (3)の検定は，確率過いまさら書くまでもないが，有限の状態空間 s=

程 {X ，Jが 2 次のマルコフ連鎖，つまり対 (X 川，{1 , 2,…, s} 上の確率過程 {X ， ;t=O， 1 ， 2，…}がマ

X ，) のなす確率過程が状態空間 sxs 上のマルコルコフ性をもっというのは，任意の t;:;; 1フ連鎖，であるものとして，ない場合は自由度 S(S- 1) 2) にしたがうことを利と正整(1 次の)マルコフ性

数の組 (io ， it ,… , Ít-l， j) に対して，が成り立っかどうかを検定していることに相当す

(
1
)

る.

P{Xt=jIXo=io , X!= 九…， Xt-l=it-d=P{Xt=jIXト !=it-d

4
5
4(
2
4
)

© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

オベレーションズ・リサーチ

4. 弱マルコフ性の仮定とその検定だけから計算できる.たとえば，エルゴード的マ

ルコブ連鎖の定常分布，吸収的連鎖の吸収確率，平上でも述べたように， (4) による検定は，マルコ均吸収時 IHJ ，平均訪問回数などがそうである.そフ性の条件 (3) のごく一部しかテストしていない.

こで，もしモデル分析のときに必要な特性量がこ

しかし ，のような種類のものであるならば，何も {Xd がu~3 のときに (3) を検定するのはデータの量からむずかしいことが多い.というのは， (2)

マルコフ連鎖でなくとも弱マルコフ連鎖であればのデータの個数はおよそ nf闘で、あるが，分析は可能である.そして必要な検定も (3)でなくiu) の組の数は so.+1 個であり ，(io, Ï!,…,f (i o, i 1.…, i ，，) の値は平均でも n/so.+1 程度にしかならない.そのた

め，すべての f(io， 九… ， iu) が適合度検定に耐えうる程度の値(およそ 5 以上といわれる)となる
ためには，データの量がよほど多くなければならなし、からである.

そこで，マルコフ性の仮定のほうをもう少しゆるめて検討可能な程度の条件のそテボルにすることはできないかということが考えられる.このために，まず次のことに注意しよう.
一般の確率過程 {X e}において n ステップの推

P{Xt+n=jIXt=i
}

(
5
)

・…. ， k， j)ハ.

と，はるかに簡単になる.ここで・は対応するイ

ンデックスについての和をとったことを表わす.
このように弱マルコフ・モデルは扱える特性量に制約はあるが，条件がゆるいのであてはまる現象も多く，これからの利用が期待される.特に，チェツグすべき条件が(ののように 3 つの時点における状態にしか関係しないので，検定のさいにもそれほど多くのデータを必要とせず，マルコフ・モデルよりむしろ扱いやすいのではなかろうか.

5. 高次のマルコフ性の検定と状態の移確率を考えると，

=
L
:

f(i

(
7
) f(i，
一一一一一一一一ーキ ρ (k， j)
・，…，・ ， k ， ・) .‑Y¥''''J

細分化

P{Xt+1=i1IXt=i}t 1.・・・ ， ln-l(4) によるマルコフ性の検定でマルコフ性の仮説• P{X'+2=i2IX t =i , Xt+1=idが棄却された場合，その対応の仕方にはいろいろ• P{X t+ s=isIXt=i , Xt
+
=id
2

ありうる.

• P{Xt+n=jIXt=i , X，+ト 1= ら-dことである.つまり次のマルコフ性が棄却さ

1 つは，高次のマルコフ性を検討するとし、う展開式が成り立つ.この式は確率の乗法法れたのならば2 次のマルコフ性は成り立たない則を使えば簡単に証明できる.したがって，もしかどうか検定し2 次もだめなら 3 次ではどうか{X ，} が任意の t， u および i ， j， k に対して，

ーと続けていくものである.各次数の検定は， (
4
)

(
6
)

P{Xt+u=jI
Xt=i , Xt+u‑
1=k}
=P{X，+u=jIXt州ー l=k}= ρ (k， j)と同様の x 2 -適合度検定を用いればよい.

しかし次数が高くなるにつれて上で・述べたのと同じデーを満たしているならば，その n ステップの推移確

タの量不足がネックとなり，実際にはなかなかう

率 P{Xt+ n=jIXt= i} はあたかも {Xd が推移確

まくいかない.

本行列 P=(p(k， j)) をもっマルコフ連鎖である-般に，マルコフ性が成り立たない場合には，

かのようにして計算できる. (6) を満たす確率過程

状態を細分化してマルコフ性が成り立ちやすくす{Xd を弱マルコフ連鎖とよぼう(これは筆者がる必要がある.高次のマルコフ・モデ、ルを考える

ここで、付けた名前で，まだ市民権は獲得していなのはその 1 つの手段である.状態を期前

し、).

期前，…の状態を用いて細分化するのである.し2

マルコフ・モデルで通常考える特性最のうち，かし，状態の細分化としては，もっと現象に即し代表的ないくつかのものは n ステップの推移確率

た方法もありうる.たとえば上の例 1 の劣化そデ1982 年 8 月号

© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

(
2
5
)4
5
5

ルで状態を細分化するのならば，過去の状態によの結果がある.ここでは {Ytl の状態空間 S およって細分化するよりは，機器の物理的状態，特にびその分割 {A" … ， A.} は知られており，

それまで状態の決定に用いていなかった物理的要の推移確率 q (i， j; θ) はある未知ノ ζ ラメータ θ が因を使って状態を細分化したほうが，モデルのあ決まればすべてわかるものと仮定する.さらにてはまりも良いであろうし，モデルの意味もはっ{Ytl は定常状態にあるものとする.すると {q (i，きりする.しかも状態の数も少な i くてすむ.ただj;θ) }から {Yd の定常確率 ω (j ;O) ， および {Xt}

この場合の難点は，新しい状態に対応する推移のの定常確率

履歴のデータを新たに得る必要があることであ{Yd

π (i; θ )= I; iEAi ω (j ;θ)る.くわしい観測がなされている場合はよいが，は O の関数として計算することができる.そして，そうでないときはデータをとり直すか，何らかの

いわゆる f の形~ {f(・ ， i)-nπ (i ;O) J2

工夫をしなければならない.

(9)ψ= I;‑#1nπ (i ;θ)

'
f
'

6
.

マルコフ連鎖の関数としての表現

上で、述べたような状況，すなわちマルコフ性を確保するために状態を細分化したいのに，それに対応するデータが得られないときにはどうしたらよいかを考えてみよう.この状況は数学的には次のように表現できる.

を考えると，

これが互いに独立な f 分布にしたがう確率変数の l 次結合となっていることが示される.そこで(的を最小にする θ，すなわちも作

Jf( コ丘 l2 色白望l-(\π (i ;θ)

J‑ d
O

‑V

の解 θ を未知パラメータの推定値として採用する.この方法で求められる推定量 6 は漸近E 規性{Ytl を状態空間 S={! ， 2 ， … ， s} をもっマルコ

をもっ一致推定量である.

フ連鎖としよう . s をいくつかの状態の組に分割

この方法は {Yd に関するかなりの知識を必要する.その分割を {A1 ， A2' … ， A.} とする.いまとするが，それでも {Xd のデータから全体の確確率過程 {Xtl が次の関係で {Ytl と関連づけら率構造が決められるところは面白い.もう少し条れているものとしよう.

件がゆるめられれば実際のモデル化の場合にもか(8) Xt=i

なり使えるであろう.この方法の欠点の l つは，

YtEAi のとき

このような {Xtl をマルコフ連鎖の関数とよぶ.
上で述べた状、況というのは，定常確率を使用しているため，上の例 1 や例 2 の{Xd の履歴のデー

ような吸収的モデルには使えないことである.こタは得られているが {Yd のデータは得られない

こでのアイディアを生かして，吸収的モデルでもとし、う場合である.

使える方法の研究が望まれる.

{Xd の確率的構造が完全にわかっていれば，Toe の方法は {Yd の推移確率の形がわかって(8) を満たすような {Yd が存在するか，存在する

いることが前提であった.しかし，実際の場合にとすればそれはどういうものか，という聞いにはは， {Yd については皆目見当がつかないことが多代数的な議論を用いて答えることができる(He­

い.むしろ {Xd のデータからどの状態を細分化

ller [3 J または Rosenblatt [ラ]第 3 章参照) .

したら良いかの情報を得て，状態空間 S と {Ytl

しかし，そのためには {Xd に関するデータが無を作り出したいというのが本音であろう.残念な限に必要であり，がら，そのような方法の研究はまだ全然といってこの方法はあまり実際的でな

よいほどなされていない.これからの問題である.

L 、.

もう少し実際的な議論としては

Basawa &PrakasaRao [1J 第 4 章に紹介されている Toe

45
8 (26)

この問題がむずかしいのは，Basawa&Prakasa

Rao の本の中にもあるように，われわれが考えて© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

オベレーションズ・リサーチ

いるような状況の下では， (2) の形のデータに対すは，次のように動的計画法を使ってベグトル 8/ U )る尤度関数は非常に多くの非線形項の和となっておよび δ/引を u ニ 0 ，1， 2 ，…と j順次計算することにしまうためで、ある.したがって，尤度関数を基礎よって求めることができる.

とした議論はむずかしく，何か発想、の転換が要求

(
1
2
)

1
/0l=Oj1。 /U)=max

される，

PE!ﾘ
をあ ω ，

マルコフ性が満たされない場合の対応策として
ε ーマルコフ・モデルがある.これは，

例 2 のように，マルコフ性 (1) または弱マルコフ性(6) が完全にではなくある幅をもってなら満たされると考えられる場合に，動的計画法を用いて特性量の上下界を計算しようというものである ([4J
第 5 章).話はマルコフ・モデルでも弱マルコフ・モデルでもほとんど同じなので，弱マルコフ性の条件をもとにして説明することにしよう.

いま，

u=! , 2, …

叩i8/叫が (11) の上界である.下界は，上式で 8/叫

7. $ーマルコフ・毛デル
もう 1 つ，Po/u-ll ,{X ，Jは (6) の弱マルコフ性を近似的に満max を min でおきかえた式からや~/n)で求められる.

吸収的連鎖における吸収確率は n ステップ推移
確率の極限なので，その上下界はん ω ， Oj ω の極限として与えられる.したがって，この上下界
は，マルコフ決定理論の政策反復法を用いて直接計算することもできる .η ステップ推移確率だけから計算できる他の特性量，エルゴード的連鎖の定常分布(相対訪問回数人吸収的連鎖の平均吸収
時間，平均訪問回数についても，闘を少し変形すれば同様のことがいえる.

たしているものとする.つまり， (6) の等式は厳密

この方法の弱点は帥の上下限列島， 1) ， ρ (k， 1)には成り立たないが ， p(k， j) に少し幅をもたせたをデータから推定するうまい方法がまだ見つかっ(10)ρ (k， j) 豆 P{Xt+u=jIXt=i， X
t+u‑1=k}ていない点である.そのため今のところこれらの豆 p(k ， j)

上下限はケースごとに工夫しなければならない.

とし、う不等式は満たしているものとする.特に上にあげた特性量の上下界に関して，理論的にp(k, j) = (1+ε)-1ρ (k， j)

興味ある結果がもう l つ得られている.それらのである場合には，酬を満たす {Xtl を a- マルコフ

上下界は g の中のある確率行列を推移確率行列

連鎖とよぶ.

とする斉時的マルコフ連鎖によって達成されると戸 (k ， j) = (!+e)p(k, j) ,{Xd が帥を満たしているとき

n ステップの推移確率 P{Xt+η=jIXt= i}の上下界は次のような手続きで計算できる.

いうことである.この事実を使うと，マルコブ・
モデルにおける 3 種の誤差(i
) マルコフ性が成り立たないことによる誤差。J を第 j 要素は! ，他は O の列ベクトル，引を

第 i 要素は! ，他は O の行ベクトルとする.また
P{X t 酬と I1 Xt=i , Xt+
‑1=k} を第 (k，/) 要素に
u(ii)

推移確率の斉時性が成り立たないことによる誤差(iii) 推移確率の推定誤差もつ確率行列を p" とする.すると (5) から，がこれらの特性量に与える影響の程度を比較する(
1
1) P{X，柿 =jIXt=i}= 小P 1 P 2 " ， Pn i3Jことができる.推移確率が斉時的でない場合も，と書ける.第 (k， l)要素が区間〔ρ (k，/)， 列島，l) J推移確率の推定誤差がある場合も，それらの誤差に入るような確率行列の全体を g としよう. (11) のは帥の形で表現することが可能であり，それらの右辺で各 Pu を g の中で動かしたときの最大値と影響の程度は同またはそれと同様の方法で計算で最小値を求めれば，それが(11) の左辺の上界，下界きる.特にもし (i) ， (ii) , (i ii) の 3 種の誤差が(1Qの意となっていることは明らかであろう.この上下界

味で同じ程度であれば，それらが上で、あけγこ特性

1982 年 8 月号

© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

(
2
7
)4
5
7

量におよぽす影響はほぼ同程度と結論できる.

引用文献

おわりに

[1J Basawa , 1.V.& B.L.S.PrakasaRao:Sta
t
i
s
t
i
c
a
ll
n
f
e
r
e
n
c
e for S
t
o
c
h
a
s
t
i
c P
r
o
c
e
s
s
e
s
.

以上，簡単に紹介したように，マルコフ性が崩れたときの対応に関する研究はまだまだ少ない.

AcademicPress , London , 1
9
8
0[2J 福富和夫:システム・モデルによる胃集団検診のマルコフ性が成り立たないのならマルコフ・モデ

ルはさっさと捨ててしまえとし、う意見もあるが，マルコフ・モデ‘ルのもつわかりやすさと柔軟さ，

特に推移図のもつわかりやすさと柔軟さには捨てがたいものがある.今後も，現実のモデル化を意識したこのような方向の研究が進められることを評価.オペレーションズ・リサーチ，2
1 (1 976) ,

8
0
‑
8
6
[3] Heller , A:Ons
t
o
c
h
a
s
t
i
cp
r
o
c
e
s
s
e
sderived
fromMarkov c
h
a
i
n
s
. Ann. Math. Statist. ,3
8 (1965) , 1
2
8
6
‑
1
2
9
1
[4J 森村英典，高橋幸雄:マルコフ解析，日科技連，

1
97
9[5] Rosenblatt , M.:MarkovP
r
o
c
e
s
s
e
s
.S
t
r
u
c
t
u
r
e

祈りたい.

andAsymptotic Behavior. Springer-Verlag ,Berlin , 1
9
7
11111111111“"“

11111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111I1111111111111111111111111111111111111111111I1111111

議題

TIMS 予測文献輪読

予測と白色化フィルター推定について

内容:時系列の予測の問題を，原系列を白色雑音に変換するフィノレターの問題としてとらえ，自己回帰等の型について討論を行なった.

物環境システム修
義務環境システム修
日時

日時

4 月 21 日(水) 1
6
:
0
0
‑
2
0
:
0
0 場所:日科技連

出席者 :4 ;g

出席者

議題:フローショップスケジューリング

生活排水の発生源で所見によって開発された技術を活物経営コンサルタント物

用して浄化した処理水を，主としてアメリカで開発され-第28 回日時: 5 月 8 日(土) 1
4
:
0
0
‑
1
7
:
0
0

(日本 CDCた大量処理技術と綜合させ広域において土嬢浄化技術をテーマ「経営経済データ

ベースによるコンヒ。ュータの活用法 J 発表者:今村達

コールサーピス営業部)

手で提げられるポータフe ル端末機に電話の送受話器をセットするだけで電話回線で宇宙衛星を介して直接北米
ミネアポリスにある CDC 社の超大型コンヒ。ュータを呼びだして使用することにより，グローパルな視点を提供
する国際情報データベースを自由に，いつでも，どこでも活用できるようになった.内容は，企業財務・販売情報・金融機関財務情報・証券市況・経済民力統計等々で実用化するための問題を提示した.

義務 OR/MS とシステム・マネジメント務
第 1 回( 4 月例会)
日時

4 月 17 日(土)場所:東京工業大学(長津田キャンパス)出席者: 14名

第 1 回目の研究部会として以下の点について議論が行
なわれ，部会メンパーの共通認識を深めた.

(1)本部会の目的， (2)本部会の具体的研究内容， (3)他研
究部会との関連， (4)部会の進め方.

以上の点の検討によって，本研究部会は íOR/MS のある.

窃予測とその周辺課題物
日時

第 1 回閤定生物膜国際会議に出席して発表者有水彊

における Job-base 十分条件，鍋島一郎

場所:東京都勤労福祉会館

題目

5 月 19 日(水) 1
8
:
0
0
‑
2
0
:
0
0 場所:日科技連

5名

5 月 19 日(水) 1
8
:
0
0
‑
2
1:
0
0 場所:電力中央研究所出席者: 8 名

4
5
8(
2
8
)

研究成果を経営システムのマネジメントに結びつけることを目的とし，

OR/MS と人関心理，行動および OR/

MS と組織の関係の研究，討議，調査分析を行なうこと Jを確認した.

© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

オペレーションズ・リサーチ