確率数理工学にーー

再帰性と到達日咀（平均到達時間と平均再帰時間）
mini。）=状態 i{tから jEへの平均到達日椚

k P( T j k=|X）= E 1万1X。=i ]( i f 附くかどう）=1）(otherwise)( T j = int I nの 1X n j } ）=m a i n )を平均再帰時間と呼ぶ
が一同甠（正再帰性）が再帰的なとき、岬やmini)<oうが正再帰的|

iが零再帰的な m a n = 。

（非再帰的なら自動的にm にである）にaで三鬱鬱鬱鬱..
孿懋鬱.
-

確率数理工学12̲mod1 / 12

.it?時刻にた倒善との後にえへ到達（う平均到達時間の計啠mに は ）= P（うま） 1+t高Pym いう） =1 ttmlk.
う））

んかうたに行ってからうから へ I stepで到達た）|I t

j に到達するのに必要なstep数（うた）m （たま）P㐂じ がっ）t 臿 P（うた）=臿 Hi.た）= 1）

この方程式を各j ごとに解く.

うとすれば平均再帰時階でも求まる。

i

解が一意でなければ最小の非負解（いこう））がそれになる-̲⑧I I（証明は与えないが、補足資料の吸収確率の計算と同様に示せる.）（吸収確率）

i: 非再帰的な状態
で 再帰的な状態 も分解定理より、ある再帰的な既約成分に含まれる）
えからすへの吸収̲確̲率 dI I

照i が再帰的かつiからのを含む再帰的な同値類への到達確率

う な ら f には）=1 である。

前田の講義資料より、（のう）=1ですが再帰的になることは示せている
よって、

jfi が.うは再帰的なので、再び同じ議論により、f なるに1でもあニ ） このことから、 ぼには）で.

Hi.う）=f （こう'） がわかる。

（うに到達すれば必ずおにも到達するL .

'シきたないりき
製奥再帰的同値類
Hi.の確率数理工学12̲modる，逆もしかり）

はページに証明

2 / 12（参考）fにだしな）について. Hi,た）= に.う）になることの証明

Ht. た）=P( T o N i i ) E P （なE たく-=）P （なくかい=i )

名を通ってから左に到達す
prob.
るX。こう）哬くaNoこう）= f に.う）
p（たくかl

たとうと逆にすれば、 f （うた）ー

I なくi（う，た）=1

Efﬂakyは.た）も得るので、 f h た）=吸収確率の計算方法
ーC（閉かつ既約）

非再帰的な元の集合

T :うた）f （たま）十 Hi.た）HE. う）+高邰
f (i.う）二品。PC岳
ここでなので、E C （ま）
た{たE E C くう）-Tきf a nは）

f は、う）= I

f （うう）= 彘，R i k ) t

この方程式を解けば良い.

た）性

= 。

（分解定理）

（たま）
Hi.た）
f
E,（なという）についてはH i ,j'）=f （うま）とする）

解が一意でない場合は最小の非負解がそれ2なる.

ー

確率数理工学12̲modー3 / 12

亜の破産確率ギャンブラー、-o（破産）.

oq

石隺率 P で t 1 万 円

pn6- .

8 で - 1"万円

所持金0 で破産

資産i から始めて破産する確率を求める
d oに1，a方程式：(i) ：んから始めて破産する確率にtho)）a (i)=do)=q a にりpalm) t
1（に1.2、-.- ）p l a n ) - a （う）]= q [ a ( i ) - a にリ]{aa に） =a tP 信）「( Pキ9）

した9=主）

ftp.i( i ) =

k . あるd.PE R を用いて書ける.

(i)

pのとき

（とう）o Each) E lよってd o ) = 1 から d = 1 なので9 に）=1t( i i ) P = 9 のとき必ず破産する

oO f a （う）EI

やはり f = 0w

P > 8 のとき

で a に）

ia に）=1必ず破産する.

eにもなくば9た）で言い（な）よりd o ) = 1 より の二I で(III)P= 0より人一方、 d = 0 で a （0）=ド(h)である。

f = 1

よって 最小の非負解はd=0， P= 1 で達成される。

つまり、（う）=（ま）aで確率数理工学12̲modet

運が良ければ破産しない
4 / 12正再帰性の条件）
直 （平均再帰時間の性質と任意のでるに対し、橋 市

eP"では）

特にうが正再帰的なTmは、かくか）=-̲-到達確率いる）

m はま）が平均再帰時間

品方言P"' は、j ) > 0（湖はCornF )"である
直感的な興 で郎"どう1は"から出発してのステップ目までに平均的にまに滞在していた時間の割合
まず、うからうへ到達する確執（うら）.うに到達したら、mなの時間後にまに戻るので、平均的に高いの割合でるに滞在していることになる。

Iyが既幽あるとする..

（I) まが正再帰的ならはE I に対想え部になる） .した。>o=. h e I において（ii) うが零再帰的ならO-橋 が（こう）二（うまに1であることはすでに示している.
( H : I が既約で.うが再帰的なi f
I n C i ) は T h m より示せるi )は 自明ではない. 証 明 は 省 略.

(Thanの Proof)
Z n={b 毖望らE l N j( n ) I X。=i ] =とする.

）

時刻hまでにうにいたZたN j（が臿回 数とする.

E E l Z E N . = i ] = 臿Pは'(i. う） に注意する.

（l) まず えこうて考える (X 。こうこう）なん） を状態うたを固めに訪れた時間とする（だなint{に11NjmZEDTj'"=0 とする、
確率数理工学12̲mod

そんなんが無ければ とする

5 / 12

t h e だたなば）. (Mark. 性）
h は独立同一分布に従うとする。 すると、

よって、大数の強法則より

聖 = t t h t k a s ばt かs

E H , ] = E [ な1ど う ]m は、ま）=

また、 可は）の定義よりTCNが " E n くな（似"""とこれはである
N j( n )（a) ここでるが再帰的であると仮定すると、前田資料より.

m はまたゆるす）鬱 䯊 鬱 ・ 鬱

なのでよって、NaF)'sm（する）もはならない(as)(as. ）（想N j( n ) は 1X 。=j ) = 1 なので.

（b) 一方、 うが非再帰的なら P

表明 ー ー つ かF g(jig)( a .S. ）である。 一方、 うが非再帰的なら、mは、う）=

君川( i i ) i t j のとき.

芸+=な.j )m-(as. ） を得る.

た た き た t i s しな̲

LeiTE（i).(i) より、 いずれにしても炭， -でもあるので、>た-（ だa )

い{M!う） ( i f T e a )(otherwise)（なか(T,=）

Cas. ）

N a t s m1が11万人が ( a s )確率数理工学12̲mod6 / 12

両辺の期待値をとれば、ルベーグの優収束定理より

桔すだがいる）= 1稿三（興N i i ]傴 興lx。=i ]=E=E 1=Tj

11なくがけ。こう].

fP G a l X。=i ) = 型m 的）/ /定常分布と極咀（定常分布）

T =（たい），T H . . . .

下が定常分布）： I

毧た

上の分布
（た（うに産でいたうり：平衡方程式x.
Markov連鎖で更新しても分布が変わらない（定常分布が存在するとは限らない）

咀 （極限分布）た（うにEt下が（石は初期分布）

た。(d) がいる）

dt

任意のーーたに対し、

t i n（極限分布が存在するとは限らない）

稿 IP"'= IP
た

確率数理工学12̲mod極限分布'）（う） =（まT ）（なEI)の離散分布なので法則収束）/という形をしていなければいけない.
4 石（う）=(Oo.... ，0.1，0，0，-̲- ）とすればわかる.
7 / 12

N I。極限分布が存在すれば、それは一意的な定常分布である.
it チェックせよ.

定常分布が存在しても極限分布が存在するとは限らない.

。

な例

p =(Y'の、。

1になり、不は定常分布

しかし、昨1！。，！！蠶，周期性がある

T o =（10）とすると、大にしたり、ー鼺鬱ー .

-で収束しない、極限分布は存在しない

T I （マルコフ連鎖の定常分布）

マルコフ連会員は既通であると仮定する。

すると、以下は同値が正再帰的に）全てのーE I が正再帰的ーま（I) あるj E I

で、何より正再帰性はクラスの性質）定常分布たが存在する。

（ろ）（l).に1.13）のもと、定常分布は一意に定まり、たま）=で与えられる.

凸h t & P" （する）= 不，'。。

（まからすに戻ってくるまでの平たる時
m なる）t
間

正再帰的なまに対し、M(i)=とすると.

&nP( X n= ， な>n | x= O

たのに 器，m=うに平均的に痾の割合で滞在）j)まるを出発には定常分布になる。

再び2に戻るまでにどれくらいえにいたか（工の既知性は仮定していない、定常分布は一意とは限らない）（た（う）はまを出発してるに戻るまでに、どれくらいにに滞在していたかを確率数理工学12̲mod表す） 8 / 12

(Lem の Proof) まず （う）= p （どう，な>o l X 。=j ) = 1 である
また、 垚 M i )( P （たくかたう）=1にも注意）=& E P （たん.な>n | X i j )I N T >n M i r )= & H T ? I がる）=n=

E [ T.g l X。=j ]=m （おう）

な の では確率分布になるで.
.-FM?.i)=PNe=i.Tj7llXo=ま） とすると、 の定義より
F M（う）（i)FT' か（うん）Pいた）=（たキシのとき）====

こ こ で.

（ii)

E（た）なら良い、P( i , k )である。 右 辺 = M

MET"' （う、i ) Mink)E H X i n , た >l . X e i た I X。こう）P （た>l、 X e i た I X。こう）P ( T . p l +1， Xeい たI X。こう） ぐうきた）
FM" （うた）E（右辺）= M k )はすぐわかる。 （うきたに注意）（たまのとき）上と同様にE T ) は.'d ) P(i. た）

このとき、確率数理工学12̲mod===E P ( X i i , な >e , Xen！ I がる）
P （た=1+1 1X 。=j )（右辺）= P （ な<o | X 。=j ) = 1 =1（う）

y9 / 12(Proofof Thin)
（2）

（ 1）

（I) - ）（2）はE Iは 明 ら か.

を任意に取る. るE I は正再帰的であるとする

既約性より. i
よって、ヨを， Emt

I Nでj である。

PCM) （すえ）>0 より.

PG) （う.う）70.

たん.it ﬁ s t EP"'(iii)作）には）P" （する） に）は ）p
当Fi、ﬁE一、> 。

̲がない感祜部になる=）>>oconn.

11EE亠 > 0m （うかな り えは正再帰的.
（2）

> o

たまは正再帰的.

mの性質より）

なが正再帰的なう。直前のLemより（3）ある定常分布が存在する.

（3） 一つに）既約性より、定常分布のに対し. た（う）>0なようについて.に G I でないん であるよって、あるM E I N で M Y うう）>oとできる. よって下に）=FT（う'）が）は！
70i に大（ま）がない）となる。 一方、 「うE Iにおいてでは）=方言(E では）pTe（たま））n（： 《=大（ま）， T は定常分布なので）=E T一工 をした）
EPM(kia)）に後収束 E I定理

確率数理工学12̲mod

た（た）で =T i10 / 12となるので、T（うになるが成り立つ、か）これとたくう）>0を合わせると、

l e n > 0 2 ある。

mは.の

m は、かくか、つまりまは正再帰的.

よって、（一意性） 上の議論で、たまになるか）が言えてしまっているので、一意性も示されている.

x咀 （周期性）

この周期dCi)= ド( i n ) s o

凸-ij̲>ならdに）=d（う）

なるM I I の最大公約な久（周期はクラスの性質）-（極限分布の存在条件）

マルコフ連全員が既約であるとする。

正再帰的 な連鎖が {非周期的N I

極限分布頲

=の極限分布は定常分布で不 は ）= tで与えられる.

存在.

凸既約で正再帰的なマルコフ連鎖が非周期的ならもう.うE

IhでPG)(i. う）=

̲=たくう）（定常分布）.

周 期 的( dには2）なら. PG)(i. う）は収束しない（証明は、カップリング法による. 補足資料を参照のこと）

確率数理工学12̲mod11 / 12

(Proof o f Thin)(い） Lem による.に ） 極限分布が存在すれば、定常分布が存在するので、正再帰的また、先のLem より周期的ならがいる）は収束せず極限分布が存在しなくなるので、非周期的でなくてはいけない

aTd（大数の強法則）（極限分布の存在は仮定しない）
既約かつ定常分布たが存在するとき、R がf : I
炁 I f（ り け い ）< e （つまりた、[If( i ) 1 ] < a )なら、六点f (Xた） - ） E T H
品連鎖

「1積分]

（9.

x

大数の強法則により、MCMC 法が正当化される.

確率数理工学12̲mod12 / 12