❤

確率数理工学にーー

再帰性と到達日咀（平均到達時間と平均再帰時間）mini。）=状態 it{から jEへの平均到達日椚

k P( T j k=| X ☹ ） = E 1万 1X。=i ]( i f 附くかどう）=1）(otherwise)( T j = int I nの 1 X n j } ）=main)を平均再帰時間と呼ぶ
が一同甠（正再帰性）が再帰的なとき、岬やmini)<oうが正再帰的| が零再帰的なiman（非再帰的なら自動的に m に ☹ にa=。

である）

で三鬱鬱鬱鬱..𣟧蟵が副孿懋鬱.
-

確率数理工学121 / 12

平均到達時間の計啠.it?時刻にた倒善との後にえへ到達（うmに は ） = P（うま）×1+高Pた）|tym いう） =1 ttmlk.
う））

んかうたに行ってからうから へ I stepで到達I t

j に到達するのに必要なstep数（うた） m （たま）P㐂じ がっ）t 臿 P（うた）=臿 Hi.た）= 1 ）この方程式を各j ごとに解く.

うとすれば平均再帰時階でも求まる。

i

解が一意でなければ最小の非負解（いこう））がそれになる-_⑧I I（証明は与えないが、補足資料の吸収確率の計算と同様に示せる.）（吸収確率）

i:非再帰的な状態
で 再帰的な状態 も分解定理より、ある再帰的な既約成分に含まれる）
えからすへの吸収_確_率 d

I I

照からのを含む再帰的な同値類への到達確率

i が再帰的かつ i →う な ら f には）=1である。

前田の講義資料より、 （のう）=1ですが再帰的になることは示せている

f

よって、

j → i が.うは再帰的なので、 再び同じ議論により、 f なるに1でもあニ ） このことから、る，ぼには）で. Hi.う）=f （こう'） がわかる。

（うに到達すれば必ずおにも到達するL .

'シきたないりき
製 奥再帰的同値類
Hi.の確率数理工学12逆もしかり）

はページに証明

2 / 12

（参考）にだしな）について. Hi,た）= に.う）になることの証明

fHt.た）=P( T o N i i ) E P（なE たく-=ー）P （なくかい=i )

名を通ってから左に到達す
prob.
る

p（たくかX。こう）哬くa Noこう）= f に.う）

l
たとうと逆にすれば、

I なくi（う，た）=1f （うた）E f は.た）も得るので、 f hた）=flaky

吸収確率の計算方法
ーC（がまを含む再帰的な同値十𥫣 （閉かつ既約）

非再帰的な元の集合

T :うた）f （たま）十f (i.う）二品。 PC

E C （ま）た{たここで岳E E C くう）-Tなので、Hi.た）HE.う）+高邰きf a nはf は、う）= I

f （うう）= 彘， R i k ) t

= 。

た）性）

（分解定理）

（たま）
Hi.た）
fE,

この方程式を 解けば良い.

（なという）については H i ,j'）=f （うま）とする）

解が一意でない場合は最小の非負解がそれ2なる.

ー

確率数理工学12ー

3 / 12

❤

亜

ギャンブラー、-oの破産確率
o.

（破産）

q

石隺率 P で t 1 万 円

pn6- .

8 で - 1"万円

所持金0で破産

資産i から始めて破産する確率を求める
d oに1，aにtho)）(i)：んから始めて破産する確率

方程式：

q aにり

a (i)= palm) tdo)=（に1.2、-.-）

1p l a n ) - a（う）]= q [ a ( i ) - aにリ]
a に） ={aP 信）「a t( i ) =( Pキ9）
した9=主）

ftp.i

k . あるd.PER を用いて書ける.

(i)

pのとき

（とう）

o Each) E l

よって d o ) = 1 から d = 1t

( i i ) P = 9 のときなので9に）=1Id o ) = 1 より の二 I で(III)P > 8 のとき

ia に）=1必ず破産する.

eで a に） →→にもなくば9た）で言い（な）より

やはり f = 0w

P= 0

必ず破産するoO f a （う）Eより人(h)である。

一方、 d = 0 で a （0）=ド = 1f

よって 最小の非負解は d=0， P= 1 で達成される。

つまり、（う）=（ま）aでe

確率数理工学12t

運が良ければ破産しない
4 / 12$#

直 （平均再帰時間の性質と 正再帰性の条件）
任意のでるに対し、

橋 市

e

P"では

特にうが正再帰的 なTmは、かくか））=-_-到達確率いる）

m はま）が平均再帰時間

品方言P"'は、j ) > 0（湖はCornF )直感的な興 で郎"どう1は"から出発してのステップ目までに平均的にまに滞在していた時間の割合"である→

mなの時間後にまに戻るので、まず、うからうへ到達する確執（うら）.うに到達したら、平均的に高いの割合でるに滞在していることになる。

Iyが既幽あるとする..

（I) まが正再帰的なら はE I に対想え部になる） .した。>o=（ii) うが零再帰的なら. h e I においてO橋 が（こう）-二( H : I が既約で.うが再帰的なi f
I n C i ) は T h mより示せるi )（うまに1であることはすでに示している.

は 自明ではない. 証 明 は 省 略 .

(Thanの Proof)
Z n={b 毖望らE l N j( n ) I X。=i ] =）←とする.

時刻hまでにうにいたN j（が臿Z た回 数とする.

E E l Z E N . =i ] = 臿Pは'(i.う） に注意する.

（l) まず えこうて考える (X。こうこう）なん） を状態うた を固めに訪れた時間とする （だなint{に11NjmZEDTj'"=0 とする、
確率数理工学12

そんなんが無ければとする

5 / 12

t h e だたなば）

すると、とする。

大数の強法則よりよって、h は独立同一分布に従う. (Mark.性）

聖 = t t h t k a s tば かs

E H , ] = E [な1どう]=m は、ま）とこれはまた、 可は）の定義より TCNが " E n くな（似"""m はまたゆるす）なので鬱 䯊 鬱 ・ 鬱

、前田資料より.

である（a)ここでるが再帰的であると仮定すると N j( n ) →よって、（b) 一方、NaF)'sm（する）(as.）( i i ) i t j のとき.

𡏄=芸+-でもあるので、(as.） を得る.

な.j )mた た き た t i s しな
_Lei

なので.

( a .S.）である。 一方、 うが非再帰的なら、mは、う）=

君川 →はならない(as)

うが非再帰的なら P（想N j( n ) は 1 X。=j ) = 1F g(jig)

表明 ー ー つ かもた-

（ だa )い（なか(T,=）TE（i).(i)より、いずれにしても炭， ->{M!う）( i fT e a )(otherwise)Cas.）

N a t s m1が11万人が ( a s )確率数理工学126 / 12両辺の期待値をとれば、ルベーグの優収束定理より

桔すだがいる）= 1稿三（興 N i i ]傴 興 lx。=i ]=E=E 1𤹪，11なくがけ。こう=Tj]

fP G a l X。=i ) = 型m 的）.

定常分布と極咀（定常分布）T =（たい）， T H . . . . ） ：下が定常分布I毧た/ /上の分布（た（うに産でいたうり：平衡方程式※咀xMarkov連鎖で更新しても分布が変わらない.

（定常分布が存在するとは限らない）（極限分布）（石は初期分布）た（うに E た。(d)がいる）
下がtdt

任意のーーたに対し、

t i n（極限分布が存在するとは限らない）

稿 IP"'=IPた

確率数理工学12

極限分布

'☹ ）

（う） =（まT ）（なEI)の離散分布なので法則収束）/という形をしていなければいけない.
4石（う）=(Oo....，0.1，0，0，-_-）とすればわかる.

7 / 12

#。極限分布が存在すれば、それは一意的な定常分布である.

N Iit チェックせよ.

定常分布が存在しても極限分布が存在するとは限らない.

。

な例

た（註）， p =(Y'。） 下1になり、不は定常分布の、。

しかし、昨1！。，！！蠶，周期性がある→T o =（10）とすると、大にしたり、ー鼺鬱
ーで収束しない、極限分布は存在しない.

-T I （マルコフ連鎖の定常分布）

マルコフ連会員は 既通であると仮定する。

すると、以下は同値が正再帰的に） 全てのー E I が正再帰的ーま（I) ある j E I（ろ）で、何より正再帰性はクラスの性質）定常分布たが存在する。

（l).に1.13）のもと、定常分布は一意に定まり、たま）=で与えられる.

凸h t & P"（する）= 不，'。。

（まからすに戻ってくるまでの平たる時 なる）
mt
間

正再帰的なまに対し、M ( i ) = &= O P( X n= ☹ ， な >nnとすると.

たのに 器，|x=うに平均的に痾の割合で滞在）j)まるを出発に再び2に戻るまでにどれくらいえにいたかは定常分布になる。

m（工の既知性は仮定していない、定常分布は一意とは限らない）
確率数理工学12（た（う）はまを出発してるに戻るまでに、どれくらいにに滞在していたかを表す）

8 / 12

(Lem の Proof) まずµ（う） = p （どう，な>o l X。=j ) = 1 である
また、 垚 M i )( P（たくかたう）=1にも注意）=& E P （たん.な>n | X i j )INT>n Mir)
= & H T ? I がる）=n=

E [ T.g l X。=j ]=m （おう）

なので.
では確率分布になる.-FM?.i)=PNe=i.Tj7llXo=ま） とすると、F M（う）（i)FT'か（うん） Pいた）

E（た）なら良い、P( i ,k ) =である。 右 辺 = M

M の定義より（たキシのとき）ET"'（う、i ) Mink)

=
=

=
=

ここで.

（ii)

E H X i n , た >l . X e i た I X。こう）P （た>l、 X e i た I X。こう）P ( T . p l +1， Xeい た I X。こう）FM"（うた）（右辺）= M k )Eはすぐわかる。

ぐうきた）（うきたに注意）（たまのとき）上と同様にE T ) は .'d ) P(i.た）

==

このとき、

確率数理工学12=E P ( X i i , な >e , Xen！ I がる）
P （た=1+1 1X。=j )☆（右辺）= P（ な <o | X 。 =j ) = 1 =1（う）

y9 / 12(Proofof Thin)（2）→ （ 1 ）は明らか.

（I) -）（2）はE Iを任意に取る. るE I は正再帰的であるとする

既約性より. i
よって、ヨを，

mt

I NでEj である。

PG)（う.う）70. PCM)（すえ）>0 より.

たん.it f i s t EP"'(iii)f i Fi、 当 一作）には）E

P"（する） に）は☹）、> 。

p> o𤇾部_がない感祜部になる=>>ocnn11.

E）E亠 > 0om （うかな り えは正再帰的.

たまは正再帰的.
mの性質より）

なが正再帰的なう。直前の Lemより（2）→（3）ある定常分布が存在する.

（3） 一つに）既約性より、定常分布のに対し.た（う）>0なようについて.に G I でないん であるよって、あるM E I N で M Y うう）>oとできる. よって下に）=となる。

FT

一方、（う'）が）は！i に大（ま）がない）70「うEIにおいてでは）=方言(E では） p
Te（たま））n（： 《=大（ま）， T は定常分布なので）

=

E T

後収束定理

確率数理工学12一工 をした）
EPM(kia)）にEIた（た）で☹= T i10 / 12となるので、T（うになるが成り立つ、か）これとたくう）>0を合わせると、

l e n > 0 2ある。

mは.の

よって、

m は、かくか、つまりまは正再帰的.

（一意性） 上の議論で、たまに なるか）が言えてしまっているので、一意性も示されている.

x咀 （周期性）

この周期 dCi)= ド( i n ) s o

凸i ←->

j_なら dに）=d （う）

なる M I I の最大公約な久（周期はクラスの性質）（極限分布の存在条件）-マルコフ連全員が既約であるとする。

正再帰的 な連鎖が {非周期的N I

極限分布頲

=の極限分布は定常分布で 不 は ） = t
𦹀帰的な定常分布が存在で与えられる.

.

凸既約で正再帰的なマルコフ連鎖が非周期的ならもう.うE

IhでPG)(i.う）=☹_=たくう）（定常分布）.

周 期 的 ( dには2）なら. PG)(i.う）は収束しない（証明は、カップリング法による.補足資料を参照のこと）

確率数理工学1211 / 12

(Proof o f Thin)(い） Lem による.に ） 極限分布が存在すれば、定常分布が存在するので、正再帰的また、先の Lem より周期的ならがいる）は収束せず極限分布が存在しなくなるので、非周期的でなくてはいけない

aT d （大数の強法則）

既約かつ定常分布たが存在するとき、 （極限分布の存在は仮定しない）
f : I → R が 炁 I f（ り け い ） < e （つまりた、[If( i ) 1 ] < a )なら、六点f (Xた） - ） E T H
品連鎖

「1積分]

（9.

x※ 大数の強法則により、 MCMC法が正当化される.

確率数理工学1212 / 12