確 率 数 理 再帰性と到達の一
咀（平均到達時間と平均再帰時間）
mini。）=状態うからうへの平均到達時間ーt） 点 k P(Tj=k|X|oー）=E1万 1X。=i" 行くかとなり、，，（Tj=inﬁ n a l Xn=j｝）］"(otherwise） ̲f には）""' を平- 均
̲再- 帰間，、 呼 ぶ品

甠（正再帰性）が再帰的とする。このとき、岬やm(in）<o| i が零再帰的なmain）=
うが正再帰的（非再帰的なら自動的にmいん）=である.）

再帰的豳時間が.
で非再帰的：再帰時間が無限になりうる.
邈.it？？-！麤
確率数理工学12 (2022)

1 / 12

.it？時刻にた倒長との後にえへ到達高P（うた）
平均到達時間の計啠
mには）=P(t.ir ） 1+t

うからy へIstep で到 達mいう） =I tftmlk.
う））

んかうたに行ってからjに到達するのに必要な知数

1 t 㐂P（うた）m（たま）じ がっ）t 臿P（うた）=臿Hi.た）= 1）

この方程式を各jごとに解く.
iうとすれば平均再帰時階でも求まる。

解が一意でなければ最小の非負解はいい）がそれになる
-̲⑧

I I

（証明は与えないが、補足資料の吸収確率の計算と同様に示せる.）（吸収確率）

i： 非 再 帰 的 な 状 態
で再帰的な状態 も分解定理より、ある再帰的な既約成分に含まれる）

えからすへの吸収石屋-.- 率d からのを含む再帰的な同値類への到達確率

I I

照

まが再帰的かつj j'なら f は、お）=1 である。
前田の講義資料より.Hi,if I ですが再帰的になることは示せている
よって、

j'f はなに1でもあなかっ.では再帰的なので、再び同じ議論により、る，ぼには）で.

ニ ） このことから、Hi. う）=f（うか）がわかる。

は" な隨再帰的
製シズ前に 同値

（まに到達すれば必ずおにも到達するし、逆もしかり）

はページに証明

類

確率数理工学12 (2022)

2 / 12

（参考）はEC （う）について.Hi ，た）=f（うら）になることの証明

Ht.た）=P(To Nii）？ftp.eETeeggl なくせ）P（なくかい=i）
いさい

名を通ってから左に到達するがん=な籅）哬くかどう）
=がい

Hi，た）
たとらを逆にすれば、 Hi，た）Ef は.た）も得るので、

ー吸収確率の計算方法=f(i,j ）/ーC（がまを含む再帰的な同値十選 （閉かつ既約）
T ： 非再帰的な元の集合

E Yimf（たの十岳payf（たま）+EP に.た）性は）
たEIC は）-T
騃！！たf は、う）=1
たEC （ま）（分解定理）
が、
fa i r ，= uf（のう）=

ここでなので、f（うう）= 臿、，Ri. た）tE,Hi. た）f（あま）ニ ） この方程式を角平けば良い（vg.ecm n u z Hi,j' ）=f には）とすれば良い）解が一意でない場合は最小の非負解がそれ2 なる-̲-確率数理工学12 (2022)

3 / 12

亜

ギャンブラーの 破 産 確 率で所持金た産雚た。. . . 式 確 率8で十万円

（破産）

万 円

資産iから始めて破産する確率を求める
do に1，a(i）：んから始めて破産する確率 にtho））

方程式：

a ( i ）= p a l m ) t

q a にり（には、-.- ）p信）「（P#9 ）1do）plan）-a （う）］=q[a(i ）-a にリ］=

f a に）|

a t=した9=主）

ftp.ia(i ）=k . あるd.PER を用いて書ける.

（i)

pのとき

o Each)El（とう）より

P=0よってdo）=1 か ら d = 1 なので91 う）=1

we 必ず破産する（ii) P = 9 のとき

O f a（う）E I

やはり f = 0（III)P>8のときia に）=1必ず破産する.

e（もう）よりdo）=1 より の二I でwにもなくば9 た）で言いで a に）（h )人 である。

一方、i=0 で a （0 ）=ド f=1

よって 最小の非負解はd=0， P=1 で達成される。

つまり'am=（がe確率数理工学12 (2022)

t

運が良ければ破産しない
4 / 12

直正再帰性の条件）（平均再帰時間の性質と任意のでるに対し、無言&Phi,j）
特にうが正再帰的なTm は、かくか）と譽に到達確率の，=が平均再帰時間

島方言P"' は、j）>0（湖はCornF ）" である
直感的な興 で郎" どう1は" から出発してn ステップ目までに平均的にまに滞在していた時間の割合
まず、うからうへ到達する確執（うら）.うに到達したら、mなる時間後にまに戻るので、平均的に高いの割合でるに滞在していることになる。

I が既製あるとする.
（I） まが正再帰的ならに EI に 対

ys o
ht部になる） .した。，=. h e I において(ii） うが零再帰的なら

二O 橋（H:が（こう）I が既約で.うが再帰的なら、
f（うまに1であることはすでに示している.

I n Ci）はThm より示せるi ） は自明ではない. 証 明 は 省 略.

（Than のProof)

Zn=｛f 毖望らE l Nj(n)I X。=i］ =とする.

）に時刻のまでにも甾巌Nj（が高Z た とする.

E E l Z E N . = i ］= 臿P は'（i.う） に注意する.

（l） ま ず えこうて考える （X。こうこう）なん） を状態うたを固めに訪れた時間とする（だなint｛に11NjmZED

Tj'"=0 とする、
確率数理工学12 (2022)

そんなんが無ければ とする

5 / 12

theだただたり とする. すると.tk は独立同一分布に従う. （Mark. 性）
よって、大数の強法則より

聖 = たけたでた學，器 EH，］=E［な1どう］

また、 なかの定義より だな""En くな"" が川=mは、ま）と憥羅瑩山、なので、礜壬晶く 瑫礜、"噐"である（a）ここでI が再帰的であると仮定すると Nj(n）よって・は（ように1）（as ）品川̲， m（まる） （GS ）（b） 一方、 うが非再帰的ならPCGNj(n）は1X。こう）=1 なので.
Fg(jig ）表明 ー ー つ か（a.S. ）mは、う）=である。一方、うが非再帰的なら、（ii) i t jのとき、

聖= 芸嶤

でもあるのでmは.j） （as. ） を得る.

君川（i）.（i）より、、前田資料より.

+-がえきた 出しない （なか̲いずれにしても炭，-、>-（たい）｛M なる）（if た<a）（otherwise,MS. ）告白に なっm前，11万人が （as)

確率数理工学12 (2022)6 / 12両辺の期待値をとればルベーグの優収束定理より

桔すだがいる）= 1稿三1坐"'Nii］=

E 傴㔟lx。=i］=

E1=一，高，11なくがけ。こう］.P 何かX。こう） の礜=定常分布と極y咀（定常分布）T=（なり、TH.... ）： I 上の分布

下が定常分布が坿には者がいたうり
た
平衡方程式
x

Markov 連鎖で更新しても分布が変わらない.

咀（定常分布が存在するとは限らない）（極限分布）た（うに E た。（d）がいる）（石は初期分布）はステップ目にどの状態にいやすいかを表した分布）

下 が t d t 任意のーーなに対し、

htn（う） =T は）（極限分布が存在するとは限らない）

h P"'=IP'た

極限分布
確率数理工学12 (2022)）（なEI）

4 離散分布なので法則収束）/という形をしていなければいけない.
4 石（う）=（Oo.... ，0.1，0，0，-̲- ）とすればわかる.
7 / 12

N I。極限分布が存在すれば、それは一意的な定常分布である.
it チェックせよ.

。

定常分布が存在しても極限分布が存在するとは限らない.
な例

p=（Y'①、̲
「2〇1になり、不は定常分布(n：奇数）
しかし、がた［P（り） （n：偶数）

周期性がある

To= （10） とすると.

た=1にい 鼺鬱-̲--で収束しない、極限分布は存在しない

TI（マルコフ連鎖の定常分布）

マルコフ連会員は既通であると仮定する。

すると、以下は同値（I） あ る jE I が 正 再 帰 的に）全てのーーまEI が正再帰的定常分布たが存在する。

（3）にりにはり正再帰性はクラスの性質）（l）.に1.13）のもと、定常分布は一意に定まり、たま）= hで与えられる。

凸h EP" は、ま）= は̲，（まからすに戻ってくるまでの平たる時間mなる）t うに平均的に痾の正再帰的なまに対し、E。P(Xn=M(N=とすると.

割合で滞在），な>n|x=j）まるを出発たのにm器， は定常分布になる。

再び2 に戻るまでににどれくらいでたかにの既知性は仮定していない、定常分布は一意とは限らない）（た（う）はまを出発してるに戻るまでに、どれくらいにに滞在していたかを確率数理工学12 (2022)表す） 8 / 12

(Lem のProof ） まず （う） = p （どう，な>ol X。=j）=1 で あ る（P（たくかたう）=1にも注意）

また、 垚 Mi） =E EP （たん.な>n|Xi j ）= I N T > nMir）= & H T z n I がる）=E [ T . g l X。=j］ =m（おう）

な の では確率分布になるで.
.FM？.i）=PNe=i.Tj7llXo=ま）F M ( N P(i,k ）=とすると、M の定義より

E

FT' か（うん）P いた）.
である。右辺=M（た）ならでは ）は定常分布になる（i）（たキシのとき）ET"' （う、i)Mink）

=
=

=
=

こ こ で.
（ii）

E H Xin，た>l.Xei た I X。こう）P（た>l、X e i た I X。こう）P(T.pl+1 ，Xe い た I X。こう）FM" （うた）E（右辺）= M k ）はすぐわかる。 （うきたに注意）（たまのとき）上と同様にET ）は.'d)P(i. た）

このとき、確率数理工学12 (2022)

ぐうきた）==EP(Xii ，な>e,Xen=！I がる）P（た=1+1 1X。=j）（右辺）= P（な<o |X。=ま）=1 =1（う）

y9 / 12(Proof of Thin）
（2）

（ 1）

（I） - ）（2）は 明 ら か.

I を任意に取る. るEI は正再帰的であるとする

i E

既約性より. i
よって、ヨを，m EtIN でjである。

PG ）（う.う）>0.PCM ）（すえ）>0 より、だれに ﬁ s t EP"（iii)
E ﬁs F i E=礐htfneie
e>

なり
（2）

痴'Tj は正再帰的.

oえは正再帰的.

mの性質より）

なが正再帰的なう。直前のLem よりある定常分布が存在する.

（3）（3） 一つに）既約性より、定常分布のに対し. た（う）>0 なようについて.にGI でないんであるよって、あるME IN で MYj , i D oとできる. よって

70下に）= FT （う'）が）は！i に大（ま）がない）

t.ciとなる.
答e e

熱熱！な？
なEIにおいて分ば布なので）た。元は）にEPM(kia ））表にした）fm
優骨着 は、う）
確率数理工学12 (2022)

10 / 12これと たくう）>0 を合わせると Fj>0 である。

よって、mは、かくか、つまりまは正再帰的. 特にまは再帰的.
既約性と再帰性より、t した。また1作）となり、T（うに なるか）が成り立つ（一意性） 上の議論で、たまになるか）が言えてしまっているので、一意性も示されている。

咀（周期性）

xなるMIIの最大公約な久しま
この周期d（う）=ド（in)so

え >jならd に）=d（う）

T I（極限分布の存在条件）

マルコフ連全員が既約であるとする。

連鎖が｛正再帰 な的非周期的N I

極限分布

この極限分布は定常分布で不は）=t で与えられる.
t

正再帰的なら定常分布が存在.

凸

既約で正再帰的なマルコフ連鎖が非周期的ならもう.うE

I で

ﬁ g PG ）（i.ま）=̲たくう）（定常分布）.

=周期的（d には2）なら. PG ）（i.う）は収束しない（証明は、カップリング法による. 補足資料を参照のこと）
確率数理工学12 (2022)

11 / 12(Proof o f Thin)(い） Lem による.に ）極限分布が存在すれば、定常分布が存在するので、正再帰的また、先のLem より周期的ならがいる）は収束せず極限分布が存在しなくなるので、非周期的でなくてはいけない

aTd（大数の強法則）（極限分布の存在は仮定しない）
既約かつ定常分布たが存在するとき、（つまりた、[If( i ) 1 ] < a )R がf : I炁 I f（ り け い ）< e
なら、六点f (Xた） - ） E T H
品連鎖

「1積分]

（9.

x.
大数の強法則により、MCMC 法が正当化される

確率数理工学12 (2022)

12 / 12