確率数がエ

マルコフ連鎖の重要な性質

・既約性
・再帰性・正再帰性・周期性

興味の興

平均再帰時間-収-

平均吸収時間極 限 分 布（定常分布収束？

-

以降で、これらを調べる

既育進

咀（到達可能性）

I=10.1.2....｝：状態空間

o 状 態j eI n 状 態i f Iから到達進

越o In cos t

P" という）>o（pco）（in）=1，が（ううぱはな）
は"Toう と う が 相 互 到 幸 學
村やえーうかつるーっう（定義よりiii）
確率数理工学11ンと書く.

noも入ってる.

か国と書く.

/ /1 / 10した（推移的）んーる，jいたならinたもチェックせよ.

y型（相互到達可能性の同値関係）

反射律（2） 対称律：
（I）

（う）

：

うくーいたi

推移律： i<（n=0でがない=1>o）

う かj e s i>う ， う い た

i> た（証明は各自で示してもらいたい）

1生

集合 B c I が 既 通 （irreducible)

H e なるGBがえくーつる をみたす。

特にI（状態空間全体）が既約なら、そのマルコフ連鎖は既約であると言う

甠

集合Bc Iが閉じ（closed幽 なd B，なGBに対し、
i + >う匤（同値類の例）

たい州に0 1001（1tartに1，pair.Do）
確率数理工学11である。

）（13内から外に出れない）

た。※
く 鬻

< ⑦ーー既約
だが、閉じてない.

2 / 10再帰性-̲-

阯（初到達時刻）

状 態 が I への初到達't̲これは確率変数T t i nf { n21| X n j }=ただし、 UnE l で X n キラならT=とする.

f （うか= P（たくかどう）= I P （な=n | x。=i) ：到達確率ー

甠（再帰性）

らが再帰的 Edt f なん）=1らが非再帰的越think INj（必ずいつかは帰ってくる）「和来ないかマルコフ連全員が時刻に1.2.... でるを訪れる回考aえ9には）：= P( N ; - o l X o =Than-ーん が 再帰的iが非再帰的（無限̲回訪れる確率）i )⇐）9に.う）= I>gain)=0gli.え）は0かI で中間はないTear

確率数理工学11/3 / 10

Proof-「初到達時刻の方法」：なの値によって事象を分割
P (N: Z n I X。こう）=高PCMZ n には、X。=j ) P（たた俗のT

時刻たで初めてうに到達& P( N=nI た = k ) P したた八にま）（：Markov性、時刻たでえにいるので、その前のことは忘れて良い）= & PC M z n t l X i i ) P （たFIX 。こう）

（時刻たと時刻0とおきかえる。すでに1回うに来ているので.

N i のカウントを1つ減らす）

P( N j z m l x i i ) E P （たた1にま）は、i )f（たくIx。=j ) =
P

=

=i=

P(Nja t IX。こう）f

P( N i z ut h z

こ こ で うこうとして.

8ない）=
11Il x - え ） f た が" f なん）e dM- ）やとすれば

橋 PCNjz.nl x i )=11P （だがいN o
確率数理工学11（すう）こう）==|ff （うん）が.が'ば"" ）(Ht. ん）=1）/4 / 10

Iんが再帰的なX。=j のときZntとする。にFp>(i i ) =.

しない(Xn#i).
N i - E z n であることに注意する（うと話すれる回数）

洋調収束

このとき

E [ E Z u IX。=i ]=F E [Znlx 。ここに Iが（うん）

一方で、 この左辺は次のようにも言平価できる：

E[ I Zn IX i n ]==E [ N 1 1に う た
6

E lたE1N Nick}1が I

E P ( N i s hN i i )た1=首 Hi.いた が前の定理の証明より
よって、

確率数理工学11が再帰的⇐）fainに I t&がないに

g5 / 10

区（ランダムウォーク）

1回の推移で右に移る確率：p-

1回 のP(Mt'' （O.O ）=0

Pに"（o.o）= （別pnqn=(n回右の回左）Stirlingの公式よりPah）（o.o)Es左s

ここで、 4 P G E 1

た8ニシのときE pGn）（o，。）=

で、なので、 以下をえる.

are再帰上（ii) ptqの と きEpに"（o.o）くなので

p=q=上のときのみ

488 斗（i）

1-p=S器，phqn

n！三辰がなど"

（し、答：

it

非再行連
4人。

.

確率数理工学11

2次元格子上のランダムウォークは再帰的（対称性は役割

3次元以上だと非再帰̲的

6 / 10-既約性と 再帰性血い）状態のが再帰的かつえいう なうえも再帰的に）有限で閉じた集合A では再帰状態が少くともには

存 在.

Proof-H i . i ) = 1 を示す （特におう）（1）まずらが再帰的なのでがんに1である。

えっるより、あるうこう。，
i......にうなる経路が存在してP(t.dz)-̲-Pにいる）>0（うえ、）pとできる。 今、たからうへ至り、うからんへ2度と戻らない事象を考えると.
0 =1 - H i i ) ？ H i , i. ）-̲-P 仙 は ）( t fは、i D（えに戻らない）f （えん）=1以上より.
すると、

ihe0lTである。

hee2からうに戻らないが！

うである。

tある m . n o が存在して、PCm) に.う）>o ,で& paint

PC" （しん）70た）は、う）と& が）は、う）P はどう）がなる）=がない（燄はない）がたま）
一

確率数理工学11>e

よって、うは再帰的.

=> 。

o、= 。 一>oたんは再帰的）/7 / 10

に） 全てのh e A が非再帰的として、矛盾を導く。

前の定理の証明より. なE I に対し、

E l N i N。こう]=I f に.が f は、いくである。よって、A が有限であることよりo f

臿 E l N i lX。こう]=E [ 高 MIX。こう）であるが. A は閉じているため、常にその中に状態Xn はとどまるので、 前、N : = かとなるので、矛盾する.

y

巫

集合A が有限で既約かつ閉なら、A の会い状態はにLem のに）より、A 内に再帰的な状態が少くともI再帰的である.

つは含まれる。それをえとする. A は既約なので、なGAに対し、えっう である. うが再帰的なので、Lenいうより沖再帰的/正（一致団結の性質）

同一の同値類に属する状態は全て再帰的か、全て非再帰的かのいずれかである.

yに Lemじ）より、ほぼ自明）
ー

確率数理工学11ー

8 / 10直 （既約成分への分割）

下 に は I う E I でえーっう だがみつう）消滅部分
既約閉再帰的R F " Rュとすると、

I - T=( R i n Rj=中 には） p,、

R u Rw-̲-と分割できて、各 R t は̲既約が国.

さらに. I曜、x消滅部分う）=12|i う）
を と っ て き2.CCとおくにから到達可能のG T より、任意のi t
よって、〇が有限なら全てのR k は再帰的のE I T

つまり.

シ。〇，な領域）

うなように対してる んである。

なE C G ) は え か う である「たl E C C う）は. た つう. lでもある。

すなわち、C くん）ってであるので、 f e e d

は 既 約.

j ECG) として、なぜなら、さらに、C （う）は閉であることがわかる。

あるK E I に対して、 まーったであるとすると、えっるであることからえーったとなるので、 k E C G ) である。 つまり、C （う）は閉.

以上より、CG) は既約かつ閉.
このようにして、各i G E T

は既約が閉な集合
C (i) にに関するC （う）が.（(Dnc含まれている。もし、別のChit
JEETをみなすなら、 i
よって、tうも成り立つので. （（う）=（くう）である。

ま た R uRu-̲-と分割できる。

Re は再帰的
最後に.I が有限なら各R tも有限なので、も前のy確率数理工学11Thinより

9 / 10P=齲""ii がた：：：鬭
"R,R2

B . . . RN T

rQ ,e Q-z ̲ --̲ --O N S-̲--̲-on

T は消滅部分(dissipative point)と呼ぶ。
T は 前の補題より.h eT

は非再帰的（えが再帰的なら、おうであるとみたとなり、
i 4 T

確率数理工学11となる.）

10 / 10