確 率 数 が エ

マルコフ連鎖の重要な性質
・既約性・再帰性・正再帰性・周期性

興味の興-

-

収

平均再帰時間平均吸収時間極 限 分 布
（定常分布

収束？

-

以降で、これらを調べる

既育進

咀（到達可能性）
I=10.1.2....｝：状態空間

o 状 態 j e I n 状 態 i f I から到達進

越o In cos t

P" という）>o（pco）（in）=1，が（ううぱはな）は"To うとうが相互到幸學
村やえーうかつるーっう（定義よりiii）
確率数理工学11 (2022)

ンと書く.

no も入ってる.

か国と書く.

/ /1 / 10した（推移的）んーる，jいたならinたもチェックせよ.

y型（相互到達可能性の同値関係）

反射律

（I）
（2）
（う）

：

うくーいた

対称律：i

推移律：

i<う（n=0 でがない=1>o）j e s iか>う ， う い た

i> た（証明は各自で示してもらいたい）

1生

集合 B c I が 既 通 （irreducible)

H e なるGB がえくーつる をみたす。

特にI（状態空間全体）が既約なら、そのマルコフ連鎖は既約であると言う集合Bc I が閉じ甠（closed幽 なdB，なGB に対し、
i + >う匤（同値類の例）
た い 州に0 1

001（1tartに1，pair.Do）
確率数理工学11 (2022)である。

）（13 内から外に出れない）

た。※
く< ーー既約鬻⑦

だが、閉じてない.
2 / 10酢型

阯（初到達時刻）

状 態 がI へ の 初 到 達 選

Ttinﬀnz.tlxn=j｝

ただし、 UnEl でXn キラならT=「恣鬱競煮ことに注意）とする.

f（うか= P（たくかどう）=IP（な=n|x。=i）：到達劯選甠（再帰性）
らが再帰的Edtf なん）=1らが非再帰的越 t h i n k I
Nj（戻って来ないかもマルコフ連全員が時刻に1.2....でるを訪れる回考え

9 には）：=P(N；-ol X o = i ）直（糙いっかは帰ってくる）（無限1̲回訪れる確率）

んが 再 帰 的⇐ ）9（う.i にIi が非再帰的>

g a i n ）= 0gli.え）は0 かI

確率数理工学11 (2022)

で中門等/

3 / 10Proof-「初到達時刻の方法」：なの値によって事象を分割
P (N: Z n I X。こう）=高PCMZ n に は 、X。=j ) P（たた俗のT

時刻たで初めて

うに到達& P( N=nI た = k ) P したた八にま）（：Markov性、時刻たでえにいるので、その前のことは忘れて良い）= & PC M z n t l X i i ) P （ たFIX 。こう）

（時刻たと時刻0 とおきかえる。すでに1回うに来ているので.

N i のカウントを1つ減らす）

P( N j z m l x i i ) E P （たた1にま）P （たく I x。=j ) = f は、i )==i=P(Nja t IX。こう）f

P( N i z ut h z

I（すう）

l x - え ） f た が" f なん）e dM- ）やとすればこ こ で うこうとして.

8 ない）= 橋 PCNjz.nl x
1111P （だがいN oこう）
確率数理工学11 (2022)

=i )

==|f

f （うん）が.が'ば"" ）(Ht. ん）=1）/4 / 10

Iんが再帰的なX。=jのときZntとする。に

Fp>（i.i）=

しない（Xn#i ）.
N i - E z n であることに注意する（うと話すれる回数）

このとき.

E l Ezulx。=i］=瀧豳で1とジ］=Iがいい

一方で、この左辺は次のようにも言平価できる：

E [ E Zn IXin］=

E[NilとこうたETH Nick}Nil=IP(NishN i i ）二首Hi.いた が前の定理の証明より
よって、が再帰的⇐ f（でん）=I #）確率数理工学11 (2022)

EP（でん）=g

5 / 10区（ランダムウォーク）

1回の推移で右に移る確率：p-

1回のP(Mt'' （O.O ）=0

P に"（o.o）= （別pnqn=(n 回右の回左）Stirling の公式よりPah）（o.o)Es左s

1-p=S

器 ，phqn

n！三辰がなど"（し、答：

ここで、 4PGE1なのでで、p=q=上のときのみ488=1なので、以下をえる.

た8 ニシのとき（i）

E pGn）（o，。）=are再帰上（ii) ptq の と き

Ep に"（o.o）く

it

非再行連
4人。

.

2 次元格子上のランダムウォークは再帰的（対称性は役割

3 次元以上だと非再帰
̲的確率数理工学11 (2022)

6 / 10-既約性と 再帰性

生。再帰性は伝播（1）状態のが再帰的かつ えいうなうえも再帰的

A では再帰状態が少くともにはに）有限で閉じた集合

雄二に熱する！

（閉でも無限なら反例あり）

Hi.i）=1 を示す （特におう）（1）まずらが再帰的なのでがんに1である。

えっるより、あるうこう。，
i......
p（うえ、）P(t.dz ）-̲-にうなる経路が存在してP に灬る）>0

たからうへ至り、うからんへ
2 度と戻らない事象をとできる。 今、

考えると.
o =1-Hii ）？ P'「仙は第"た。荘資らな門（えに戻らない）f（えん）=1 である。
以上より.
すると、

i t うである。

あるm.no が存在して、PCm）に.う）>o, PC" （しん）70
で&paint た）は、う）と& が'（すう）P はどう）がなう）た"鶽が礐の器がい
よって、うは再帰的.

確率数理工学11 (2022)=

じえは再帰的）/7 / 10

に）全てのh e A が非再帰的として、矛盾を導く。

前の定理の証明より. な E I に対し、

E l N i N。こう]=I f に.が f は、いくである。よって、A が有限であることよりo f

臿 E l N i lX。こう]=E [ 高 MIX。こう）であるが. A は閉じているため、常にその中に状態
Xn はとどまるので、 前、N : = かとなるので、矛盾する.

y

巫

A の会い状態は集合A が有限で既約かつ閉なら、にLem のに）より、A 内に再帰的な状態が少くともI つ は再帰的である.

含まれる。それをえとする. A は既約なので、なGAに対し、Lenいうより沖再帰的/え っ う である. うが再帰的なので、正（一致団結の性質）

同一の同値類に属する状態は全て再帰的か、全て非再帰的かのいずれかである.

yに Lemじ）より、ほぼ自明）
ー

確率数理工学11 (2022)

ー8 / 10直（既約成分への分割）に は I う E I でえーっう だがみつう）消滅部分

下とすると、
I - T=既約閉再帰的R F " Rュ

( R i n Rj=中 には） p,、シ。

R u Rw-̲-と分割できて、各 R t は̲既約が国.

さらに. I曜のE I〇 ，〇が有限なら全てのR k は再帰的、x消滅部分う）=12|i う）をとってき2.CCとおくにから到達可能な領T域）のG T より、任意のi t うなように対してる んである。
つまり.

なE C G ) は え か う である

よって、 「たl E C C う）は. た

つう. lfeedってであるので、でもある。 すなわち、C くん） は 既 約.

なぜなら、j ECG) として、さらに、C （う）は閉であることがわかる。

えっるであることからあるK E I に対して、まーったであるとすると、えーったとなるので、k E C G ) である。 つまり、C （う）は閉.

以上より、CG) は既約かつ閉.
このようにして、各i G E T

C (i) には既約が閉な集合含まれている。もし、別のJ E E T に関するC （う）が.（(DncC h i tをみなすなら、 i
よって、 まtうも成り立つので. （（う）=（くう）である。

た R uRu-̲-と分割できる。

最後に.I が有限なら各R tも有限なので、Re は再帰的 yも前の確率数理工学11 (2022)

Thinより9 / 10P=齲""ii がた：：：鬭
"

R,

R2

B . . . RN TrQ ,e Q-z ̲ --̲ --O N S-̲--̲-onT は消滅部分(dissipativeT はpoint)と呼ぶ。

前の補題より. h e T は非再帰的（えが再帰的なら、おうであるとみたとなり、
i 4 T

確率数理工学11 (2022)となる.）

10 / 10