マルコフ連鎖

マルコフ連鎖とは、確率過程の一種であるマルコフ過程のうち、とりうる状態が離散的なものをいう。また特に、時間が離散的なものを指すことが多い他に連続時間マルコフ過程というものもあり、これは時刻が連続である。}}。マルコフ連鎖は、未来の挙動が現在の値だけで決定され、過去の挙動と無関係である。各時刻において起こる状態変化に関して、マルコフ連鎖は遷移確率が過去の状態によらず、現在の状態のみによる系列である。特に重要な確率過程として、様々な分野に応用される。

1. 定義
-----

マルコフ連鎖は、一連の確率変数 //X//1, //X//2, //X//3, ... で、現在の状態が決まっていれば、過去および未来の状態は独立であるものである。形式的には、

//X//i のとりうる値は、連鎖の状態空間と呼ばれ、可算集合//S// をなす。マルコフ連鎖は有向グラフで表現され、エッジにはある状態から他の状態へ遷移する確率を表示する。

マルコフ連鎖の一例に有限状態機械がある。これは、時刻//n// において状態//y// にあるとすると、それが時刻//n//   +   1 において状態//x// に動く確率は、現在の状態にだけ依存し、時刻//n// には依存しない。

'//時間的に均一な'//マルコフ連鎖とは、すべての//n// に対し

であるような過程をいう。一般の、時間的に均一でないマルコフ連鎖は、この等式を満たさない。

2. マルコフ連鎖の性質
------------

初期状態//i// から時刻//n// で状態//j// に移る確率は、

で定義され、単一段階の遷移は

で定義される。//n//-段階遷移は、任意の 0<//k//<//n// に対して次のチャップマン・コルモゴロフの等式を満たす：

時刻//n// での状態に関する確率は次のように書ける：

ここで右上付き添え字 は整数値である。もしマルコフ連鎖が時間に対して定常的ならば、この添え字は"n乗"という意味にとってもよい。

2.1. 可約性
--------

いま状態//i// にあるとして、未来のある時点で状態//j// にある確率が 0 でない ならば、状態//j// は状態//i// から到達可能 といわれる。つまり次のような//n// があるということである：

状態//i// と状態//j// が互いに到達可能ならば、状態//i// と状態//j// は連結しているという。状態の集合//C// のいずれの対も互いに連結しているならば、//C// は連結類という。連結類を出る確率が0ならば、連結類は閉じているという。つまり//i// が//C// の要素であり//j// がそうでないならば、//j// は//i// から到達可能ではない。

状態空間が連結類ならば、マルコフ連鎖は既約という。つまり既約なマルコフ連鎖では、任意の状態から任意の状態へ移ることができる。

2.2. 周期性
--------

状態//i// への回帰が//k// の倍数回のみに見られ、しかも//k// がこの性質を持つ最大の数ならば、「状態//i// の周期は//k// である」という。例えば、//i// への回帰が偶数回目にのみ起こるならば、//i// の周期は2である。 形式的には、ある状態の周期は次のように定義される：

//k// = 1 ならば、状態は非周期的であるという。連結類の各状態は同じ周期を持たねばならない。

既約なマルコフ連鎖は、状態が非周期的ならば、エルゴード的という。

2.3. 再帰性
--------

状態//i// から開始するとして、「決して//i// には戻らない」確率が 0 でないならば、状態//i// は一時的という。形式的には、確率変数 //Ti// を次に状態//i// へ帰る時刻：

として、「//Ti// が有限でない」確率が 0 でないならば、状態//i// は一時的である：

状態//i// は、一時的でないならば、再帰的という。

到達時間が有限でも、その平均値が有限であるとは限らない。

2.4. 定常状態と極限分布
--------------

時間的に一様なマルコフ連鎖で、過程が時間に依存しない行列 で記述でき、ベクトル //π// の要素 //πj// の和が 1 で、次を満たすとする：

この場合には、ベクトル //π// を定常分布という。既約な連鎖は、そのすべての状態が再帰的ならば、またその場合に限り、定常分布を持つ。この場合、//π// はただ1つで、再帰時間の期待値 //Mj// との間に次の関係がある：

さらに、連鎖が既約かつ非周期的ならば、任意の//i// と//j// に対して

となる。ここでは初期分布に関して何も仮定していない。つまり連鎖は初期の状態によらず定常分布に収束し，これを連鎖の均衡分布という。

連鎖が既約でないならば、その定常分布はただ1つに定まらない。しかし、状態 //j// が非周期的ならば、

であり、他の任意の状態//i// に対し//i// を初期状態として、連鎖が状態//j// に到達する確率を//fij// とすると、

となる。

3. 有限状態マルコフ連鎖
-------------

状態空間が有限ならば、遷移確率分布は行列で表現され、これは遷移行列と呼ばれる。この行列Pの第要素は

に等しい。さらに、マルコフ連鎖が時間的に均一、つまり遷移行列Pが添え字//n// によらないならば、//k//-段階遷移確率は遷移行列の//k//乗、つまりP//k// と書ける。

定常分布//π// は行ベクトルで、次の式を満たす：

言い換えると、定常分布//π// は遷移行列の正規化された左側固有ベクトルで、その固有値は 1 である。

もしくは//π// を、行列Pに対応する単位単体上の線形変換での不動点と見ることもできる。単位単体上の任意の連続変換は不動点を持つから、定常分布は必ず存在するが、一般にただ1つであるという保証はない。しかし、マルコフ連鎖が既約かつ非周期的ならば、定常分布πがただ1つ存在する。

さらにP//k//が、各行が定常分布πであるような行列に収束するならば、

となる。つまり、時間が経つにつれてマルコフ連鎖は、初期分布に関わりなく、定常分布に収束するということである。

マルコフ連鎖は、次で示される//π//：

が存在するならば、可逆であるという。可逆マルコフ連鎖では、//π// は常に定常分布である。

マルコフ連鎖の特別な場合で、遷移確率行列の行がすべて同じであるものを、ベルヌーイ系という。これは次の状態が現在の状態からも独立ということである。さらに可能な状態が2つしかないベルヌーイ系が、ベルヌーイ過程である。

4. 連続時間マルコフ連鎖
-------------

連続時間に対するマルコフ過程は、微小な時間変化//h// を用いて次のように定義される：

ただしここで//o// とは、//h// が0となる極限で//h// より速く0に近づく項を表す。またここで//h// = 1とおけば、普通のマルコフ連鎖と同じ形になる。

この連続時間マルコフ過程から離散的に取り出した系列が、連続時間マルコフ連鎖である。

5. N階マルコフ連鎖と単純マルコフ連鎖
--------------------

次の状態が現在を含めた過去N個の状態履歴に依存して決まる確率過程を、N階マルコフ連鎖という。 これに対して、N=1の通常のマルコフ連鎖は単純マルコフ連鎖と呼ばれることがある。

N階マルコフ連鎖は、形式的には次のような確率過程である。

どんなN階マルコフ連鎖も、N個の状態組を新たな状態空間とすることによって、単純マルコフ連鎖として表現することができる。 このため、単純マルコフ連鎖で成立する性質は、N階マルコフ連鎖でもそのまま成立する。

6. 応用
-----

マルコフ系は物理学、とりわけ統計力学にしばしば現れる。ここでは、力学が時間に対して不変であると想定され、また履歴を考慮する必要がないと想定される場合に、詳細が不明またはモデル化できないために確率過程が用いられる。

マルコフ連鎖はまた待ち行列理論や統計学でモデル化に用いられる。

クロード・シャノンが情報理論を創始した論文"A mathematical theory of communication"では、マルコフ連鎖を利用してエントロピーの概念を導入している。さらにこのような方法は、データ圧縮やパターン認識に応用されている。

マルコフ連鎖は強化学習でも重要である。

Googleに使われているPageRankもマルコフ連鎖によって定義される。

遷移確率が初め不明でデータからそれを見積らなければならない場合には、隠れマルコフモデルが用いられ、これは音声認識やバイオインフォマティクスにも広く用いられている。

7. 脚注
-----

7.1. 注釈
-------

8. 関連項目
-------

マルコフ過程
マルコフ決定過程
マルコフ再生過程
マルコフ連鎖モンテカルロ法
アンドレイ・マルコフ
隠れマルコフモデル
人工知能
ベイズの定理
マスター方程式

9. 外部リンク
--------