マルコフ連鎖
さらにPが、各行が定常分布πであるような行列に収束するならば、
lim k → ∞ P k = 1 π {\displaystyle \lim _{k\rightarrow \infty }\mathbf {P} ^{k}=\mathbf {1} \pi }
(ここで1はすべての成分が1である列ベクトル)となる(ペロン・フロベニウスの定理)。つまり、時間が経つにつれてマルコフ連鎖は、初期分布に関わりなく、定常分布に収束するということである。
マルコフ連鎖は、次で示されるπ:
π i p i , j = π j p j , i {\displaystyle \pi _{i}p_{i,j}=\pi _{j}p_{j,i}}
が存在するならば、可逆(reversible)であるという。可逆マルコフ連鎖では、π は常に定常分布である。
マルコフ連鎖の特別な場合で、遷移確率行列の行がすべて同じであるものを、ベルヌーイ系(Bernoulli scheme)という。これは次の状態が現在の状態からも独立ということである。さらに可能な状態が2つしかないベルヌーイ系が、ベルヌーイ過程(ベルヌーイ試行を連続して行うもの)である。
マルコフ連鎖は、一連の確率変数 X1, X2, X3, ... で、現在の状態が決まっていれば、過去および未来の状態は独立であるものである。形式的には、
Pr ( X n + 1 = x | X n = x n , ... , X 1 = x 1 , X 0 = x 0 ) = Pr ( X n + 1 = x | X n = x n ) {\displaystyle \Pr(X_{n+1}=x|X_{n}=x_{n},\ldots ,X_{1}=x_{1},X_{0}=x_{0})=\Pr(X_{n+1}=x|X_{n}=x_{n})\,}
Xi のとりうる値は、連鎖の状態空間と呼ばれ、可算集合S をなす。マルコフ連鎖は有向グラフで表現され、エッジにはある状態から他の状態へ遷移する確率を表示する。
マルコフ連鎖の一例に有限状態機械がある。これは、時刻n において状態 y にあるとすると、それが時刻n + 1 において状態x に動く確率は、現在の状態にだけ依存し、時刻n には依存しない。
時間的に均一な(斉時的)マルコフ連鎖とは、すべてのn に対し
Pr ( X n + 1 = x | X n = y ) = Pr ( X n = x | X n − 1 = y ) {\displaystyle \Pr(X_{n+1}=x|X_{n}=y)=\Pr(X_{n}=x|X_{n-1}=y)\,}
であるような過程をいう。一般の、時間的に均一でないマルコフ連鎖は、この等式を満たさない。