マルコフ連鎖
状態空間が有限ならば、遷移確率分布は行列で表現され、これは遷移行列(transition matrix)と呼ばれる。この行列Pの第(i, j)要素は
p i j = Pr ( X n + 1 = j ∣ X n = i ) {\displaystyle p_{ij}=\Pr(X_{n+1}=j\mid X_{n}=i)\,}
に等しい。さらに、マルコフ連鎖が時間的に均一、つまり遷移行列Pが添え字 n によらないならば、k-段階遷移確率は遷移行列のk乗、つまりP と書ける。
定常分布π は行ベクトルで、次の式を満たす:
π = π P {\displaystyle \pi =\pi \mathbf {P} \,}
言い換えると、定常分布π は遷移行列の正規化された左側固有ベクトルで、その固有値は 1 である。
もしくはπ を、行列Pに対応する単位単体上の線形(連続)変換での不動点と見ることもできる。単位単体上の任意の連続変換は不動点を持つから、定常分布は必ず存在するが、一般にただ1つであるという保証はない。しかし、マルコフ連鎖が既約かつ非周期的ならば、定常分布πがただ1つ存在する。