マルコフ連鎖
時間的に一様なマルコフ連鎖で、過程が時間に依存しない行列 p i j {\displaystyle p_{ij}} で記述でき、ベクトル π の要素 πj の和が 1 で、次を満たすとする:
π j = ∑ i ∈ S π i p i j {\displaystyle \pi _{j}=\sum _{i\in S}\pi _{i}p_{ij}}
この場合には、ベクトル π を定常分布という。既約な連鎖は、そのすべての状態が再帰的ならば、またその場合に限り、定常分布を持つ。この場合、π はただ1つで、再帰時間の期待値 Mj との間に次の関係がある:
π j = 1 M j {\displaystyle \pi _{j}={\frac {1}{M_{j}}}}
さらに、連鎖が既約かつ非周期的ならば、任意のi とj に対して
lim n → ∞ p i j ( n ) = 1 M j {\displaystyle \lim _{n\rightarrow \infty }p_{ij}^{(n)}={\frac {1}{M_{j}}}}
マルコフ系は物理学、とりわけ統計力学にしばしば現れる。ここでは、 力学が時間に対して不変であると想定され、また履歴を考慮する必要がないと想定される場合に、詳細が不明またはモデル化できないために確率過程が用いられる。
マルコフ連鎖はまた待ち行列理論や統計学でモデル化に用いられる。
クロード・シャノンが情報理論を創始した論文"A mathematical theory of communication"(通信の数学的理論)では、マルコフ連鎖を利用してエントロピーの概念を導入している。さらにこのような方法は、データ圧縮やパターン認識に応用されている。
マルコフ連鎖は強化学習でも重要である。
Googleに使われているPageRankもマルコフ連鎖によって定義される。
遷移確率が初め不明でデータからそれを見積らなければならない場合には、隠れマルコフモデルが用いられ、これは音声認識やバイオインフォマティクス(塩基配列からの遺伝子の探索など)にも広く用いられている。
マルコフ連鎖(マルコフれんさ、英: Markov chain)とは、確率過程の一種であるマルコフ過程のうち、とりうる状態が離散的(有限または可算)なもの(離散状態マルコフ過程)をいう。また特に、時間が離散的なもの(時刻は添え字で表される)を指すことが多い。マルコフ連鎖は、未来の挙動が現在の値だけで決定され、過去の挙動と無関係である(マルコフ性)。各時刻において起こる状態変化(遷移または推移)に関して、マルコフ連鎖は遷移確率が過去の状態によらず、現在の状態のみによる系列である。特に重要な確率過程として、様々な分野に応用される。