マルコフ連鎖
次の状態が現在を含めた過去N個の状態履歴に依存して決まる確率過程を、N階マルコフ連鎖(もしくは、N重マルコフ連鎖、N次マルコフ連鎖)という。 これに対して、N=1の通常のマルコフ連鎖は単純マルコフ連鎖と呼ばれることがある。
N階マルコフ連鎖は、形式的には次のような確率過程である。
Pr ( X n + 1 = x | X n = x n , ... , X 0 = x 0 ) = Pr ( X n + 1 = x | X n = x n , X n − 1 = x n − 1 , ... , X n − N + 1 = x n − N + 1 ) {\displaystyle \Pr(X_{n+1}=x|X_{n}=x_{n},\ldots ,X_{0}=x_{0})=\Pr(X_{n+1}=x|X_{n}=x_{n},X_{n-1}=x_{n-1},\ldots ,X_{n-N+1}=x_{n-N+1})\,}
どんなN階マルコフ連鎖も、N個の状態組を新たな状態空間とすることによって、単純マルコフ連鎖として表現することができる。 このため、単純マルコフ連鎖で成立する性質は、N階マルコフ連鎖でもそのまま成立する。