マルコフ連鎖
いま状態i にあるとして、未来のある時点で状態j にある確率が 0 でない ならば、状態j は状態i (i → j)から到達可能 (accessible)といわれる。つまり次のようなn があるということである:
Pr ( X n = j | X 0 = i ) > 0 {\displaystyle \Pr(X_{n}=j|X_{0}=i)>0\,}
状態i と状態j が互いに到達可能ならば、状態i と状態j (i ↔ j)は連結(communicate)しているという。状態の集合C のいずれの対も互いに連結しているならば、C は連結類(communicating class)という(この連結類は同値類である)。連結類を出る確率が0ならば、連結類は閉じている(closed)という。つまりi がC の要素でありj がそうでないならば、j はi から到達可能ではない。
状態空間が連結類ならば、マルコフ連鎖は既約(または可約でない:irreducible)という。つまり既約なマルコフ連鎖では、任意の状態から任意の状態へ移ることができる。