マルコフ再生過程
状態空間を S {\displaystyle \mathrm {S} } 、(連続的な)時刻の集合を T {\displaystyle \mathrm {T} } とする。いま、確率変数の系列 { ( X n , T n ) ∈ S × T } n ≥ 0 {\displaystyle \{(X_{n},T_{n})\in \mathrm {S} \times \mathrm {T} \}_{n\geq 0}} を考える。ここで T n {\displaystyle T_{n}} はジャンプ時刻 (jump time) 、 X n {\displaystyle X_{n}} は対応するマルコフ連鎖の状態である (図を参照)。また、到着間時刻 (inter-arrival time) を τ n = T n − T n − 1 {\displaystyle \tau _{n}=T_{n}-T_{n-1}} と表記する。次の条件を満たすとき、系列 { ( X n , T n ) } n ≥ 0 {\displaystyle \{(X_{n},T_{n})\}_{n\geq 0}} はマルコフ再生過程と呼ばれる。