マルコフ再生過程

マルコフ再生過程（）は、確率過程の一つであり、ジャンプ型マルコフ過程（Markov jump process）の考え方を一般化したものである。マルコフ連鎖やのような一部の確率過程、およびはマルコフ再生過程の特別な場合として導出することができる。
定義.
状態空間を formula_1 、（連続的な）時刻の集合を formula_2 とする。いま、確率変数の系列 formula_3 を考える。ここで formula_4 はジャンプ時刻 (jump time) 、formula_5 は対応するマルコフ連鎖の状態である (図を参照）。また、到着間時刻 (inter-arrival time) を formula_6 と表記する。次の条件を満たすとき、系列 formula_7 はマルコフ再生過程と呼ばれる。
formula_8
準マルコフ過程.
formula_9 に対し formula_10 を満たす確率過程 formula_11 を定義する。これは準マルコフ過程 (semi-Markov process) と呼ばれる確率過程となる。MRP と準マルコフ過程の違いは、前者は状態と時刻の組で定義されるのに対し、後者は時間発展する実際の時系列の確率過程であり、実現値が任意の時刻における状態の値として定義される点である。
この確率過程は全体を見ればマルコフ性を持たない（すなわち無記憶性を持たない）が、ジャンプする瞬間に限りマルコフ性を持つ。これが"準"マルコフという名前の理論的根拠である。 も参照されたい。
（上に定義した）準マルコフ過程のうち、保持時間 (holding time) が指数分布で表されるものを連続時間マルコフ連鎖、または連続時間マルコフ過程 (continuous-time Markov chain/process; CTMC) と呼ぶ。言い換えると、到着間時間が指数分布に従い、かつある状態における待ち時間 (waiting time) と次に遷移する状態が独立であれば準マルコフ過程は CTMC となる。