:可还原性.马尔可夫链是由一个条件分布来表示的这被称为是随机过程中的“转移概率”。这有时也被称作是“一步转移概率”。二、三，以及更多步的转移概率可以导自一步转移概率和马尔可夫性质：同样，这些式子可以通过乘以转移概率并求formula_22次积分来一般化到任意的将来时间formula_23。
周期性.边缘分布formula_24是在时间为formula_25时的状态的分布。初始分布为formula_26。该过程的变化可以用以下的一个时间步幅来描述：这是Frobeni