。马可夫链通常使用离散的时间集合定义，又称离散时间马可夫链。有些学者虽然採用这个术语，但允许时间可以取连续的值。
数学模型.对于某些类型的随机过程，很容易通过状态定义列方程推导出是否具有马尔可夫性质，但对于另外一些，需要使用马尔可夫性质中描述的一些更加复杂的数学技巧。举一个简单的例子，设某个随机过程他的状态"X"可取到一个离散集合中的值，该值随时间"t"变化，可将该值表示为"X"("t")。在这里，时间变量是离散或连续不影响讨论的结果。考虑任意一个“过去的时间”集合(...,"p"