-和概率的右随机矩阵，而不用zh-cn:列向量;zh-hk:列向量;zh-mo:列向量;zh-sg:列向量;zh-tw:列向量和左随机矩阵，本文遵循此惯例。
定义和性质.随机矩阵描述了在一个有限状态空间 "S" 上的马尔可夫链formula_1。如果在一个时间步长内从 formula_2 到 formula_3 移动的概率为 formula_4，随机矩阵 "P" 的第 formula_2-{zh-cn:行;zh-hk:行;zh-mo:行;zh-sg:行;zh-tw:行