43收敛到一个每一列都是不同的平稳分布formula_47，并且，独立于初始分布formula_28。这是由Perron-Frobenius theorem所指出的。正的转移矩阵（即矩阵的每一个元素都是正的）是不可约和非周期的。矩阵被称为是一个随机矩阵，当且仅当这是某个马尔可夫链中转移概率的矩阵。注意：在上面的定式化中，元素formula_33是由j转移到i的概率。有时候一个由元素formula_33给出的等价的定式化等于由i转移到j的概率。在此情况下，转移矩阵仅是这里所给出的转移矩阵的转置。另