Markov chain
概率论中常用到随机矩阵，即-{zh-cn:行; zh-tw:列;}-向量是概率向量（即所有的元素都在0和1之间，并且加起来等于1的向量）的矩阵。随机矩阵可用来定义有限概率空间中的马尔可夫链。设随机变量formula_352是某个马尔可夫链在formula_353时刻的状态，所有可能的状态formula_354称为状态空间，那么随机矩阵formula_355则记录了假设已知formula_352的可能情况下formula_357做各种取值的可能性。formula_355的第formula_18-{zh-cn:行; zh-tw:列;}-第formula_19-{zh-cn:列; zh-tw:行;}-上的元素表示当formula_361的时候，formula_362的可能性。formula_355的第formula_19-{zh-cn:行; zh-tw:列;}-记录了从formula_361转移到formula_366各种状态的可能性。所以formula_355叫做formula_353时刻的转移矩阵。如果马尔可夫链的转移矩阵不随时刻变化，则称为齐次马尔可夫链。这时马尔可夫链的吸引态可以通过计算转移矩阵的特征向量得到。