以认为马氏链是分配从一个顶点或状态跳变到相邻一个的概率的状态机。可以把机器状态的概率formula_5作为仅有元素formula_6的状态空间为输入的机器的统计行为分析，或作为初始分布为formula_7状态为输入的机器行为，其中formula_8是艾佛森括号。一些状态序列可能会有零概率的事件，对应多的图，而我们禁止转移概率为0的边。例如，若"a"到"b"的概率非零，但"a"到"x"位于图的不同连通分量，那么formula_9有意义，而formula_10无意义。
瞬态演变.