格子且老鼠会出现在第四个的概率为1。当它们处于同一个格子的时候，猫会吃掉老鼠，游戏结束。随机变量 "K" 给出了老鼠仍留在游戏中的时间步长。表示这个包含五种位置组合 (猫,鼠) 的状态的游戏的马尔可夫链为：我们使用一个随机矩阵来表示这个系统的转移概率（这个矩阵中的行和列用上面提到的可能状态来索引），
长期平均.无论初始状态是什么，猫最终都会抓到老鼠（概率为1），且极限为稳态 π = (0,0,0,0,1)。要计算随机变量 Y 的长期平均或期望值。对每种状态 S 和时间 t