演算法不同。另一个政策迭代者的例子是。形式上，Narendra和Thathachar用以下的方式定义随机自动机在其论文中，只探讨"r"="s"，也就是"G"是双射的学习自动机，因此可能会混淆内部状态及动作。自动机的状态是对应离散状态离散参数马尔可夫链的状态。在每一个时间点"t"=0,1,2,3...，自动机会从环境读取输入，用"A"来将"p"("t")更新为"p"("t"+1)，根据机率分布"p"("t"+1)选择后续状态，并输出其动作，而环境会读取其动作，其结果就是下一个时间的环境输入。常常会选