学习的领域中，学习自动机的特征是马可夫决策过程。政策迭代者会直接处理π，这点其他强化学习的演算法不同。另一个政策迭代者的例子是。形式上，Narendra和Thathachar用以下的方式定义随机自动机在其论文中，只探讨"r"="s"，也就是"G"是双射的学习自动机，因此可能会混淆内部状态及动作。自动机的状态是对应离散状态离散参数马尔可夫链的状态。在每一个时间点"t"=0,1,2,3...，自动机会从环境读取输入，用"A"来将"p"("t")更新为"p"("t"+1)，根据机率分布"p"("t"+1