" = { 0,1 }，其中的0和1对应环境「不惩罚」及「惩罚」的反应。因此学习自动机的目的是使「惩罚」的反应的数量降到最低，这种自动机和环境之间的回授回路称为P-模型。而Q-模型允许"x"是有限集合中的任意值，S-模型是允许"x"为区间 [0,1]中的实数为。
有限动作集学习自动机.有限动作集学习自动机（Finite action-set learning automata、FALA）是可能动作数量有限的学习自动机，若用较数学的说法来表示，是动作集合大小为有限值的学习自动机。