学習オートマトンは収束性が厳密に証明されている．制約付きマルコフ決定過程(ConstrainedMarkovDecisionProcess;CMDP)はマルコフ決定過程の拡張である。
部分可观察马尔可夫决策过程（PartiallyObservableMarkovDecisionProcess，缩写：POMDP），是一种通用化的马可夫决策过程。