在概率论和统计学中，马可夫决策过程（，缩写为MDPs）提供了一个数学架构模型，用于面对部份随机，部份可由决策者控制的状态下，如何进行决策，以俄罗斯数学家安德雷·马尔可夫的名字命名，是马尔科夫链的一种扩展。在经由动态规划与强化学习以解决最佳化问题的研究领域中，马可夫决策过程是一个有用的工具。广泛应用于机器人学，自动化控制，经济学和制造业的一种工具。在每一个时间步，把当前状态记为状态formula_1，决策机会从当前状态下可选的动作中选择一个动作formula_2。当前状态通过动作进行到下一个状态for