馬可夫決策過程 在數學中馬可夫決策過程英語Markov decision processMDP是離散時間隨機控制過程 它提供了一個數學框架用於在結果部分隨機且部分受決策者控制的情況下對決策建模 MDP對於研究通過動態規劃解決的最佳化問題很有用 MDP至少早在年代就已為人所知 一個對馬可夫決策過程的核心研究是 羅納德霍華德英语Ronald A Howard於年出版的動態規劃和馬可夫過程 它們被用於許多領域包括機器人學自動化經濟學和製造業 MDP的名稱來自俄羅斯數學家安德雷馬可夫因為它們是馬可夫鏈的推廣 在每個時間步驟中隨機過程都處於某種狀態 s displaystyle s 決策者可以選擇在狀態 s displaystyle s 下可用的動作 a displaystyle a  該隨機過程在下一時間步驟會隨機進入新狀態 s  displaystyle s 並給予決策者相應的回饋 R a  s  s   displaystyle Rass  隨機過程進入新狀態 s  displaystyle s 的機率受所選操作影響 具體來說它是由狀態轉換函數 P a  s  s   displaystyle Pass 給出的 因此下一個狀態 s  displaystyle s 取決於當前狀態 s displaystyle s 和決策者的動作 a displaystyle a  但是給定 s displaystyle s 和 a displaystyle a 它條件獨立於所有先前的狀態和動作 換句話說MDP的狀態轉換滿足马尔可夫性质 马尔可夫决策过程是马尔可夫链的推广不同之处在于添加了行动允许选择和奖励给予动机反過來說如果每个状态只存在一个操作和所有的奖励都是一样的一个马尔可夫决策过程可以归结为一个马尔可夫链