マルコフ決定過程
マルコフ決定過程(マルコフけっていかてい、英: Markov decision process; MDP)は、状態遷移が確率的に生じる動的システム(確率システム)の確率モデルであり、状態遷移がマルコフ性を満たすものをいう。 MDP は不確実性を伴う意思決定のモデリングにおける数学的枠組みとして、強化学習など動的計画法が適用される幅広い最適化問題の研究に活用されている。 MDP は少なくとも1950年代には知られていたが、研究の中核は1960年に出版された Ronald A. Howard の "Dynamic Programming and Markov Processes" に起因する。 MDP はロボット工学や自動制御、経済学、製造業を含む幅広い分野で用いられている。
遷移関数 T ( s , a , s ′ ) {\displaystyle T(s,a,s')} は状態 s {\displaystyle s} にあり行動 a {\displaystyle a} を取ったときの状態 s ′ {\displaystyle s'} への状態遷移確率 T ( s , a , s ′ ) = Pr ( s t + 1 = s ′ | s t = s , a t = a ) {\displaystyle T(s,a,s')=\Pr(s_{t+1}=s'|s_{t}=s,a_{t}=a)} である。 また報酬関数 R ( s , a , s ′ ) {\displaystyle R(s,a,s')} は状態 s {\displaystyle s} から s ′ {\displaystyle s'} に行動 a {\displaystyle a} を伴い遷移する際に得られる即時報酬 (immediate reward) 、またはその期待値 E [ r t + 1 | s , a , s ′ ] {\displaystyle \mathbb {E} [r_{t+1}|s,a,s']} を表す。
マルコフ決定過程は離散時間における確率制御過程 (stochastic control process) である。 各時刻において過程 (process) はある状態 (state) を取り、意思決定者 (decision maker) はその状態において利用可能な行動 (action) を任意に選択する。 その後過程はランダムに新しい状態へと遷移し、その際に意思決定者は状態遷移に対応した報酬 (reward) を受けとる。
遷移後の状態 s ′ {\displaystyle s'} 、および得られる報酬の値 r {\displaystyle r} は現在の状態 s {\displaystyle s} と行動 a {\displaystyle a} のみに依存し、 s {\displaystyle s} と a {\displaystyle a} が与えられたもとでそれより過去の状態および行動と条件付き独立となる。 言い換えると、マルコフ決定過程の状態遷移はマルコフ性を満たす。
マルコフ決定過程はマルコフ連鎖に(選択可能な)行動、および(行動を計画する動機を与える)報酬を追加し拡張したものであると解釈できる。 逆に言えば、各ステップにとる行動がそのステップにおける状態のみ依存するとき、マルコフ決定過程は等価なマルコフ連鎖に置き換えることが出来る。