強化学習
強化学習はその一般性から、ゲーム理論、制御理論、オペレーションズ・リサーチ、情報理論、シミュレーションに基づく最適化(英語版)、マルチエージェントシステム、群知能、統計学など、多くの分野で研究されている。オペレーションズ・リサーチや制御の文献では、強化学習は近似動的計画法(approximate dynamic programming)あるいはニューロダイナミック・プログラミング(neuro-dynamic programming)と呼ばれている。強化学習の問題は最適制御理論でも研究されており、主に最適解の存在と特徴づけや、その厳密な計算のためのアルゴリズムを対象するが、(特に環境の数学的モデルがない場合の)学習や近似への関心は高くない。また、経済学やゲーム理論では、限定合理性のもとで均衡がどのように生じるかを説明するために、強化学習が用いられることがある。
基本的な強化学習は、マルコフ決定過程(Markov decision process、MDP)としてモデル化される。
S:環境とエージェントの状態の集合
A:エージェントの行動の集合
P a ( s , s ′ ) = Pr ( s t + 1 = s ′ ∣ s t = s , a t = a ) {\displaystyle P_{a}(s,s')=\Pr(s_{t+1}=s'\mid s_{t}=s,a_{t}=a)} :行動 a {\displaystyle a} の下で状態 s {\displaystyle s} から状態 s ′ {\displaystyle s'} に遷移する確率(時間 t {\displaystyle t} において)