SARSA法
SARSA法(State–Action–Reward–State–Action)はマルコフ決定過程でのポリシーを学習するためのアルゴリズムであり、機械学習のサブカテゴリーである強化学習の分野で使われる。RummeryとNiranjanのテクニカルノートの中で、「Modified Connectionist Q-Learning(MCQ-L, 修正コネクショニストQ学習)」という名前で提案された。Rich Suttonにより提案された、「SARSA」という名前は、脚注で言及されるに留まった。
このネーミングは、Q関数の更新アルゴリズムが、現在の状況 s 1 {\displaystyle s_{1}} 、現在の行動 a 1 {\displaystyle a_{1}} 、行動による報酬 r 1 {\displaystyle r_{1}} 、次の状態 s 2 {\displaystyle s_{2}} 、その状態で選ぶ行動 a 2 {\displaystyle a_{2}} の5つ組で決まることに由来する。一般化すると、 ( s t , a t , r t , s t + 1 , a t + 1 ) {\displaystyle (s_{t},a_{t},r_{t},s_{t+1},a_{t+1})} である。なお、 r t {\displaystyle r_{t}} は報酬の定義によっては、 r t + 1 {\displaystyle r_{t+1}} とも書かれる。