SARSA法

SARSA法(State–action–reward–state–action)はマルコフ決定過程でのポリシーを学習するためのアルゴリズムであり、機械学習のサブカテゴリーである強化学習の分野で使われる。RummeryとNiranjanのテクニカルノートの中で、「Modified Connectionist Q-Learning(MCQ-L, 修正コネクショニストQ学習)」という名前で提案された。により提案された、「SARSA」という名前は、脚注で言及されるに留まった。
このネーミングは、Q関数の更新アルゴリズムが、現在の状況formula_1、現在の行動formula_2、行動による報酬formula_3、次の状態formula_4、その状態で選ぶ行動formula_5の5つ組で決まることに由来する。一般化すると、formula_6である。なお、formula_7は報酬の定義によっては、formula_8とも書かれる。
アルゴリズム.
SARSAでは、エージェントは環境と相互作用し、行われた行動ベースでポリシーを更新する。そのため、オンポリシー型の学習アルゴリズムと知られている。Q値は学習率で補正された誤差を用いて更新される。
ハイパーパラメータ.
学習率(アルファ).
学習率は、古い情報を、新しく獲得した情報によってどの程度上書きするかを決定する。0にすれば、エージェントは何も学ばないし、1にすれば、最近の情報だけを近視眼的に考慮するようになる。
割引率(ガンマ).
割引率は、将来の報酬の重要度を決定する。0にすれば、エージェントは日和見主義的、近視眼的になる。要するに、現在の報酬だけを考慮するようになる。1に近づければ、長期的視野で高い報酬を求めるようになる。1にしたり、1を超えたりすると、Q値は発散してしまう可能性がある。