SARSA法
Q ( s t , a t ) ← ( 1 − α ) Q ( s t , a t ) + α [ r t + γ Q ( s t + 1 , a t + 1 ) ] {\displaystyle Q(s_{t},a_{t})\leftarrow (1-\alpha )Q(s_{t},a_{t})+\alpha \,[r_{t}+\gamma \,Q(s_{t+1},a_{t+1})]}
SARSAでは、エージェントは環境と相互作用し、行われた行動ベースでポリシーを更新する。そのため、オンポリシー型の学習アルゴリズムと知られている。Q値は学習率で補正された誤差を用いて更新される。