Q学習
行動の決定方法は理論上では無限回数試行するならランダムでもQ値の収束は証明されているが、現実には収束を早めるため、なるべく Q値の大きな行動が高確率で選ばれるように行う。選択方法としては、ある小さな確率 ε {\displaystyle \varepsilon } でランダムに選択し、それ以外では Q値の最大の行動を選択する ε {\displaystyle \varepsilon } -グリーディ手法や、遺伝的アルゴリズムで使用されているルーレット選択、以下のようなボルツマン分布を利用したソフトマックス手法などが使用されている。
π ( s t , a ) = exp  ( Q ( s t , a ) / T ) ∑ p ∈ A exp  ( Q ( s t , p ) / T ) {\displaystyle \pi (s_{t},a)={\frac {\exp(Q(s_{t},a)/T)}{\sum _{p\in A}\exp(Q(s_{t},p)/T)}}}
ここで T {\displaystyle T} は正の定数、 A {\displaystyle A} は状態 s t {\displaystyle s_{t}} でエージェントが可能な行動の集合である。