Q値
Q学習では実行するルールに対しそのルールの有効性を示すQ値という値を持たせ、エージェントが行動するたびにその値を更新する。ここでいうルールとはある状態とその状態下においてエージェントが可能な行動を対にしたものである。例えばエージェントの現在の状態をformula_1とし、この状態で可能な行動がformula_2, formula_3, formula_4, formula_5の4通りあるとする。このとき、エージェントは4つのQ値、 formula_6、formula_7、formula_8、formula_9 を元に行う行動を決定する。行動の決定方法は理論上では無限回数試行するならランダムでもQ値の収束は証明されているが、現実には収束を早めるため、なるべく Q値の大きな行動が高確率で選ばれるように行う。選択方法としては、ある小さな確率formula_10でランダムに選択し、それ以外では Q値の最大の行動を選択するformula_10-グリーディ手法や、遺伝的アルゴリズムで使用されているルーレット選択、以下のようなボルツマン分布を利用したソフトマックス手法などが使用されている。