Q学習
Q学習では実行するルールに対しそのルールの有効性を示すQ値という値を持たせ、エージェントが行動するたびにその値を更新する。ここでいうルールとはある状態とその状態下においてエージェントが可能な行動を対にしたものである。例えばエージェントの現在の状態を s t {\displaystyle s_{t}} とし、この状態で可能な行動が a {\displaystyle a} , b {\displaystyle b} , c {\displaystyle c} , d {\displaystyle d} の4通りあるとする。このとき、エージェントは4つのQ値、 Q ( s t , a ) {\displaystyle Q(s_{t},a)} 、 Q ( s t , b ) {\displaystyle Q(s_{t},b)} 、 Q ( s t , c ) {\displaystyle Q(s_{t},c)} 、 Q ( s t , d ) {\displaystyle Q(s_{t},d)} を元に行う行動を決定する。
Q値は、ある状態である行動を行った際、現在および将来に得られる報酬になるように学習させる。ただし、将来分の報酬は、経済学でも使われる割引率をかけた物を使用する。経済学と同じく、割引率をかけることで将来分の報酬が発散することを防ぎ、直近に得られる報酬に重きを置いている。