Q学習
Q学習は学習率 α ( t ) {\displaystyle \alpha (t)} が以下の条件を満たし、時間と共に減衰させたとき、全てのQ値は確率1で最適な値に収束することが証明されている(この条件を満たさないと収束しないという意味では無く、定数でも収束するときは収束する)。
∑ t = 0 ∞ α ( t ) → ∞ {\displaystyle \sum _{t=0}^{\infty }\alpha (t)\to \infty }
∑ t = 0 ∞ α ( t ) 2 < ∞ {\displaystyle \sum _{t=0}^{\infty }\alpha (t)^{2}<\infty }
この収束性の良さのためQ学習に関する多くの研究がなされているが、いくつかの問題点も指摘されている。例えばQ学習による理論的保証は値の収束性のみであり、収束途中の値には具体的な合理性が認められないため、(価値反復法の)Q学習は方策勾配法と比べると学習途中の結果を近似解として用いにくい。また、パラメータの変化に敏感でありその調整に多くの手間が必要である、などがある。