強化学習
価値関数法(value function methods)は、ある方策(通常は「現行」(on-policy、方策内)または「最適」(方策外、off-policy)のいずれか)に対する期待収益の推定値の集合を維持することにより、収益を最大化する方策を見つけ出そうとするものである。
これらの方法はマルコフ決定過程の理論に基づいており、最適性は前述したよりも強い意味で定義されている。方策は、どのような初期状態からでも最大の期待収益を達成する場合、最適であると呼ばれる(つまり、この定義において初期分布は何の役割も果たさない)。繰り返すが、最適方策は常に定常方策の中から見出すことができる。
最適性を正式に定義するために、方策 π {\displaystyle \pi } の価値を、
V π ( s ) = E [ R ∣ s , π ] {\displaystyle V^{\pi }(s)=E[R\mid s,\pi ]}
で定義する。ここで、 R {\displaystyle R} は初期状態 s {\displaystyle s} から π {\displaystyle \pi } に従うことに伴う収益を表す。また、 π {\displaystyle \pi } が変更しうる場合、 V π ( s ) {\displaystyle V^{\pi }(s)} の最大可能値として V ∗ ( s ) {\displaystyle V^{*}(s)} を定義すると、
V ∗ ( s ) = max π V π ( s ) {\displaystyle V^{*}(s)=\max _{\pi }V^{\pi }(s)}
となる。
探索(exploration)と活用(exploitation)のトレードオフは、多腕バンディット問題や、Burnetas and Katehakis(1997)の有限状態空間MDPの研究を通じて、最も詳細に研究されてきた。
強化学習には巧妙な探索機構が不可欠であり、推定された確率分布を参照せず、ランダムに行動を選択すればその性能は低下する。(小規模な)有限MDPについては、比較的よく理解されている。しかし、状態数に応じてうまくスケールする(あるいは状態空間が無限の問題でも対応する)アルゴリズムがないため、単純な探索方法が最も実用的となる。
そのような方法の一つが ε {\displaystyle \varepsilon } -貪欲法(イプシロンどんよくほう、 ε {\displaystyle \varepsilon } -greedy)で、 0 < ε < 1 {\displaystyle 0<\varepsilon <1} は探索と活用の量を制御するパラメータである。確率 1 − ε {\displaystyle 1-\varepsilon } で活用が選択され、エージェントは長期的に最も効果があると思われる行動を選択する(行動間の関係は無作為に解消される)。あるいは、確率 ε {\displaystyle \varepsilon } で探索が選択され、行動は無作為に選択される。通常、 ε {\displaystyle \varepsilon } は固定パラメータであるが、スケジュールに従ったり(エージェントが探索を徐々に少なくする)、またはヒューリスティック(経験則)に基づいて適応的に調整することもできる。
Annaswamy, Anuradha M. (3 May 2023). “Adaptive Control and Intersections with Reinforcement Learning” (英語). Annual Review of Control, Robotics, and Autonomous Systems 6 (1): 65–93. doi:10.1146/annurev-control-062922-090153. ISSN 2573-5144. https://doi.org/10.1146/annurev-control-062922-090153.
Auer, Peter; Jaksch, Thomas; Ortner, Ronald (2010). “Near-optimal regret bounds for reinforcement learning”. Journal of Machine Learning Research 11: 1563–1600. http://jmlr.csail.mit.edu/papers/v11/jaksch10a.html.
Busoniu, Lucian; Babuska, Robert; De Schutter, Bart; Ernst, Damien (2010).