強化学習
Reinforcement Learning and Dynamic Programming using Function Approximators. Taylor & Francis CRC Press. ISBN 978-1-4398-2108-4. http://www.dcsc.tudelft.nl/rlbook/
François-Lavet, Vincent; Henderson, Peter; Islam, Riashat; Bellemare, Marc G.; Pineau, Joelle (2018). “An Introduction to Deep Reinforcement Learning”. Foundations and Trends in Machine Learning 11 (3–4): 219–354. arXiv:1811.12560. Bibcode: 2018arXiv181112560F. doi:10.1561/2200000071.
Powell, Warren (2011). Approximate dynamic programming: solving the curses of dimensionality. Wiley-Interscience. http://www.castlelab.princeton.edu/adp.
5番目の課題を解決するために、関数近似法(function approximation methods)が提案されている。線形関数近似(linear function approximation)は、各状態-行動ペアに有限次元ベクトルを割り当てるマッピング φ {\displaystyle \phi } から始まる。そして、状態-行動ペア ( s , a ) {\displaystyle (s,a)} の行動価値(action values)は、 φ ( s , a ) {\displaystyle \phi (s,a)} の成分を何らかの重み θ {\displaystyle \theta } で線形結合することによって得られる。
Q ( s , a ) = ∑ i = 1 d θ i φ i ( s , a ) {\displaystyle Q(s,a)=\sum _{i=1}^{d}\theta _{i}\phi _{i}(s,a)}