Playing Atari with Deep Reinforcement Learningを読んだ

Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis Antonoglou, Daan Wierstra, Martin Riedmiller
NIPS Deep Learning Workshop 2013
[arXiv](https://arxiv.org/abs/1312.5602), [pdf](https://arxiv.org/pdf/1312.5602.pdf)

# どんなもの？  
強化学習の行動価値関数Qの学習にDNNを使用（Deep Q-Networksを提案）．
Arcade Learning Environment (ALE) にて７つのAtari 2600 gamesに対して実験を行った．
７つのうち６つのゲームのスコアで従来の学習手法を上回り，３つのゲームのスコアで人間（エキスパート）を上回った．
![スクリーンショット 2018-05-28 18.42.42.png](https://qiita-image-store.s3.amazonaws.com/0/259451/4802a1f0-790b-ca9b-4f53-4d4bb900267a.png)


# 先行研究との差分  
Q関数をDNNに．
入力はゲーム画面（$84\times84\times4$）．
これまでの手法のような事前の特徴量の設計が不要になった．

# 技術や手法のキモ  
1. ロス関数  
誤差計算の際，目標値に一つ前の反復におけるDNNの予測値を用いる．
2. experience replay mechanism [[Lin et al. 1993](https://pdfs.semanticscholar.org/54c4/cf3a8168c1b70f91cf78a3dc98b671935492.pdf)]
データの相関や学習の安定のために，過去の経験をメモリー (replay memory) に溜めておき，ランダムに選び学習に使用する．（?）

3. 報酬をゲームに依らず一定に
ゲームの種類によって報酬は異なるが，それを一定に（ポジティブな報酬は１，ネガティブな報酬は−１に）．

4. 学習時の$\epsilon$
$\epsilon$-greedy法の$\epsilon$は初めの100万フレームで1から0.1に線形に落としていき，その後は0.1で固定．
5. frame-skipping technique [[Bellemare et al. 2013](https://arxiv.org/abs/1207.4708)]
学習の効率化のために$k$フレーム毎の$k$枚の画像を使用して行動を選択（$k=4$，Space Invaders は$k=3$）．

# どうやって有効性を検証したか  
７種類の Atari 2600 games に対して実験を行い検証．
評価の方法としては，Bellemare et al.[[3](https://arxiv.org/abs/1207.4708), [5](https://www.semanticscholar.org/paper/Bayesian-Learning-of-Recursively-Factored-Bellemare-Veness/7c9e3b33ea2522e86b4ebf586e6371d49d3ef89f)]で用いられたものを使用．
$\epsilon=0.05$で固定．
表の上側はゲーム毎の平均スコア．ほとんど事前の知識を情報として与えていないが，比較手法を上回っている．
表の下側は異なるアプローチの手法との比較．比較手法はhand-engineeredな物体検出アルゴリズムや，物体のラベルマップを使用しているものの，Space Invadersを除いて提案手法が比較手法を上回っている．

![スクリーンショット 2018-05-28 18.54.34.png](https://qiita-image-store.s3.amazonaws.com/0/259451/bc968514-c7bc-71a2-13a1-f60759ef3deb.png)
![スクリーンショット 2018-05-28 18.54.43.png](https://qiita-image-store.s3.amazonaws.com/0/259451/691d12fb-4a6d-87c0-b182-60b844080b50.png)


# 議論はあるか  
新たな深層強化学習のモデルを提案した．

# 次に読むべき論文

## DQN をもっと詳しく

- [Human Level Control Through Deep Reinforcement Learning](https://deepmind.com/research/publications/human-level-control-through-deep-reinforcement-learning/)

## 比較手法

- Sarsa
    - [The Arcade Learning Environment: An Evaluation Platform for General Agents](https://arxiv.org/abs/1207.4708)
- Contingency
    - [Investigating Contingency Awareness Using Atari 2600 Games](https://www.semanticscholar.org/paper/Investigating-Contingency-Awareness-Using-Atari-Bellemare-Veness/3689115fa21e16d50030aaec01822af996f3e4e7)
- HNeat
    - [A Neuroevolution Approach to General Atari Game Playing](http://nn.cs.utexas.edu/?hausknecht:tciaig14)


## [深層強化学習の動向 / survey of deep reinforcement learning](https://speakerdeck.com/takuseno/survey-of-deep-reinforcement-learning)より，DQNの改良版．

- Double DQN
    - [Double Q-learning](https://papers.nips.cc/paper/3964-double-q-learning.pdf)
    - [
Deep Reinforcement Learning with Double Q-learning](https://arxiv.org/abs/1509.06461)
- Dueling DQN
    - [Dueling Network Architectures for Deep Reinforcement Learning](https://arxiv.org/abs/1511.06581)
- Prioritized Experience Replay
    - [Prioritized Experience Replay](https://arxiv.org/abs/1511.05952?context=cs)
- 非同期学習
    - [Asynchronous Methods for Deep Reinforcement Learning
](https://arxiv.org/abs/1602.01783)