強化学習を用いたゲームエージェントの評価
Evaluation of Game Agent Using Reinforcement Learning

リスク工学グループ演習１班
小清水亮太

宮澤一矢

アドバイザー教員

原和希

HUANG YUMENG

高安亮紀

遠藤靖典

1

01
研究背景
Background

研究目的
Purpose

02

03
研究手法
Method

研究結果
Result04

05
まとめConclusion

2

01

研究背景
Background3

01 研究背景 Background

第3次AIブームの到来
Arrival of the Third AI Boom
·近年AIの実用化が進み、第3次AIブームが到来[1]．
·ビックデータのような大量のデータを用いることで人工知能（AI）自体が知識を取得する「機械学習」が実用化．
·知識を定義する要素を人工知能自身が自ら習得する「Deep Learning」が登場．

⇒第3次AIブームの到来により、機械学習を用いた研究が多くなされている
4

01 研究背景 Background

強化学習
Reinforcement Learning·機械学習の手法の1つ.
·システム制御分野で多く利用.
ex) 自動運転技術、 自律ロボットの行動選択·ゲーム開発の分野でも、動作の不具合の確認作業やゲームバランスの確認作業に利用.
·近年では、ゲームAIの作成にも用いられている.
5

01 研究背景 Background

ゲームAIGame AI·強化学習を用いることで強いゲームAIが提案されている．
·2015年、人間のプロ囲碁棋士に勝利する囲碁AIが誕生[2] ．
·2017年、人工知能PONANZAがプロ将棋棋士に勝利[3] ．

プロの選手に勝利するゲームAIが誕生
6

02

研究目的
Purpose7

02 研究目的 Purpose·ゲームAIを作成するためには様々な強化学習手法が存在する．

·強化学習手法間の結果や特徴の違いを把握することは、現実問題において適切な手法を選択するために重要．

本研究では、各種強化学習手法を用いて、ゲームAIを作成し、各種手法によるゲームAIの特徴を評価する．
8

03

研究手法
Method9

03 研究手法 Method

強化学習
Reinforcement Learning·強化学習における重要な概念·状態 𝑠 :環境から取得される現在の状態ex)エージェントの現在地、敵の位置·行動 𝑎 :行動ex)左右に移動する、ジャンプする·報酬 𝑅 :状態𝑠の時に行動𝑎をした際に得られる利益10

03 研究手法 Method

強化学習における流れ
Flow in reinforcement learning
Step1：環境から時刻𝑡における状態𝑠 を観測
Step2：方策に従って行動𝑎 を決定
Step3：行動𝑎 によって状態𝑠が決定

Step4：行動𝑎 によって報酬𝑅が決定
図：強化学習のイメージ

Step5：「Step1」に戻り、繰り返し

この方策を決めたい11

03 研究手法 Method

行動価値関数
Action value function·状態𝑠での行動𝑎の価値を推定する関数·行動価値を得るための代表的手法→Q-learning·価値𝑄,状態𝑠,行動𝑎,報酬𝑅,時間割引率𝛾,学習率𝛼とする·𝑄 𝑠, 𝑎 ← 𝑄 𝑠, 𝑎𝛼 𝑅𝛾𝑚𝑎𝑥𝑄 𝑠,𝑎𝑄 𝑠, 𝑎に基づいて価値関数𝑄 𝑠, 𝑎 を更新していく
図：Q-tableの例·この𝑄を用いてQ-tableを埋める→最適な方策の決定が可能に！
12

03 研究手法 Method

Deep Q Network(DQN) [4]·状態の数が膨大→Q-tableで表現しきれない·Deep Q Network(DQN)…𝑄 𝑠, 𝑎 をディープニューラルネットワークにより近似

近似

図：DQNの例
13

03 研究手法 Method

Deep Q Network(DQN)·最適な行動選択をする𝑄 𝑠, 𝑎 , 行動の結果𝑠 でとるべき行動𝑎 の価値を評価する𝑄 𝑠 , 𝑎 を用いる．
·DQNの更新式は以下のようになる
𝑄 ←𝑄
𝛼 𝑅 𝑠, 𝑎𝛾𝑚𝑎𝑥𝑄 𝑠 , 𝑎

𝑄 𝑠, 𝑎·明確な教師データが用意できないため、以下の式を教師データとして学習する
𝑡𝑎𝑟𝑔𝑒𝑡𝑅 𝑠, 𝑎𝛾max 𝑄 𝑠 , 𝑎14

03 研究手法 Method

Double DQN(DDQN ) [5]·DQNにおける𝑡𝑎𝑟𝑔𝑒𝑡を改良した手法·DQNでは行動選択と価値の評価で同じ関数𝑄 𝑠 , 𝑎 を使用→ 𝑄 𝑠 , 𝑎 に誤差があった際に過大評価·行動選択と価値の評価を別の関数で行う·これにより過大評価を抑制

15

03 研究手法 Method

Dueling Network[6]·Q関数は，状態𝑠のみできまる情報と行動𝑎によって決まる情報に分離できる·この点に注目し、これら2つ情報を分けて学習する手法·DQN, DDQNと組み合わせて使用することが可能·収束を早めたりパフォーマンスの向上が期待できる

16

04

研究結果
Result17

04 研究結果 Result

比較結果
Comparison result·強化学習の手法：
DQN
DDQN
Duel. DQN
Duel. DDQN
·Deep Learning実装
ライブラリである
KerasおよびKeras-RLを用いて実装·一定のステップ数学習(10,000〜5,000,000回）
18

04 研究結果 Result

比較結果
Comparison result·学習済のエージェントで10回テストした平均獲得報酬を結果として記載·横軸がステップ数縦軸が獲得した報酬

19

04 研究結果 Result

DQN vs DDQN
120·強化学習の手法：
DQN
DDQN

10080·ほとんどのステップ数にて，
DQNの方が報酬を多く獲得

6040

2000500,000

1,000,000

1,500,000

2,000,000

2,500,000
DQN

3,000,000
DDQN

3,500,000

4,000,000

4,500,000

5,000,000·既存研究：
一部のゲームにおいては性能が悪化すると報告がある

我々が今回対象にしたMs. Pacmanも悪化する傾向にあることを確認した20

04 研究結果 Result

DQN vs DDQN
120·強化学習の手法：
DQN
DDQN

10080·ほとんどのステップ数にて，DQNの方が報酬を多く獲得

6040

2000500,000

1,000,000

1,500,000

2,000,000

2,500,000
DQN

3,000,000
DDQN

3,500,000

4,000,000

4,500,000

5,000,000·既存研究：
一部のゲームにおいては性能が悪化すると報告がある※ DDQNにおいてニューラルネットワークの更新間隔を調整することによるパフォーマンス向上も報告→ 今後はDDQNを用いてゲームごとに適切なパラメータ探索を行う必要がある
21

04 研究結果 Result

DQN vs Duel. DQN
120·強化学習の手法：
DQN
Duel. DQN

10080·比較結果：

60- DQN→学習が安定している- Duel. DQN → 学習が不安定

40

200
0500,000

1,000,000

1,500,000

2,000,000

2,500,000
DQN

3,000,000

Duel. DQN

3,500,000

4,000,000

4,500,000

5,000,000-ハイパーパラメータの数が多く，本検討ではハイパーパラメータの調整が不足している為
22

2304 研究結果 Result

DQN vs Duel. DQN
120100·Duel. DQN- 4,000,000ステップで最高報酬-それ以降は過学習によって，報酬が低下

8060402000500,000

1,000,000

1,500,000

2,000,000

2,500,000
DQN

3,000,000

3,500,000

4,000,000

4,500,000

5,000,000→ 収束を早める効果を確認

Duel. DQN

Dueling Networkの使用：収束を早めることが出来るが，ハイパーパラメータの探索がより重要になる

04 研究結果 Result

作成エージェントによるプレイ動画
Video·入力画像 ：RGB（カラー画像として使用）·使用手法：DQN·学習ステップ数：500万·カラー画像の使用によって，パワークッキーを使った敵の撃退が増加した·4280点獲得（ 中間発表時では最高1370点）·学習時間の増加がデメリット

24

05

まとめConclusion

25

05 まとめ Conclusion

まとめConclusion·本研究では、 Ms. Pac-Manというゲームを題材に各種強化学習手法を用いて実験を行った．
·DQNを用いて5,000,000ステップ学習させたものが平均獲得報酬が最も大きいという結果になった．
·今回の問題における各手法の結果や特徴について評価することが出来た．

26

05 まとめ Conclusion

今後の課題
Future Work

·今回実験をしていない手法による評価ex)

Rainbow [7]·ハイパーパラメータや層の適切なチューニングの検討

図：Rainbow

27

05 まとめ Conclusion

参考文献 1References[1]総務省. 平成28年版 情報通信白書｜人工知能（AI）の研究の歴史,
http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h28/html/nc142120.html .
[2] David Silver et al. “Mastering the game of Go with deepneural networks and tree search”, Nature529, 484-489(2016).
[3] HEROZ株式会社, Ponanzaにおける強化学習とディープラーニン
グの応用, https://www.slideshare.net/HEROZ-JAPAN/ponanza83900718.
[4]Mnih, Volodymyr, et al. "Human-level control through deep
reinforcement learning." Nature 518.7540 (2015)

05 まとめ Conclusion

参考文献 2References[5] Van Hasselt, Hado, Arthur Guez, and David Silver. "Deepreinforcement learning with double q-learning." Thirtieth AAAI
conference on artificial intelligence. 2016
[6] Wang, Ziyu, et al. "Dueling network architectures for deep
reinforcement learning." arXiv preprint arXiv:1511.06581 (2015).
[7]Matteo Hessel, Joseph Modayil, Hado van Hasselt, Tom Schaul,Georg Ostrovski, Will Dabney, Dan Horgan, Bilal Piot,
Mohammad Azar, David Silver. “Rainbow: Combining
Improvements in Deep Reinforcement
Learning ”arXiv:1710.02298v1 [cs.AI] 6 Oct 2017

ご清聴ありがとうございました
Thank you for watching