JAWS-UG 福岡 #9：AWS DeepRacer 勉強会 in 福岡

AWS DeepRacer への取り組みについて

株式会社DNPデジタルソリューションズ
相場 武友
2019年7月24日© 2019 DNP Digital Solutions Co., Ltd.

自己紹介

名前誕生日
出身

相場 武友
1983年生まれ奈良県

フルマラソン完走しました！

趣味バスフィッシング、ボウリング、ランニング（初心者）
好きな動物 インコ（小鳥）【経歴】
2003年頃
同年
2011年頃
2014年7月

大阪のゲーム系専門学校卒業
福岡のゲーム会社に就職（PS2, PS3, XBOX, PSP）
BtoB向けアプリケーション開発会社に中途入社（iOS）㈱DNPデジタルソリューションズに中途入社（福岡に在籍）【好きな言語】
PHP, Swift, Kotlin, and more …
© 2019 DNP Digital Solutions Co., Ltd.

1

会社紹介募集職種• システムエンジニア• インフラエンジニア• Webディレクター
© 2019 DNP Digital Solutions Co., Ltd.

2AWS DeepRacer への取り組みについて© 2019 DNP Digital Solutions Co., Ltd.

3

・・・のまえに© 2019 DNP Digital Solutions Co., Ltd.

4

DNPとしての取り組みをQiitaに投稿しています！
DNPとしてDeepRacerに取り組み始めた当初から、実はQiitaに投稿していました！

https://qiita.com/organizations/dnp© 2019 DNP Digital Solutions Co., Ltd.

5

ここからが本題© 2019 DNP Digital Solutions Co., Ltd.

6

Before AWS Summit Tokyo© 2019 DNP Digital Solutions Co., Ltd.

7

Before AWS Summit Tokyo2019年2月初旬
2月中旬～

社内にて、DeepRacer への取り組み参加者の募集がはじまる。

参加表明！

募集した人に対して順次 この取り組みや社内GP、AWS Summit Tokyo までの流れについての説明がおこなわれる。

説明を受ける。

4/1業務過多のため、DeepRacerには触れず・・・

月1ペースで開催される社内GPの１回目が３月末に実施されました。
DeepRacer リーグの詳細が未発表であったため、発表されるまでの数回は5週走った中での最速タイム（奇跡の一周）を競っていました。

社内GP直前に学習させるも、結果は1週も出来ないというオチでした。

このラップタイムについては、Evaluation時に出力された CloudWatch Log に溜まっているログからラップタイムを計測していました。
（計測スクリプトはQiita参照）© 2019 DNP Digital Solutions Co., Ltd.

8

Before AWS Summit Tokyo
4/11

月1の社内GP後には上位３チームのノウハウ共有がおこなわれておりました。
ただし、モデルや報酬関数の共有はおこなわれておらず、あくまでも以下の点が共有対象でした。

© 2019 DNP Digital Solutions Co., Ltd.

•

どういった理論で報酬を与えている？

•

アクションの数やパターンは？

•ハイパーパラメータはどうしてる？

DeepRacer
触れていない期間・・・

9

社内GPについて、余談ですが・・・
社内GPでは実機を利用したGPも予定されており、コースも実機発売に向けて用意していました。
（コース自体は5月末ころ？に完成）ですが、、、ご存知の通り、いまだに日本では実機が発売されておらず、実際に上記コースを利用できたのは 6/27-28 に開催した社外向けイベント「AWS DeepRacer GP powered by DNP」 が初となります。
※6/27-28ではAWSさまより実機を借りて実施しました。

© 2019 DNP Digital Solutions Co., Ltd.

10

Before AWS Summit Tokyo
4/22

このタイミングで弊社から数名が AWS Summit Singapore に参加！
DeepRacerが目的ではなかったみたいなのですが、結果的に「DeepRacerコンソールを用いたワークショップ」と「DeepRacerリーグ in Singapore」に参加してきました。

DeepRacer触れていない期間・・・

日本に戻って共有された内容は、主に以下の点となります。
（※内容の一部が上記記事にも記載されております。）•DeepRacerコンソールで出来ること•実機で操作できる内容•シミュレータと実機でのタイムの差© 2019 DNP Digital Solutions Co., Ltd.

11

Before AWS Summit Tokyo
5月中旬ころ業務過多な状況が少し落ち着き、ようやく本格的に参戦！
個人としては、「SageMaker + RoboMaker」をほとんどまともに触っていない状況から、DeepRacerコンソールを利用することになりました。
本格的に開始するにあたり、以下の仮説を立てて学習を始めています。

• 実機ではwaypointは有効なのか？
• 取れるアクションが少ない方が安定するのでは？

ゲーム業界自体のCPUプログラム経験より• 貪欲にセンターラインを攻める方が、アウトコース気味になった際も立て直しやすいのでは？
※ハイパーパラーメータについては、ほとんどデフォルトのままとしていました。

© 2019 DNP Digital Solutions Co., Ltd.

12

ハイパーパラーメータ

エポック数
トレーニングが毎回実行されるときにアルゴリズムがバッチを実行してネットワークの重みを更新する回数です。
値を小さくすると、より安定した更新が促進されますが、トレーニングは遅くなります。
ここに掛ける係数が「重み」

割引係数
将来の報酬が期待される報酬にそのくらい寄与するかを指定します。
値が大きいほど、エージェントはアクションを実行すると見なしている寄与の範囲が広くなります。

© 2019 DNP Digital Solutions Co., Ltd.

13AWS Summit Tokyo© 2019 DNP Digital Solutions Co., Ltd.

14AWS Summit Tokyo 直前！
5月中旬ころ報酬関数は、センターラインを貪欲に攻めるように係数を調整しています。

方針（立てていた仮説）© 2019 DNP Digital Solutions Co., Ltd.

•

実機ではwaypointは有効なのか？

•取れるアクションが少ない方が安定するのでは？

•

貪欲にセンターラインを攻める方が、アウトコース気味になった際も立て直しやすいのでは？

15

AWS Summit Tokyo !!
6/12 - 14

当日まで実機走行させることが出来なかったため複数のモデルを用意！

• 前述の方針で作成した完走率の高い、MaxSpeed違いのモデル• 上記モデルのうち、一番完走率/ラップタイムの良いモデルに対して追加で Kumo Torakku を1時間追加学習したモデル
re:Invent 2018 コースでは右カーブが一度しか登場しないため、ここでコースアウトするとロスする時間が大きいと考え、左右どちらのカーブも多い Kumo Torakku コースを追加学習させた。

re:Invent 2018

Kumo Torakku Training※re:Inventコースでの完走率は下がりましたが、結果的には・・・© 2019 DNP Digital Solutions Co., Ltd.

16

After AWS Summit Tokyo© 2019 DNP Digital Solutions Co., Ltd.

17

After AWS Summit Tokyo
6/12

AWS Summit Tokyoを終えて、社内の人がログ分析ツールをもちいて解析してくれました。
（ログ分析ツールの使い方については© 2019 DNP Digital Solutions Co., Ltd.に記載されております。）

18

Tokyo Summit モデルのログ分析ツール 解析結果
Reward distribution for all actions
トレーニングの結果、どのルートをどれだけ多く通過しているのを視覚化しています。

© 2019 DNP Digital Solutions Co., Ltd.

20

Tokyo Summit モデルのログ分析ツール 解析結果
Path taken for top reward iteration
特定エピソードの走行の軌跡が表示されています。

© 2019 DNP Digital Solutions Co., Ltd.

21

Tokyo Summit モデルのログ分析ツール 解析結果
Action breakdown per iteration and historgram
for action distribution for each of the turns
コースのどの部分で、どのアクションが選択されているのかを可視化しています。

© 2019 DNP Digital Solutions Co., Ltd.

23

Tokyo Summit モデルのログ分析ツール 解析結果
Evaluation Run Analysis （Evaluation時の走行軌跡）© 2019 DNP Digital Solutions Co., Ltd.

24

Tokyo Summit モデルのログ分析ツール 解析結果
Simulation Image Analysis - Probability distribution on decisions (actions)
報酬の高いアクションの決定に関する確率分布© 2019 DNP Digital Solutions Co., Ltd.

25

Tokyo Summit モデルのログ分析ツール 解析結果

AWS Tokyo Summit 時の最速モデル© 2019 DNP Digital Solutions Co., Ltd.

左記の数十分前のモデル

26

時間があれば・・・© 2019 DNP Digital Solutions Co., Ltd.

27

Seleniumを利用して Virtual Circuit Submit の自動化

© 2019 DNP Digital Solutions Co., Ltd.

28

ご静聴ありがとうございました© 2019 DNP Digital Solutions Co., Ltd.

29