AWS DeepRacerのはじめかた（3）最初のエンジンを作成

## 目次（投稿一覧）
1. [DeepRacerのはじめかた（1）概要と目次](https://qiita.com/tagucchan/items/06cb3c5c81de766ebe59)
2. [DeepRacerのはじめかた（2）サービスの利用開始と参考費用](https://qiita.com/tagucchan/items/7c80d7e3f872b51e218e)
3. [DeepRacerのはじめかた（3）最初のエンジンを作成](https://qiita.com/tagucchan/items/b3e4a03455ee74becd0e)　**← 表示中**
4. [DeepRacerのはじめかた（4）Evaluation（作成したエンジンを評価）](https://qiita.com/tagucchan/items/1fd99f35061c7a21839f)
5. [DeepRacerのはじめかた（5）ログの場所](https://qiita.com/tagucchan/items/4f69306cf3c552bfcbdd)
6. [DeepRacerのはじめかた（6）モデルのダウンロード方法](https://qiita.com/tagucchan/items/a228cb4d529716bddab9)
7. [DeepRacerのはじめかた（7）Virtual Circuit](https://qiita.com/tagucchan/items/0281d8f99b0386cbbd78)
8. [DeepRacerのはじめかた（8）参考情報 モデルのトレーニングと評価](https://qiita.com/tagucchan/items/14ce383d2a5775aa3f49)

## 概要
エンジン（モデル）作成には強化学習（きょうかがくしゅう）を使います。
**RL は　Reinforcement Learning**の略です。
reward（褒賞、報酬）というものが出てきますが、正しく学習できたときのご褒美（できなかったときの罰）のようなものです。
**強化学習について調べてみてから、以下に挑戦してみてください。**

***[AWS Deep Racer](https://aws.amazon.com/jp/deepracer/)***サイト

## 最初のエンジン（モデル）を作成開始
### 注意：Regionを**米国東部 (バージニア北部)**に変更  
![WS2019051217_0001.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/273559/7e4f91d4-a0c9-7720-b880-00afc1d6b5d5.jpeg)

または、こちらのリンクにアクセス　[AWS DeepRacer](https://console.aws.amazon.com/deepracer/home?region=us-east-1#welcome)　

### AWS DeepRacer　を開始
![WS20190512190500_0000.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/273559/b69d8244-2719-9ada-6d57-502645ee0c52.jpeg)

### Create model
ページの下部にある 「Create model」ボタンを押すと最初のエンジン（モデル）の作成を開始できます。
![WS20190512190536_0000.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/273559/2a10d209-c829-eade-8b5c-c91976e03beb.jpeg)

### Create modelの手順
1. Account resourcesをリセット（初期状態から開始したいときのみ）
2. Model details（名前や備考を記載）
3. Environment simulation（どのコースで学習を進めるかを決定）
4. Action space（ロボットの動作条件を決定）
5. Reward function（強化学習の報酬条件等を記載）
6. Hyperparameters（ハイパーパラメーターを設定）
7. Stop conditions（強化学習を何分行うか） 

### 注意
以降は、Create modelページの項目を***「初期状態」画面***で説明します。
実際は各設定を色々と調整し、より良いモデルの作成にチャレンジすることになります。
また、設定した内容については、キャプチャしたり、メモしておくことをお勧めします。

### Overview
全体手順等の説明です。
![WS20190512200526_0000.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/273559/5772c197-a860-bcb9-ea46-2a0eebf280d8.jpeg)

### Account resources
初期状態から開始したいときのみ　Reset resurces ボタンを押しますが、最初に作成する場合は（作成したところなので）不要だと思います。
緑のチェックマークが表示されていることを確認下さい。
![WS20190512200554_0000.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/273559/39c90098-045b-0b69-fb69-5fc6b2210b04.jpeg)

### Model details
名前や備考を記載します。
***注意：後で変更できない！***
![WS20190512200559_0000.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/273559/21445751-614e-552b-f686-ec0402779379.jpeg)

### Environment simulation
どのコースで学習を進めるかを決定します。
もくもく会の参加者は「re:Invent 2018」を選択してください。
![WS20190512200509_0000.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/273559/c1ca453d-0caa-cec0-8aef-0f439bf7fc2f.jpeg)

### Action space
ロボットの動作条件を決定します。
![WS20190512200527_0000.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/273559/e1e5e8b9-1e10-d521-5174-dd47fa70894b.jpeg)

Action listは設定によって自動的に変更されます。
![WS20190512200549_0000.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/273559/1dfd162e-e670-c389-90f5-02cde1b825ae.jpeg)

### Reward function
強化学習の報酬条件等を記載します。
詳細情報やサンプルについては、こちらを参照ください。
[AWS Input Parameters of the AWS DeepRacer Reward Function](https://docs.aws.amazon.com/ja_jp/deepracer/latest/developerguide/deepracer-reward-function-input.html)
記載が終わったら、必ず「Validate」ボタンで構文に間違いがないかを確認してください。
開始時にも「Validate」のチェックは自動的に行われます。
![WS20190512200558_0000.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/273559/8471d715-5bd6-24c8-6409-7590add00208.jpeg)

### Hyperparameters
ハイパーパラメーターを設定します。
![WS20190512200539_0000.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/273559/6381631d-da5d-065f-1136-75efa26c6ced.jpeg)

### Stop conditions
強化学習を最大何分行うかを設定します。
***注意：この時間＝課金対象になります***
下に注意事項が明記されていますので、必ず確認してください。
長く学習させると、費用が高くなります。
![WS20190512200513_0000.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/273559/c196ecf2-3df0-8df8-52a2-95c07c602f41.jpeg)

## 強化学習を開始
準備が完了したら、「start training」ボタンで、最初のエンジン（モデル）の強化学習を開始します。
開始まで6分程かかりますので、しばらく待ちます。
学習中の参考画面）実際にコースを走る映像も出てきますので、見ていても楽しいです。
![2019_0508_163646_000000.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/273559/de9f25b9-068c-9246-d9a9-7ad30aa96f7c.jpeg)

**注意：**
・この学習中の映像は、学習が終了した後に再生することはできません
　必要な場合は録画しておく必要があります。
　（映像の表示がうまくいかない場合も多いですが、回線やPCの見直しで改善することも。）
・Webブラウザを閉じたり、PCを終了しても学習は続きます
・中止したい場合は画面上の**Stop training**ボタンを押し、確認画面で停止する事で学習を終了させる事ができます。

## 強化学習の完了と最初のエンジン（モデル）が完成
強化学習が終了し、最初のエンジン（モデル）が完成したら、表示がCompletedになります。
![WS20190512200535_0000.JPG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/273559/c51b6a2d-969f-9fcb-b2e5-7a9f41a44cc9.jpeg)

## 移動
**次の記事**
[DeepRacerのはじめかた（4）Evaluation（作成したエンジンを評価）](https://qiita.com/tagucchan/items/1fd99f35061c7a21839f)

**前の記事**
[DeepRacerのはじめかた（2）サービスの利用開始と参考費用](https://qiita.com/tagucchan/items/7c80d7e3f872b51e218e)

**Top 概要と目次　に戻る**
[DeepRacerのはじめかた（1）概要と目次](https://qiita.com/tagucchan/items/06cb3c5c81de766ebe59)