2018年度DeepLearningサマースクール 強化学習編 第1回 に参加しました

※[はてぶ](https://pollenjp.hatenablog.jp/entry/2018/09/13/011644)の転載です。


いま眠いので表現とかの統一性がなかったりするかと思いますがそのときはごめんなさい。

## 2018年度DeepLearningサマースクール とは
- [2018年度DeepLearningサマースクール（NLP・強化学習）の募集開始 | 東京大学松尾研究室 - Matsuo Lab](https://weblab.t.u-tokyo.ac.jp/2018%E5%B9%B4%E5%BA%A6deeplearning%E3%82%B5%E3%83%9E%E3%83%BC%E3%82%B9%E3%82%AF%E3%83%BC%E3%83%AB%EF%BC%88nlp%E3%83%BB%E5%BC%B7%E5%8C%96%E5%AD%A6%E7%BF%92%EF%BC%89%E3%81%AE%E5%8B%9F%E9%9B%86%E9%96%8B/)
- [深層強化学習講座 | Deep Learning JP](https://deeplearning.jp/reinforcement_cource/)

　最初は東大生限定の講座だったと思ったのですが、その後、他大の学生にも募集範囲を広げていただいたので自分も申し込むことができました。 選考基準の記述については受講者に対して先生が口を滑らしたようです(ここでは控えます)。 倍率は約2倍とか言ってた気がします。

## まずは圧倒的感謝！！！！
　今回のような「講義＋プログラミング＋実行環境」を無料で提供してくださる[Deep Learning JP](https://deeplearning.jp/)関係者の方々には本当に感謝しています。ありがとうございます。


##  本記事の趣旨
　普段、日記のようなものを書かない僕ですが、全6回の講義の雰囲気や内容、感想などをメモのような形で書き残そうと思います。

- [x] 第1回 2018/9/12（水）13〜15時
- [ ] 第2回	2018/9/14 （金）13〜15時
- [ ] 第3回	2018/9/18 （火）13〜15時
- [ ] 第4回	2018/9/20（木）13〜15時
- [ ] 第5回	2018/9/21（金）13〜15時
- [ ] 第6回	2018/9/22（土）13〜15時


## 感想
　初日である今日は講座の趣旨や深層学習の概要についての説明とilectというシステムを使ったコードの実装方法を学びました。

　ilectシステムは事前に登録してもらっているGitHubアカウントで認証しログインします。ブラウザ上でGitLabのような画面が立ち上がります。Python3のコンソール・Terminal・ipynbなどを立ち上げてコードを実装することができます。

　強化学習の勉強題材は[FightingICE](https://github.com/TeamFightingICE/FightingICE)というゲームを使ったプレイヤーの学習です。

<blockquote class="twitter-tweet" data-lang="ja"><p lang="und" dir="ltr"><a href="https://t.co/eZrITD7cpn">https://t.co/eZrITD7cpn</a></p>&mdash; pollenJP(@&#39;ω&#39;@)強化学習の修行中 (@polleninjp) <a href="https://twitter.com/polleninjp/status/1040275259780485120?ref_src=twsrc%5Etfw">2018年9月13日</a></blockquote>
<script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>


　これは立命館大学の Intelligent Computer Entertainment Lab. で開発されている格闘ゲームであり、[Fighting Game AI Competition](http://www.ice.ci.ritsumei.ac.jp/~ftgaic/index.htm)の開発環境とされています（にわか知識）。

　本講座ではチームごとにキャラクターを学習させ、最終日にトーナメント形式で戦わせ優勝を競います。この形式になった理由として「勉強するためでなく、どんな手段を用いてでも、<b>勝つためのAI</b>を作り出すことが大切！」的なことを言っていました。確かにそのとおりだと思いますし、格闘ゲームのほうがモチベも上がります。 そしてなんと今回のトーナメントにはYouTuberの方が人間代表(?)として参加してくださるようですw 誰が来るのでしょうか。

　受講者はilect上でコードを実行させ、vncサーバ画面で、実際に行われている対戦を見ることができます。 

　しかし、今日は初日ということもあり上手く表示されないという方が結構いる様子でした。自分も最初は接続されなかったのですが一度止めてから再度開始したところ上手く表示できました。 以前、受けた[DL4US](http://dl4us.com/)という講座でもilectを使っていたので比較的扱いには慣れていました。

　講義としてはキックをし続けるサンプルコードを実装するだけで終わりましたが、ipynbの形でEx1-Ex6まで用意されているので自分のペースで進めていけると思います。

![rl-lecture-kick.gif](https://qiita-image-store.s3.amazonaws.com/0/195174/1745fc85-86ab-6dd1-fad1-26e27c29803d.gif)


　今回はすでに構築済みの環境を提供してもらっていますが、個人でもDocker等で同様の環境を作れないか模索しようと思ってるところです。

### 追記

　そういえば、早速コードのミスを発見したので修正してコミュニティサイトの方で投下したりして


## 次回
　次回はチームとの顔合わせや本格的な強化学習の講義になると思うので振り落とされないように頑張りたいです。

## ツイート

<blockquote class="twitter-tweet" data-lang="ja"><p lang="ca" dir="ltr">ilectでscreen(@&#39;ω&#39;@) <a href="https://t.co/uPzgOhM5ev">pic.twitter.com/uPzgOhM5ev</a></p>&mdash; pollenJP(@&#39;ω&#39;@)強化学習の修行中 (@polleninjp) <a href="https://twitter.com/polleninjp/status/1039844723244949511?ref_src=twsrc%5Etfw">2018年9月12日</a></blockquote>
<script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>