深層学習関連で面白いと思った資料N選（N=9)

#目的
**深層学習**に関して、自分なりに理解しているが、
理解が間違えている（間違えていることに気づいていないわけだが）ところや、理解しづらいところとか沢山あり、
**たまに、偶然、関心事にちょっとひびく資料に出会うことがある。**
⇒**見失うので、記事で残す。**

#面白いと思った資料
###資料１　『深層学習の汎化に関する 数理的研究の進展』
https://www.gakushuin.ac.jp/~881791/spm/2019/pdf/Taki.pdf


<img width="511" alt="再構成困難.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/342207/714b5e5c-31fc-131d-060a-60387af4eb90.png">

|コメント|
|:---|
|一層一層示されているのが面白かった。|
|**再構成困難**というのが(表現が）興味深かった。<br>深層学習の説明性等で、可視化を試みる例があるが、この資料は、1層1層示されているので、参考になる気がした。|




<img width="516" alt="丸暗記.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/342207/370477d0-a3a4-dd70-6ea6-447c52bf48b6.png">

|コメント|
|:---|
|「**丸暗記**」うんぬんの言葉遣いが面白かった。|



###資料2　『ニューラルネットワークの中をのぞく』
https://ml4a.github.io/ml4a/jp/looking_inside_neural_nets/
<img width="672" alt="一層.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/342207/25ab88d9-fd04-c0f8-0139-6972a751f66b.png">


|コメント|
|:---|
|**1層**というのが斬新（訓練した結果が示されている）。|
|少し関連するが、<br>:question:【疑問点１】　たとえば、VGG16とかで、全結合層が、平面的な位置情報の性質が残っているのか残っていないのかが、ワタシの、最近の疑問点。|




### 資料3　『Tensor』
https://en.wikipedia.org/wiki/Tensor
<img width="742" alt="tensor.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/342207/c893efbe-56b7-e8ef-a9c9-4e1167b3558e.png">

|コメント|
|:---|
|tensorflowの名称などで、tensor（テンソル）という言葉が、深層学習に絡むような、絡まないような感じであるが、テンソル自体が、わりとわかりにくいので、収まりが悪い。|
|テンソルの例を示したこの表は、参考になる。（表の大半は、深層学習とは無関係であるが。）|

### 資料4　ディープラーニングの理論解析、ニューラルネットの未解決問題の解明へ大きく前進 PFN岡野原氏によるAI解説：第43回
https://xtech.nikkei.com/atcl/nxt/mag/rob/18/00007/00010/

>（1）なぜディープラーニングは学習できるのか
（2）なぜディープラーニングは汎化するのか

|コメント|
|:---|
|専門家の間では、この類が十分に議論されていることを、今一度、認識した。|
|->強烈な実成果（実際のメリット）が出ると、初めて、検討がされていたことが認識されると思う。今は、それに該当するものがない？、もしくは、目立っていないと思う。|

###資料5　畳み込みニューラルネットワークの高精度化と高速化

https://www.slideshare.net/ren4yu/ss-145689425

|コメント|
|:---|
|**ネットワークモデルの変遷（の図）**が示されている。意外とそのような図は見ないので、すばらしいのでは？|
|また、この方の発信、沢山のあるので、レベルが高いのだと思う。図を貼りたい気もしたが、、、上記のを直接みて下さい。|
|**今後何度か、ちらちら、見る気がする**|

###資料6　数式の読み方，大学で学ぶ数学公式

https://www.comp.tmu.ac.jp/yosihiro/teaching/how-to-read.pdf

以下、一例を引用。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/342207/8ccce0c8-30d0-2f52-d713-43e7df99c633.png)



|コメント|
|:---|
|**読み方がわかると、理解が深まり、思考が進むのでは？**|



###資料7　『深層学習の数理』
https://www.slideshare.net/trinmu/ss-161240890


<img width="511" alt="再構成困難.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/342207/714b5e5c-31fc-131d-060a-60387af4eb90.png">![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/342207/246e4b1d-8721-be4a-5845-8db166df8f82.png)


|コメント|
|:---|
|すみません、内容、全く理解できていません。|
|タイトル、深層学習の数理通りの内容。182ページもある。|
|**このあたりが大まかに理解できるといいのだが。。。**|
|**『深層NNの局所的最適解は全て大域的最適解』と書かれているが、なぜ、そんな都合のいい話になるのだろう？？**|

###資料8　『ベイズモデリングと歩んだ30年』
https://www.ism.ac.jp/events/2019/meeting1105/ISM_20191105.pdf

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/342207/730cef8e-8169-f5d6-1e11-f0f660eb7d1b.png)




|コメント|
|:---|
|帰納とか演繹という単語が出てたので。。。|



###資料9　『NNが心理学と生理学から離れていった瞬間：Back propagationに関するNature論文(1986)の意義を考える』
https://tjo.hatenablog.com/entry/2018/10/23/080000

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/342207/d061cf72-9ca4-0453-0b5e-768af29564b6.png)



コメント|
|:---|
|『NNが心理学と生理学から離れていった瞬間：Back propagationに関するNature論文(1986)の意義を考える』とういう興味深いタイトルで、内容も面白い。|

#まとめ
特にありません。コメントなどあれば、お願いします。