Deep Learning: A Survey of Surveys

# はじめに
深層学習に関する調査論文の調査を行い、まとめました。今回の記事は、僕が勉強した、もしくは今後その分野を学ぶ際に、使用する論文を一度まとめようと思い書きました。ですので、ここにあげた調査論文を全て読んでいる訳ではありません(恥ずかしながら…)ので、質と言いますか内容を保証するものではありません。全然見当違いなことを言っていた場合はご指摘くだされば幸いです。また、オススメの調査論文等があれば、ここにのっている分野問わず教えていただければと思います。それに加え、僕の研究の内容の関係上、機械学習の解釈可能性に関する内容が少し多めになっています...

## 取り上げる内容
・DeepLearningに関する基礎的な知識
・解釈可能性(Interpretability)/説明可能性(Explainability, XAI)
・Activation Maximization
・異常検知
・Self-supervised learning
・Multi-output Learning
・GNN(Graph Neural Networks)
・物体検出
・推薦システム
・超解像
・GAN
・Adversarial Examples
・単眼深度推定
・自然言語処理
・顔認識
・次元圧縮
・時系列
・Multi-Object Tracking
・距離計算
・Data Augmentation
・VAE
・Graph Kernels
・特徴点マッチング
・3D Data
・音声生成
・活性化関数
・Dropout

# DeepLearningに関する基礎的な知識
基礎的な知識と書いてありますが、これはどのタスクに関しても使えそうという意味で基礎に位置付けて紹介しています。決して簡単という意味であったり、これは最低限知っておきましょうというものではないです。

### 日本語文献
・[物体認識のための畳み込みニューラルネットワークの研究動向](http://search.ieice.org/bin/summary.php?id=j102-d_3_203&category=D&year=2019&lang=J&abst=)
著者：内田 祐介,山下 隆義
[論文情報](http://search.ieice.org/bin/summary.php?id=j102-d_3_203&category=D&year=2019&lang=J&abst=)

・[深層学習を用いた画像識別タスクの精度向上テクニック](http://search.ieice.org/bin/summary_advpub.php?id=2018JDR0001&category=D&lang=J&abst=)
著者：矢野 正基,大賀 隆裕,大西 正輝
[論文情報](http://search.ieice.org/bin/summary_advpub.php?id=2018JDR0001&category=D&lang=J&abst=)

### 書籍
・[Deep Learning](http://www.deeplearningbook.org/)
著者：Ian Goodfellow and Yoshua Bengio and Aaron Courville

・[Dive into Deep Learning](https://d2l.ai/)
著者：Aston Zhang, Zack C. Lipton,Mu Li,Alex J. Smola

# 解釈可能性(Interpretability)/説明可能性(Explainability, XAI)
機械学習、特に深層学習における解釈可能性、説明可能性に関する研究をまとめた資料です。

### 日本語文献
・[【記事更新】私のブックマーク「機械学習における解釈性（Interpretability in Machine Learning）」](https://www.ai-gakkai.or.jp/my-bookmark_vol33-no3/)
深層学習に限った話ではないですが、数少ない日本語の記事ですので、参考になると思います。

・[【記事更新】私のブックマーク「説明可能AI」（Explainable AI）](https://www.ai-gakkai.or.jp/my-bookmark_vol34-no4/)
上記の記事を書かれた原先生の更新された記事です．例えば，Guided BackPropagationは，モデルの重みを初期化しても可視化できてしまうなどのあまり良くない性質があるような説明方法の見直しが起きているなど，昨今のXAIの動向がまとめられています．一読の価値は非常にあると思います．

・[ディープラーニングの判断根拠を理解する手法]
(https://qiita.com/icoxfog417/items/8689f943fd1225e24358)(Qiita記事)
有名な記事です。上記の記事を書かれた原先生も講演内(先生のHPなどに乗っておりますので、興味のある方は是非)で紹介なされていました。

### 文献
・[A Survey Of Methods For Explaining Black Box Models](https://arxiv.org/abs/1802.01933)
著者：Riccardo Guidotti, Anna Monreale, Salvatore Ruggieri, Franco Turini, Dino Pedreschi, Fosca Giannotti
[論文情報](https://kdd.isti.cnr.it/publications/survey-methods-explaining-black-box-models)

・[Visual Interpretability for Deep Learning: a Survey](https://arxiv.org/abs/1802.00614)
著者：Quanshi Zhang, Song-Chun Zhu
[論文情報](https://link.springer.com/article/10.1631/FITEE.1700808)


・[Visual Analytics in Deep Learning: An Interrogative Survey for the Next Frontiers](https://arxiv.org/abs/1801.06889)
著者：Fred Matthew Hohman ; Minsuk Kahng ; Robert Pienta ; Duen Horng Chau View All Authors
[論文情報](https://ieeexplore.ieee.org/abstract/document/8371286)


・[Peeking Inside the Black-Box: A Survey on Explainable Artificial Intelligence (XAI)](https://ieeexplore.ieee.org/document/8466590)
著者：Amina Adadi, Mohammed Berrada
[論文情報](https://ieeexplore.ieee.org/document/8466590)

・[Explaining Explanations: An Overview of Interpretability of Machine Learning](https://arxiv.org/pdf/1806.00069.pdf)
著者：Leilani H. Gilpin, David Bau, Ben Z. Yuan, Ayesha Bajwa, Michael Specter, Lalana Kagal
[論文情報](https://ieeexplore.ieee.org/document/8631448)

・[Techniques for Interpretable Machine Learning](https://arxiv.org/abs/1808.00033)
著者：Mengnan Du, Ninghao Liu, Xia Hu

・[handong1587さんのGithubページ](https://github.com/handong1587/handong1587.github.io/blob/master/_posts/deep_learning/2015-10-09-visulizing-interpreting-cnn.md)
論文ではないですが、論文をGithub上にまとめてくれています。参考になると思います。

・[Interpretable Machine Learning](https://leanpub.com/interpretable-machine-learning)
著者：Christoph Molnar
論文ではないですが、最新の手法まで乗っていると思われます。

・[Explainable and Interpretable Models in Computer Vision and Machine Learning](https://www.springer.com/us/book/9783319981307)
おそらく、今現在の機械学習の解釈可能性に関する研究をまとめた書籍のうち最新のもの。(書籍なので有料)

### その他学会
これを読みたいです！というものはわからないですが、とりあえずここをあとで見なければと思われれるワークショップなどなどです。Tutorialなどでも行われているようですので、是非見たいところですね。
・[IJCAI18](http://www.ijcai-18.org/workshops/index.html)のWorkshops(W17)
・[Interpretable Machine Learning for Computer Vision, CVPR2018](https://interpretablevision.github.io/)
・[Interpretable Machine Learning, NIPS17](https://arxiv.org/html/1711.09889)

# Activation Maximization
特定のユニットの出力を最大にするようなサンプルを生成することで，ユニットの持つ役割を把握しようとする分野の研究です．モデルのデバッグなどに使用されます．

[Understanding Neural Networks　via Feature Visualization: A survey](https://arxiv.org/abs/1904.08939)
著者：Anh Nguyen, Jason Yosinski, Jeff Clune

# 異常検知
・[Deep Learning for Anomaly Detection: A Survey](https://arxiv.org/abs/1901.03407)
著者：Raghavendra Chalapathy, Sanjay Chawla

日本語でまとめ直してくださっている方の資料はこちら。
[[DL輪読会]Deep Learning for Anomaly Detection: A Survey](https://www.slideshare.net/DeepLearningJP2016/dldeep-learning-for-anomaly-detection-a-survey-131436499)

# Self-supervised learning
明示的な教師を与えないで、そのタスクと同様の性能を発揮するようなモデルを作成しようとする試みですね．

・[Self-supervised Visual Feature Learning with Deep Neural Networks: A Survey](https://arxiv.org/abs/1902.06162)
著者：Longlong Jing, Yingli Tian

・[CS294-158 Deep Unsupervised Learning Spring 2019](https://sites.google.com/view/berkeley-cs294-158-sp19/home?authuser=1)
[このTwitterの投稿](https://twitter.com/pabbeel/status/1097235864290131968)より引用しました。

# Multi-output Learning
・[A Survey on Multi-output Learning](https://arxiv.org/abs/1901.00248)
著者：Donna Xu, Yaxin Shi, Ivor W. Tsang, Yew-Soon Ong, Chen Gong, and Xiaobo Shen

# GNN(Graph Neural Networks)
すみません、この分野は全然詳しくないので、他の方がTwitterでまとめたものを完全に転用しています。

・[A Comprehensive Survey on Graph Neural Networks](https://arxiv.org/abs/1901.00596)
著者：Zonghan Wu, Shirui Pan, Fengwen Chen, Guodong Long, Chengqi Zhang, Philip S. Yu

・[Graph Neural Networks: A Review of Methods and Applications](https://arxiv.org/abs/1812.08434)
著者：Jie Zhou, Ganqu Cui, Zhengyan Zhang, Cheng Yang, Zhiyuan Liu, Maosong Sun

・[Deep Learning on Graphs: A Survey](https://arxiv.org/abs/1812.04202)
著者：Ziwei Zhang, Peng Cui, Wenwu Zhu


# 物体検出
・[A Survey of Deep Learning-based Object Detection](https://arxiv.org/abs/1907.09408)
著者：Licheng Jiao, Fan Zhang, Fang Liu, Shuyuan Yang, Lingling Li, Zhixi Feng, Rong Qu

・[Object Detection with Deep Learning: A Review](https://arxiv.org/abs/1807.05511)
著者：Zhong-Qiu Zhao, Peng Zheng, Shou-tao Xu, Xindong Wu
[論文情報](https://ieeexplore.ieee.org/abstract/document/8627998)

・[Deep Learning for Generic Object Detection: A Survey](https://arxiv.org/abs/1809.02165)
著者：Li Liu, Wanli Ouyang, Xiaogang Wang, Paul Fieguth, Jie Chen, Xinwang Liu, Matti Pietikäinen

・[hoya012さんのGithubページ](https://github.com/hoya012/deep_learning_object_detection)

# 推薦システム
・[Deep Learning based Recommender System: A Survey and New Perspectives
](https://arxiv.org/abs/1707.07435)
著者：Shuai Zhang, Lina Yao, Aixin Sun, Yi Tay
[論文情報](https://dl.acm.org/citation.cfm?id=3285029)

日本語でまとめ直してくださっている方の資料はこちら。
[[DL輪読会]Deep Learning based Recommender System: A Survey and New Perspectives](https://www.slideshare.net/DeepLearningJP2016/dldeep-learning-based-recommender-system-a-survey-and-new-perspectives)

# 超解像
・[Deep Learning for Image Super-resolution: A Survey](https://arxiv.org/abs/1902.06068)
著者：Zhihao Wang, Jian Chen, Steven C.H. Hoi

# GAN
[Recent Progress on Generative Adversarial Networks (GANs): A Survey](https://ieeexplore.ieee.org/document/8667290)
著者：Zhaoqing Pan, Weijie Yu, Xiaokai Yi, Asifullah Khan, Feng Yuan ,Yuhui Zheng

# Adversarial Examples
・[Generating Textual Adversarial Examples for Deep Learning Models: A Survey](https://arxiv.org/abs/1901.06796)
著者：Wei Emma Zhang, Quan Z. Sheng, Ahoud Abdulrahmn F Alhazmi, Chenliang L

・[Adversarial Attacks and Defences: A Survey](https://arxiv.org/abs/1810.00069)
著者：Anirban Chakraborty, Manaar Alam, Vishal Dey, Anupam Chattopadhyay, Debdeep Mukhopadhyay

・[Threat of Adversarial Attacks on Deep Learning in Computer Vision: A Survey](https://arxiv.org/abs/1801.00553)
著者：Naveed Akhtar, Ajmal Mian
[論文情報](https://ieeexplore.ieee.org/document/8294186)

# 単眼深度推定
・[Monocular Depth Estimation: A Survey](https://arxiv.org/abs/1901.09402)
著者：Amlaan Bhoi

# 自然言語処理
・[A Survey of the Usages of Deep Learning in Natural Language Processing](https://arxiv.org/abs/1807.10854)
著者：Daniel W. Otter, Julian R. Medina, Jugal K. Kalita

・[Modern Deep Learning Techniques Applied to Natural Language Processing](https://nlpoverview.com/)
論文ではないですが、自然言語処理に関する手法を解説してくださっているサイトです。

# 顔認識
・[A Survey to Deep Facial Attribute Analysis](http://arxiv.org/abs/1812.10265)
著者：Xin Zheng, Yanqing Guo, Huaibo Huang, Yi Li, Ran He

・[Deep Face Recognition: A Survey](https://arxiv.org/abs/1804.06655)
著者：Mei Wang, Weihong Deng

・[[DL輪読会]Deep Face Recognition: A Survey](https://www.slideshare.net/DeepLearningJP2016/dldeep-face-recognition-a-survey)
・[Deep Face Recognition: A Survey まとめ](https://note.mu/koichirot11/n/ne4c5fc706362)
この論文について日本語でまとめてくださっている方のサイトです。(厳密には、現在Arxivに挙がっているものとはバージョンが異なります)

# 次元圧縮
Deep Learningではないのですが、よく使うので紹介します...

・[Principal Component Analysis: A Natural Approach to Data Exploration](https://arxiv.org/abs/1804.02502)
著者:Felipe L.Gewers, Gustavo R.Ferreira
よく次元圧縮の方法で使う主成分分析の理論的な説明から応用分野まで多岐にわたり説明しています。


# 時系列
・[Deep learning for time series classification: a review](https://arxiv.org/abs/1809.04356)
Deep Learning を使用した論文のサーベイ．基本的には脳波とかが多そうな印象でしたが，Data Augmentationの方法なども少し乗っていたり，複数のモデルの比較などをしていて参考になると思います．ただ，ResNetが強いらしいです．

著者：Hassan Ismail Fawaz, Germain Forestier, Jonathan Weber, Lhassane Idoumghar, Pierre-Alain Muller
[論文情報](https://link.springer.com/article/10.1007/s10618-019-00619-1)

# Multi-Object Tracking
[Deep Learning in Video Multi-Object Tracking: A Survey](https://arxiv.org/abs/1907.12740)
著者：Gioele Ciaparrone, Francisco Luque Sánchez, Siham Tabik, Luigi Troiano, Roberto Tagliaferri, Francisco Herrera

# 距離計算
ユーグリッド距離やコサイン類似度などのあらゆる距離や類似度がまとめられています．Metric Learning などをする際にご参考ください．

[Distance and Similarity Measures Effect on the Performance of K-Nearest Neighbor Classifier -- A Review](https://arxiv.org/abs/1708.04321)
著者：V. B. Surya Prasath, Haneen Arafat Abu Alfeilat, Omar Lasassmeh, Ahmad B. A. Hassanat, Ahmad S. Tarawneh

# Data Augmentation
画像に対するData Augementationについてまとめた論文です．今までサイトなどでチラ見しながらやっていたので，辞書的に使えるかもしれません．
[A survey on Image Data Augmentation for Deep Learning](https://journalofbigdata.springeropen.com/articles/10.1186/s40537-019-0197-0)
著者：Connor Shorten，Taghi M. Khoshgoftaar 

# VAE
サーベイ論文というよりは参考書です．
[An Introduction to Variational Autoencoders](https://arxiv.org/abs/1906.02691)
著者：Diederik P. Kingma, Max Welling

# Graph Kernels
[A Survey on Graph Kernels](https://arxiv.org/abs/1903.11835)
著者：Nils M. Kriege, Fredrik D. Johansson, Christopher Morris

# 特徴点マッチング
SIFTなどのhandcraftedな手法からSuperPointのようなディープラーニングを使用したモデルまで幅広くまとめられています．

[From handcrafted to deep local features](https://arxiv.org/abs/1807.10254)
著者：Gabriela Csurka, Christopher R. Dance, Martin Humenberger

# 3D Data
[A survey on Deep Learning Advances on Different 3D Data Representations](https://arxiv.org/abs/1808.01462)
著者：Eman Ahmed, Alexandre Saint, Abd El Rahman Shabayek, Kseniya Cherenkova, Rig Das, Gleb Gusev, Djamila Aouada, Bjorn Ottersten

# 音声生成
サーベイ論文というより本です．200ページくらいあります．
[Deep Learning Techniques for Music Generation - A Survey]( https://arxiv.org/abs/1709.01620)
著者：Jean-Pierre Briot, Gaëtan Hadjeres, François-David Pachet

# 活性化関数
swish以降活性化関数の盛り上がりが個人的にあまりなかったように感じますが，いろいろ出ているようです．一度参考までに見ると参考になるかもしれません．

・[Activation Functions: Comparison of Trends in Practice and Research for Deep Learning](https://arxiv.org/abs/1811.03378)
著者：Chigozie Nwankpa, Winifred Ijomah, Anthony Gachagan, Stephen Marshall

こちらは少し古いですが，参考になると思います．
・[Searching for Activation Functions](https://arxiv.org/abs/1710.05941)
著者：Prajit Ramachandran, Barret Zoph, Quoc V. Le

# Dropout
Dropoutのサーベイ論文です．
[Survey of Dropout Methods for Deep Neural Networks](https://arxiv.org/abs/1904.13310)
著者：Alex Labach, Hojjat Salehinejad, Shahrokh Valaee

# その他
・[Best Paper Awards in Computer Science (since 1996)](https://jeffhuang.com/best_paper_awards.html)
各国際学会の歴代BestPaperをまとめてくださっているサイトです。

・[Browse state-of-the-art](https://paperswithcode.com/sota)
コード付きの論文やデータセットなどがまとめられたサイトです。

・[CVPR 2018 完全読破チャレンジ](http://hirokatsukataoka.net/project/cc/cvpr2018survey.html)
コンピュータビジョンに関する有名コミニュティといえば、やっぱりcvpaper.challengeですね！！特にまとめスライドは必見です！！

・[arXivTimes](https://github.com/arXivTimes/arXivTimes)
GithubにArxivで気になった論文を紹介してくださるリポジトリを公開してくださっている方です。

# まとめ
機械学習の諸分野に関する調査論文の調査を行いました。調査と呼ぶより、むしろ僕がこれから読む予定のものや、読んだ内容の整理のためにここにまとめた次第です。他にも勉強した分野、したい分野の調査論文があったら随時追加していきたいと思います。~~Adversarial系とGNN系は完全に無知なので、正直調査論文の良し悪しがわかりませんでした。~~何か良い調査論文があれば、ご紹介していただければと思いますし、何か間違いがあるようでしたらご指摘のほどよろしくお願いいたします。

# 更新記録
・2019/08/05更新
・2019/08/06更新，活性化関数，Dropoutの追加