週刊Transformer（画像認識向け）2号

凄まじい勢いで増殖中のTransformer論文＋αにとりあえず、目を通しつつコメントを残していく。内容があっている保証はない。

[The Modern Mathematics of Deep Learning](https://arxiv.org/pdf/2105.04026.pdf)
Deep learningのモヤモヤしたところを数学的に体系立ててみた質問集。

[S2-MLP: Spatial-Shift MLP Architecture for Vision](https://arxiv.org/pdf/2106.07477v1.pdf)
Baidu論文。MLP-mixerを良くしたよ。channel mixingのみですごくシンプル。

[Batch Normalization Orthogonalizes Representations in Deep Random Networks](https://arxiv.org/pdf/2106.03970.pdf)
BNはRepresentationをOrthogonalizeすることでうまく行っているのではないか？　OrthogonalityによりSGDの精度は変わる。初期にOrthogonalizeさせておけばBNなくてもSGDを速く収束させられる。

[Rethinking “Batch” in BatchNorm](https://arxiv.org/pdf/2105.07576.pdf)
FAIR論文。BNのBatchのDistributionをきちんと調べてみた。

[CoAtNet: Marrying Convolution and Attention for All Data Sizes](https://arxiv.org/pdf/2106.04803.pdf)
Google論文。ConvとAttentionのHybridネットワークCoAtNet（コートネットと呼ぶ）を作成。ImageNetで、他のデータなし86.9% top-1、もっとデータを足すと89.8%でSOTA。

[Does Knowledge Distillation Really Work?](https://arxiv.org/pdf/2106.05945.pdf)
GoogleとNYU論文。Distillation思いの他うまくいかないんだけど。

[Knowledge distillation: A good teacher is patient and consistent](https://arxiv.org/pdf/2106.05237.pdf)
Google論文。Distillationを細かく調べた。ResNet50が更に良くなる。

[Loss landscapes and optimization in over-parameterized non-linear systems and neural networks](https://arxiv.org/pdf/2003.00307.pdf)
DNNみたいなOver parameterizedなモデルは、PL conditionを満たせ（Wideなモデルなら）ばSGDで解があり、速く収束する。

[DETReg: Unsupervised Pretraining with Region Priors for Object Detection](https://arxiv.org/pdf/2106.04550.pdf)
self-supervised pretraining + DETR

[Universal Adder Neural Networks](https://arxiv.org/pdf/2105.14202.pdf)
CNNを全てAdderに変更して、計算を簡単にする。
___________

[You Only Look at One Sequence: Rethinking Transformer in Vision through Object Detection](https://arxiv.org/pdf/2106.00666.pdf)
YOLO+ViT。DETRに似てるけどちょっと違う。小さいモデルだとDETRより良い。

[BEIT: BERT Pre-Training of Image Transformers](https://arxiv.org/pdf/2106.08254.pdf)
Microsoft論文。Self-supervisedの手法で、ViTを良くする。

[Vision Transformers with Patch Diversification](https://arxiv.org/pdf/2104.12753.pdf)
ViTの学習が不安定なのをモデルを変えず、Loss関数を変えて解消。

[Chasing Sparsity in Vision Transformers: An End-to-End Exploration](https://arxiv.org/pdf/2106.04533.pdf)
ViTのSparsityを使った圧縮。

[CAT: Cross Attention in Vision Transformer](https://arxiv.org/pdf/2106.05786.pdf)
ViTでLocalityとPyramid構造を使った圧縮。

[Scaling Vision with Sparse Mixture of Experts](https://arxiv.org/pdf/2106.05974.pdf)
Google論文。ViTでSparsityを使って、必要のないTokenの計算をしないで圧縮。

[Fully Transformer Networks for Semantic Image Segmentation](https://arxiv.org/pdf/2106.04108.pdf)
Semantic segmentationをTransformerのみ（Conv層を混ぜない）で行う。Pyramid構造ありのEncoder-Decoder構造。

[Rethinking Channel Dimensions for Efficient Model Design](https://arxiv.org/pdf/2007.00992.pdf)
チャンネル方向にネットワーク圧縮するための新しいNAS考えたよ。

[Revisiting Contrastive Methods for Unsupervised Learning of Visual Representations](https://arxiv.org/pdf/2106.05967.pdf)
データが偏っている場合のcontrastive self-supervised modelについて。

[A Survey of Transformers](https://arxiv.org/pdf/2106.04554.pdf)
TransformerのSurvey。Transformer圧縮向けx-former系の分類。

[Beyond BatchNorm: Towards a General Understanding of Normalization in Deep Learning](https://arxiv.org/pdf/2106.05956.pdf)
いろんなNormを比較。