Computer VisionにおけるTransformerとMLP-Mixerの現状
立教大学 人工知能科学研究科

瀧 雅人

今日のメッセージ
ニューラルネット・深層学習の研究を牽引してきた畳み込みネットワークは、必ずしも唯一のモデルではない。
Plan
・CNNと帰納バイアス（10min）
・Visual Transformer（20min）
・MLP-Mixer（20min）
・Conclusion & Discussion（5min）

1. CNNと帰納バイアス

深層学習の能力と汎用性

柔軟なアーキテクチャ
適用先のデータ・ドメインに関する帰納バイアス・事前知識を、ネットワークデザインを通じて自在に反映
柔軟な訓練プロトコル
シンプルな勾配法で訓練できるため、工夫を加えやすい
implicitな正則化効果
表現能力の高い大規模なモデルにもかかわらず、過学習が抑制機械学習＝帰納推論 (inductive reasoning)

観察した有限個の事例 → 普遍法則
汎化generalization

フランシス・ベーコン
source : https://commons.wikimedia.org/wiki/File:Francis_Bacon,_Viscount_St_Alban_from_NPG_(2).jpg

機械学習＝帰納推論 (inductive reasoning)

観察した有限個の事例 → 普遍法則
汎化generalization

フランシス・ベーコン

帰納は合理的正当化が不可能
ヒュームの懐疑デイヴィット・ヒューム
source : https://commons.wikimedia.org/wiki/File:David_Hume.jpg

機械学習＝帰納推論 (inductive reasoning)

平均気温

日時
一昨日 今日 明日機械学習＝帰納推論 (inductive reasoning)

平均気温

予測はここら辺

日時
一昨日 今日 明日機械学習＝帰納推論 (inductive reasoning)

平均気温

予測はここら辺

日時
一昨日 今日 明日

斉一性・単純性(剃刀)などを仮定して初めて予測できる一切の仮定がないと、数学的・論理的には丸暗記した四日分の気温を答える事しかできない機械学習＝帰納推論 (inductive reasoning)

平均気温

日時
一昨日 今日 明日

帰納バイアス：データ以外のモデル・訓練アルゴリ
ズムへの仮定（結果へのバイアス）。これがなければ汎化などしない

CNNの帰納バイアス画像のパターン認識：パターンの局所性、並進不変性、パターンの階層性、…

CNNの帰納バイアス

１次元画像の例：現れる局所パターンの並進不変性
vanilaニューラルネット

畳み込みニューラルネット

w1
w2
w3
w1
w2
w3

→ CNNはhard codeされた強い帰納バイアスを持つ→ 高い汎化能力

深層学習の帰納バイアスさまざま

Inception

MaxPool

Inception

256 320 128 128
ReLU 32160

Inception

MaxPool

DropOut

1000

softmax

Inception

GAP

128 192 64 96
ReLU
12816112 288 64 96

(1,1)

(5,5)

SOS

Inception

(1,1)

x2

64 128 32 32

MaxPoolx1

384 384 128 128
ReLU 48
192

Inception

(3,3)

LSTM2

ReLU
14432

Inception(1,1)

Concat256 320 128 128
ReLU 32160

(1,1)

LSTM2
LSTM1

ReLU
9616

MaxPool
128 256 64 64
ReLU 24128192 208 64 48
ReLU
9616Inception

160 224 64 64
ReLU 24112

Inception

LRN
ReLU
Conv
192, (3,3)
ReLU
64, (1,1)
LRN
Conv
MaxPool
ReLU
64, (7,7), S=2(224,224,3)

LSTM2

GPT
EOS

Transformer

SOSŷ2This is a penŷ1

LSTM1

これYOLO Inception

Seq2Seq→ さまざまなタスクで汎化させるために、さまざまなアーキテクチャ≒帰納バイアスが開発されてきた

CNNの帰納バイアス

これまではCNNがSOTAを更新してきた：
長距離の依存関係、globalな情報がそこまでうまく捉えられない（CNNの帰納バイアスの代償）
畳み込みは帰納バイアスがハードコードされすぎていて、実は限界がある？？（→ ViT）

2. Vision Transformer

自然言語処理モデルにおける進展：Transformer
Transformer[Vaswani et al., Attention is All You Need, 2017]

自己アテンション(self-attention)により、コンテキスト下のトークンの埋め込み表現を学習。長距離依存関係まで学習可能。
→ 飛躍的な性能向上が可能になっただけではなく、超巨大なデータで訓練した超巨大なモデルが続々と誕生（後述）database = {’apple’:1.5, ’berry’: 1.2, ’cherry’:3.1}

database[’apple’] = ?

自然言語処理モデルにおける進展：Transformer
Transformer[Vaswani et al., Attention is All You Need, 2017]

自己アテンション(self-attention)により、コンテキスト下のトークンの埋め込み表現を学習。長距離依存関係まで学習可能。
→ 飛躍的な性能向上が可能になっただけではなく、超巨大なデータで訓練した超巨大なモデルが続々と誕生（後述）database = {’apple’:1.5, ’berry’: 1.2, ’cherry’:3.1}

database[’apple’] = 1.5
クエリ(query)に関してデータベース内を検索自然言語処理モデルにおける進展：Transformer
Transformer[Vaswani et al., Attention is All You Need, 2017]

自己アテンション(self-attention)により、コンテキスト下のトークンの埋め込み表現を学習。長距離依存関係まで学習可能。
→ 飛躍的な性能向上が可能になっただけではなく、超巨大なデータで訓練した超巨大なモデルが続々と誕生（後述）database = {’apple’:1.5, ’berry’: 1.2, ’cherry’:3.1}

database[’strawberry’] = ?

自然言語処理モデルにおける進展：Transformer
Transformer[Vaswani et al., Attention is All You Need, 2017]

自己アテンション(self-attention)により、コンテキスト下のトークンの埋め込み表現を学習。長距離依存関係まで学習可能。
→ 飛躍的な性能向上が可能になっただけではなく、超巨大なデータで訓練した超巨大なモデルが続々と誕生（後述）database = {’apple’:1.5, ’berry’: 1.2, ’cherry’:3.1}
クエリにとって
0.008
0.982
0.01 のキーの重要度
database[’strawberry’] = ?

自然言語処理モデルにおける進展：Transformer
Transformer[Vaswani et al., Attention is All You Need, 2017]

自己アテンション(self-attention)により、コンテキスト下のトークンの埋め込み表現を学習。長距離依存関係まで学習可能。
→ 飛躍的な性能向上が可能になっただけではなく、超巨大なデータで訓練した超巨大なモデルが続々と誕生（後述）database = {’apple’:1.5, ’berry’: 1.2, ’cherry’:3.1}
クエリにとって
0.008
0.9820.01 のキーの重要度
database[’strawberry’] = 0.008*1.5 + 0.982*1.2 + 0.01*3.1= 1.2214

token mixing自然言語処理モデルにおける進展：Transformer
Transformer[Vaswani et al., Attention is All You Need, 2017]

自己アテンション(self-attention)により、コンテキスト下のトークンの埋め込み表現を学習。長距離依存関係まで学習可能。
→ 飛躍的な性能向上が可能になっただけではなく、超巨大なデータで訓練した超巨大なモデルが続々と誕生（後述）database = {’This’:1.5, ’is’: 1.2, ’a’:-1.3, ’pen’:3.1}
このコンテキスト下でのクエリにとってのキーの重要度
database[’pen’] = 1.8*1.5 + 0.2*1.2 + 0.001*-1.3 + 1.2*3.1≠ 3.1 コンテキストを取り込んだ埋め込み表現

Transformer（GPT）のスケーリング則1 PF-day = 1015 ⇥ 24 ⇥ 60 ⇥ 60 = 8.64 ⇥ 1019 不動⼩数点演算
WebText2 datasetで訓練[OpenAI, Scaling Laws for Neural Language Models, 2020](深さや幅のような詳細にはあまり依存せず)
３スケールさえ増やせばボトルネックなくス
ケールしてゆく！まだ飽和は見られない。
→ まだまだTransformerでいける！投資の効果もスケーリング則で予測できる！

Transformer（GPT）のスケーリング則[OpenAI, Scaling Laws for Neural Language Models, 2020]

データ効率：大きいモデルの方が少ないサンプル(と少ないステップ)で同じ性能に到達するコンピュータビジョンへの影響
Vision Transformer[Google Research, Brain Team, AN IMAGE IS WORTH 16X16 WORDS, 2020]

CNNのハードコードされた帰納バイアスは不要。より弱く柔軟な帰納バイアス(Transformer)でもSOTA画像認識モデルができる。
→ 大規模なデータでは、必要な帰納バイアスはTransformerがデータから学びとる。CNNにはないグローバルなパターンの学習も。

Vision Transformer (ViT)

単語と異なり、ピクセルは明確な意味を運ばない。
→ パッチをトークンにする（若干の二次元情報）

・・・

Vision Transformer (ViT)
画像の各パッチの埋め込み表現ベクトルを、周辺のコンテキストを自己アテンションで取り込むことで学習

=

Σ

Att

(key, value),querykey*valueVision Transformer (ViT)
画像の各パッチの埋め込み表現ベクトルを、周辺のコンテキストを自己アテンションで取り込むことで学習

=

Σ

Att

(key, value),querykey*value・・・
query・・・

Vision Transformer (ViT)「ImageNetのような中規模のデータセットで、強力な正則化を行わずに学習した場合、これらのモデルは、同等のサイズのResNetsよりも数％ポイント低い控えめな精度を得ます。この一見がっかりするような結果は、予想されたものです。トランスフォーマーには、CNN固有の帰納的バイアスがないため、十分な量のデータでトレーニングしてもうまく汎化できないからです。」「しかしより大規模なデータセット（14M〜300M枚の画像）でモデルを学習させると、状況は一変します。大規模な学習が帰納的バイアスに勝ることがわかったのです。・・・公開されているImageNet-21kデータセットまたはGoogle社内のJFT-300Mデータセットで事前学習を行うと、ViTは複数の画像認識ベンチマークにおいて最先端に近づくか、または凌駕します。」[Google Research, Brain Team, AN IMAGE IS WORTH 16X16 WORDS, 2020]

ImageNet acc@1: 88.55%
ImageNet-ReaL acc@1: 90.72%
CIFAR-100 acc@1: 94.55%

Vision Transformer (ViT)：Cons & Pros

・大規模データでは、CNNを凌駕する性能
・転移学習で下流タスクでも良いモデルができる・物体検知など、さまざまなタスクでも研究が進展

・過学習しやすいので、訓練プロトコルに注意が必要・小・中規模データでスクラッチからの訓練が困難

ViTのスケーリング則とその飽和[Google Research, Brain Team, Z rich, Scaling Vision Transformers, 2021]

・大きいモデル(赤)ほどパーレトフロンティア(破線)から離れない・「ベキ則の破れ＝ImageNet自体の削減不能な誤差」が見えている・データ(モデルサイズ)と計算量を固定すると、モデルサイズü(データサイズ)がボトルネック

ViTのスケーリング則とその飽和生成モデルの場合 [OpenAI, Scaling Laws for Autoregressive Generative Modeling, 2020]


1
P (x)
1
Ex⇠P log= Ex⇠P log+ Ex⇠P log
Q(x)
Q(x)
P (x)
クロスエントロピー損失(ViTはエラー率なので違うが)= DKL (P kQ) + S (P )削減不能損失（データ分布P自身のエントロピー）

3. MLP-Mixer

2021年5月第一週のパラダイムシフト
Googleチームの発表を皮切りに、世界四カ所で独立に(?)行われていた研究が堰を切ったようにarXiv上に現れる
Google Research, Brain team 5月4日(火) 投稿[Google Research, Brain Team, Mlp-mixer: An all-mlp architecture for vision. arXiv:2105.01601]

清華大学 5月5日(水) 投稿[M.-H. Guo et al., Beyond self- attention: External attention using two linear layers for visual tasks.
arXiv:2105.02358]

Oxford大学 5月6日(木) 投稿[L. Melas-Kyriazi. Do you even need attention? a stack of feed-forward layers does surprisingly wellon imagenet. arXiv:2105.02723]

Facebook AI, Sorbonne大学 etc. 5月7日(金) 投稿[H. Touvron et al., Resmlp: Feedforward networks for image classification with data-efficienttraining. arXiv:2105.03404]

2021年5月第一週のパラダイムシフト'In this paper we show that while convolutions and attention are both sufficient forgood performance, neither of them are necessary.’ [arXiv:2105.01601]

2021年5月第一週のパラダイムシフト'In this paper we show that while convolutions and attention are both sufficient forgood performance, neither of them are necessary.’ [arXiv:2105.01601]

自己アテンションを単純なMLPの組み合わせに置き換え、SOTA CNNと競争力のある結果を得た。
MLPの能力は、現代的な大規模データと計算資源において十分には再検討されていなかったとも言える。
source : arXiv:2105.01601

source : arXiv:2105.02358

source : arXiv:2105.02723

source : arXiv:2105.03404

MLP-Mixer=ΣAtt,query(key, value)

key*value=
単なるMLPで混合

MLP-Mixer : Token Mixing（自己アテンションの代わり）
MLPで混合MLPで混合MLPで混合channels

t=2

t=3

tokenst=1

t=4t=5

MLP1t(1)Wt0 t Xtc

MLP1

MLP1

0X t0 c =X

MLP-Mixer : Channel Mixing
MLPで混合 MLPで混合MLP2
MLP2
MLP2
MLP2
MLP20
Xtc0 =Xt(2)Wc0 c Xtc＊Transformerのpoint-wise
fully-connectedそのもの

…

MLP-Mixer : 擬似コード

MLP-Mixerの現状
5〜9月の進展：清華大学チームのサーベイ論文[R. Liu et al., ARE WE READY FOR A NEW PARADIGM SHIFT? A SURVEY ON VISUAL DEEP MLP.
arXiv: 2111.04060]

MLP-Mixerの現状
5〜9月の進展：清華大学チームのサーベイ論文[R. Liu et al., ARE WE READY FOR A NEW PARADIGM SHIFT? A SURVEY ON VISUAL DEEP MLP.
arXiv: 2111.04060]

MLP-Mixerの現状
5〜9月の進展：清華大学チームのサーベイ論文[R. Liu et al., ARE WE READY FOR A NEW PARADIGM SHIFT? A SURVEY ON VISUAL DEEP MLP.
arXiv: 2111.04060]

精度のために局所的構造…

CycleMLP（local approachの例）
MLPで混合 MLPで混合MLP2
MLP2
MLP2

カーネルの作用範囲をずらしてゆく→ 畳み込みのように、受容野に局所性を課し精度向上→ 精度は良いが、そもそものMixerのresearch questionがどっかに行ってしまう・・・MLP-Mixerの現状
5〜9月の進展：清華大学チームのサーベイ論文[R. Liu et al., ARE WE READY FOR A NEW PARADIGM SHIFT? A SURVEY ON VISUAL DEEP MLP.
arXiv: 2111.04060]

RaftMLP https://arxiv.org/abs/2108.04384

M2の立浪祐貴さんとの論文
最小限の帰納バイアスで、MLP-Mixerの軽量化・高性能化

問題意識
小〜中規模データでは汎化が難→ 流石に帰納バイアスが不足→ Mixerの良さを損なわない、ミニマルな帰納バイアスは？

flRaftMLP https://arxiv.org/abs/2108.04384

Token混合を水平・垂直方向の変換に分解することで、Mixerに大域的な２次元性の帰納バイアスを持たせる…

attenMLP
…

MLP

MLP

RaftMLP https://arxiv.org/abs/2108.04384

Token混合を水平・垂直方向の変換に分解することで、Mixerに大域的な２次元性の帰納バイアスを持たせる
̀Raft化ʼにより、チャネルの冗長性を空間方向に反映トークン（パッチ）埋め込みの多スケール階層化
ImageNet-1kで、8基のRTX Quadro 8000を使い訓練

4. Conclusion&Discussion

これから？

'We hope that these results spark further research beyond therealms of well established CNNs and Transformers.’ [arXiv:2105.01601]
果たして一過性の発展か？ beyond ImageNetスケールでのアーキテクチャへと結実か？
よりソフトで、より汎用な帰納バイアスが次のディープラーニングの発展の鍵の一つだと思われる。
いずれにせよ汎用アーキテクチャとスケーラビリティが、今後も大規模な成果を出し続けるのは間違いない(Google、Microsoft …)
今後ドメインをまたぐマルチタスクモデルが本格的に重要になるとTransformerの流れが真価を発揮するのではないか？

Appendix

自己アテンション層~k1>

Thisisa~k4>

penseq. len. of keys
seq. len. of queries

seq. len. of keys

dmodelsoftmax↵11 · · · ↵14↵41 · · · ↵44

自己アテンション層

C=↵11 · · · ↵14↵41 · · · ↵44(v1 )1(v1 )dmodel(v2 )1＝(v4 )1O =CW(v4 )dmodel

O~c1>=

X4

`=1

↵1` ~
v`>

X4>~
c4 = `=1 ↵4` ~v`>

BERT：MLM & NSP事前学習に基づくTransformer
y=1 [は]

②

①[名前]

①

C T1 T2 T3 T4 T5 TSEP T’1 T’2 T’3 T’4 T’5[CLS][吾輩][MASK][猫][で][ある][SEP][MASK][は][まだ][ない][EOS]
文1

文2

Vision Transformer (ViT)
y=penguinC T1 T2 T3 T4 T5 T6…

・・・
[CLS]

TL

MLP-Mixer
token mixing

channelstokensLayer Norm

…

MLP1

MLP1

MLP1

MLP2

MLP2
MLP2
MLP2

…

channel mixing

AddAddLayer Norm

MLP2