What they do when in doubt:
a study of inductive bias in seq2seq learners
Eugene Kharitonov, Rhama Chaabouni
紹介者: 栗林樹生 (東北大)※この研究の解説というよりは，とりまく背景・展望について

2021/9/18

最先端NLP1

私達は今異世界に転生しました．

https://item.rakuten.co.jp/to-ki/4589588274127/

2021/9/18

最先端NLP2

私達は今異世界に転生しました．

https://item.rakuten.co.jp/to-ki/4589588274127/

これはボコトっていうんだ
2021/9/18

最先端NLP

3

どれがボコトですか？

LA’ vie avec’ Brocante.

www.amazon.co.jp/dp/B0
0IK5URXM

2021/9/18

最先端NLP

4

どれがボコトですか？
これがボコトかな？

LA’ vie avec’ Brocante.

www.amazon.co.jp/dp/B0
0IK5URXM

同じ形をしたものに同じ名前が割り当てられていると一般化する傾向 Shape bias [Landau et al., 1988]
2021/9/18

ちなみに，ニューラルモデルもshape-biasをもつらしい
Cognitive Psychology for Deep Neural Networks: A Shape Bias Case Study [Ritter+, 2017]
Learning Inductive Biases with Simple Neural Networks [Feinman & Lake, 2018]

最先端NLP5

𝑎𝑎𝑏𝑎𝑎 →𝑏𝑏𝑎𝑏𝑏 →
𝑎𝑏𝑎 →2021/9/18𝑏𝑎?
最先端NLP6

𝑎𝑎𝑏𝑎𝑎 →𝑏𝑏𝑎𝑏𝑏 →𝑏𝑎Linear learner:

𝑎𝑏𝑎 →

𝑎

Hierarchical learner:𝑏

3文字目を出力していた

𝑎𝑎𝑏𝑎𝑎 →
𝑏𝑏𝑎𝑏𝑏 →𝑏𝑎③

ネストの中を出力していた

𝑎𝑎𝑏𝑎𝑎 →
𝑏𝑏𝑎𝑏𝑏 →𝑏𝑎

子供は，言語習得においてhierarchicalな一般化を好む[Perfors+, 2001]

ちなみにCNNはLinear派，Transformer, LSTMはhierarchical派らしい [Kharitonov&Chaabouni, 2021]
2021/9/18

最先端NLP

7

概要: ニューラルネットの帰納バイアスl

ニューラルモデルの帰納バイアス (考え方の癖) を分析- ごく少数 (単一) のインスタンスからどのような汎化をするか
train
test

𝑎𝑎𝑏𝑎𝑎 →
𝑏𝑏𝑎𝑏𝑏 →𝑏𝑎

𝑎𝑏𝑎 → ？

Published as a conference paper at ICLR 2021

train example

aaa ! bbb

test example

aa ! ?

aa ! bbbb

test example

a !?

bb

aabaa ! btest example

aba ! ?

bbb

(add)

bb
(mul)
Add-or-Multiply(count)Count-or-Memorization
train example

bbbb

(mem)

bbb

(mem)

a!a
b!b

train example thrice a ! aaabb(hierar)test exampleathrice b ! ?

(mem)

bbb

(linear)

Hierarchical-or-Linearltrain example(comp)

Composition-or-Memorization

Figure 1: Illustration of the tasks. After training on the train examples (green blocks),
are tested on held-out examples (red blocks). In pink blocks are generalizations accordin
candidate rules.

モデルアーキテクチャ (LSTM, CNN, Transformer) とドロップアウト率
が特にモデルの帰納バイアスに影響を与える

By ak we denote a sequence that contains token a repeated k times. For training, we r
sequences in a standard way: the tokens are one-hot-encoded separately, and we append a
end-of-sequence token to each sequence. Input and output vocabularies are disjoint.

- 層数，隠れ層の次元数，埋め込み層の次元数，オプティマイザ (SGD or Adam) は微小な影響-(residualも関連しそうだが，触れられていない)

Count-or-Memorization: In this task, we contrast learners’ preferences for counting vs. mtion. We train models to fit a single training example with input al and output bl (i.e., to per
mapping al ! bl ) and test it on am with m 2 [l 10, l + 10]. If a learner learns the constant
outputting bl independently of its inputs, then it follows the mem strategy. On the other hgeneralizes to the am ! bm mapping, then the learner is biased toward the count strategy

Add-or-Multiply: This task is akin to the motivating example in Section 1. The single
example represents a mapping of an input string al to an output string b2l . As test inputs, we
am for m in the interval [l 3, l + 3]. We consider the learned rule to be consistent with m
all m, the input/output pairs are consistent with am ! b2m . Similarly, if they are consist
am ! bm+l , we say that the learner follows the addition rule, add. Finally, the learner ca
constant mapping am ! b2l for any m. Again, we call this rule mem.

Hierarchical-or-Linear: For a fixed depth d, we train learners on four training examples xd y
where x, y 2 {a, b}.3 Each training example has a nested structure, where d defines its dlearner with a hierarchical bias (hierar), would output the middle symbol. We also con
linear rule (linear) in which the learner outputs the (d+1)th symbol of its input.
To probe learners’ biases, we test them on inputs with different depths m 2 [d 2, d + 2]. N
to examine the linear rule (i.e. if the learner outputs the (d+1)th symbol of any test inputm), we need m d2 . Similar to the previous tasks, there is no vocabulary sharing between a
inputs and outputs (input and output tokens a and b are different).

2021/9/18

Composition-or-Memorization: We take inspiration from SCAN (Lake & Baroni, 2017),
mark used for studying systematic generalization of seq2seq learners.4 The input vocabular
symbols ai that are one-to-one mapped into N output symbols bi (i.e., ai ! bi ). In additio

最先端NLP

8

概要: ニューラルネットの帰納バイアスl

ニューラルモデルの帰納バイアス (考え方の癖) を分析- ごく少数 (単一) のインスタンスからどのような汎化をするか
train
test

𝑎𝑎𝑏𝑎𝑎 →
𝑏𝑏𝑎𝑏𝑏 →𝑏𝑎

𝑎𝑏𝑎 → ？

Published as a conference paper at ICLR 2021

train example

aaa ! bbb

test example

aa ! ?

aa ! bbbb

test example

a !?

bb

aabaa ! btest example

aba ! ?

bbb

(add)

bb
(mul)
Add-or-Multiply(count)Count-or-Memorization
train example

bbbb

(mem)

bbb

(mem)

a!a
b!b

train example thrice a ! aaabb(hierar)test exampleathrice b ! ?

(mem)

bbb

(linear)

Hierarchical-or-Linearltrain example(comp)

Composition-or-Memorization

Figure 1: Illustration of the tasks. After training on the train examples (green blocks),
are tested on held-out examples (red blocks). In pink blocks are generalizations accordin
candidate rules.

モデルアーキテクチャ (LSTM, CNN, Transformer) とドロップアウト率
が特にモデルの帰納バイアスに影響を与える

By ak we denote a sequence that contains token a repeated k times. For training, we r
sequences in a standard way: the tokens are one-hot-encoded separately, and we append a
end-of-sequence token to each sequence. Input and output vocabularies are disjoint.

- 層数，隠れ層の次元数，埋め込み層の次元数，オプティマイザ (SGD or Adam) は微小な影響-

l(residualも関連しそうだが，触れられていない)

これを知って誰が嬉しいの？
今日の話の主題
On the proper role of linguistically-oriented deep net analysis inlinguistic theorizing [Baroni, 2021] が代弁

2021/9/18

Count-or-Memorization: In this task, we contrast learners’ preferences for counting vs. mtion. We train models to fit a single training example with input al and output bl (i.e., to per
mapping al ! bl ) and test it on am with m 2 [l 10, l + 10]. If a learner learns the constant
outputting bl independently of its inputs, then it follows the mem strategy. On the other hgeneralizes to the am ! bm mapping, then the learner is biased toward the count strategy

Add-or-Multiply: This task is akin to the motivating example in Section 1. The single
example represents a mapping of an input string al to an output string b2l . As test inputs, we
am for m in the interval [l 3, l + 3]. We consider the learned rule to be consistent with m
all m, the input/output pairs are consistent with am ! b2m . Similarly, if they are consist
am ! bm+l , we say that the learner follows the addition rule, add. Finally, the learner ca
constant mapping am ! b2l for any m. Again, we call this rule mem.

Deep netsが言語の諸側面を捉えていることが，言語にHierarchical-or-Linear: For a fixed depth d, we train learners on four training examples xd y
x, y 2 {a, b}.3 Each training example has a nested structure, where d defines its d
ついて何を語ってwherelearner with a hierarchical bias (hierar), would output the middle symbol. We also con
いることになるのlinear rule (linear) in which the learner outputs the (d+1)th symbol of its input.
To probe learners’ biases, we test them on inputs with different depths m 2 [d 2, d + 2]. Nか？ (の一考)
to examine the linear rule (i.e. if the learner outputs the (d+1)th symbol of any test inputm), we need m d2 . Similar to the previous tasks, there is no vocabulary sharing between a
inputs and outputs (input and output tokens a and b are different).

Composition-or-Memorization: We take inspiration from SCAN (Lake & Baroni, 2017),
mark used for studying systematic generalization of seq2seq learners.4 The input vocabular
symbols ai that are one-to-one mapped into N output symbols bi (i.e., ai ! bi ). In additio

最先端NLP

9

帰納バイアス (機械学習)lInductive bias

- The set of assumptions that the learner uses to predict outputs of given inputs that it has not encountered.
- An unbiased learning system’s ability to classify new instances is no better than if it simply stored all the training
instances and performed a lookup when asked to classify a subsequent instance [Mitchell 1980]https://www.mlnar.com/inductive-bias.html

2021/9/18

最先端NLP10

帰納バイアス (機械学習)lInductive bias

- The set of assumptions that the learner uses to predict outputs of given inputs that it has not encountered.
- An unbiased learning system’s ability to classify new instances is no better than if it simply stored all the training
instances and performed a lookup when asked to classify a subsequent instance [Mitchell 1980]https://www.mlnar.com/inductive-bias.html

l

有限のデータから未知のデータについて何か言う際には
仮定 (帰納バイアス) が必要- 関係が線形だと思おう．入力が近ければ出力も近くなるだろう．

ニューラルネットでsoftな表現にしよう．Transformer layerを積みまくろう…
2021/9/18

https://stackmorelayers.be/

最先端NLP11

人の帰納バイアス (言語獲得)l

私たちは有限個の事例 (文) から，見たことのない文を書いたり読んだりできるようになる．しかも，皆同じ文法を獲得する (刺激の貧困, Chomsky)

2021/9/18

最先端NLP12

人の帰納バイアス (言語獲得)l

私たちは有限個の事例 (文) から，見たことのない文を書いたり読んだりできるようになる．しかも，皆同じ文法を獲得する (刺激の貧困, Chomsky)l

何らかの帰納バイアスに従って，言語獲得が進んでいるように見える- それはどんなバイアスか？
- 人は生得的に何かを持っているのか？
- 人間の本質はなにか？

2021/9/18

最先端NLP13

人の帰納バイアス (言語獲得)l

私たちは有限個の事例 (文) から，見たことのない文を書いたり読んだりできるようになる．しかも，皆同じ文法を獲得する (刺激の貧困, Chomsky)l

何らかの帰納バイアスに従って，言語獲得が進んでいるように見える- それはどんなバイアスか？
- 人は生得的に何かを持っているのか？
- 人間の本質はなにか？
We do not learn, and that what we calllearning is only a process of recollection.
-- Plato

All men are created equal-- Thomas Jefferson

I think; therefore I am-- Rene Descartes

No man’s knowledge here can go beyond his experience.
-- John Locke

A consistent materialist would consider it as self-evident that the mind has very
important innate structures, physically realized in some manner. Why should it beotherwise?
-- Noam Chomsky

There has to be innate circuitry that does the learning, that creates theculture, that acquires the culture, and that responds to socialization.
-- Steven Pinker スティーブン・ピンカー：書き込まれた「空白の石版」 - TED

長きに亘る nature-nurture debate
2021/9/18

最先端NLP14

人の帰納バイアス (言語獲得)l

私たちは有限個の事例 (文) から，見たことのない文を書いたり読んだりできるようになる．しかも，皆同じ文法を獲得する (刺激の貧困, Chomsky)l

何らかの帰納バイアスに従って，言語獲得が進んでいるように見える- それはどんなバイアスか？
- 人は生得的に何かを持っているのか？
- 人間の本質はなにか？
We do not learn, and that what we calllearning is only a process of recollection.
-- Plato

All men are created equal-- Thomas Jefferson

I think; therefore I am-- Rene Descartes

No man’s knowledge here can go beyond his experience.
-- John Locke

A consistent materialist would consider it as self-evident that the mind has very
important innate structures, physically realized in some manner. Why should it beotherwise?
-- Noam Chomsky

There has to be innate circuitry that does the learning, that creates theculture, that acquires the culture, and that responds to socialization.
-- Steven Pinker スティーブン・ピンカー：書き込まれた「空白の石版」 - TED

Artificial neural networks learn some kinds of linguistic structure only from data !!!???
-- 21st natural language processing
2021/9/18

言語は経験的に獲得できるということ？？
今日の紹介で少しでも洞察を与えられたらOK

最先端NLP15

人の言語獲得に関する帰納バイアスをどう調べるか
この分け方は[McCoy+, 2018] より

l

人を調べる
- 子供が言語の階層的な一般化を好むことを心理実験などで示す [Perfors+, 2001]など

2021/9/18

最先端NLP16

人の言語獲得に関する帰納バイアスをどう調べるか
この分け方は[McCoy+, 2018] より

l

人を調べる
- 子供が言語の階層的な一般化を好むことを心理実験などで示す [Perfors+, 2001]など

l

数理モデルを用いる(構成論的なアプローチ)- 議論の例: 何らかのモデル (人らしい生得的能力を持っていないまっさらな状態と仮定) が，データのみからX (例. 文法) を獲得
できるならば，Xは経験的に獲得できる (Xを生得的に獲得していることが言語獲得のための必要条件ではない)

2021/9/18-“The APS [(argument from the poverty of the stimulus)] predicts that any artificial leaner trained with no prior knowledge of the principles of syntax [. . . ] must fail tomake acceptability judgments with human-level accuracy.[. . . ] If linguistically uninformed neural network models achieve human-level performance on specificphenomena [. . . ], this would be clear evidence limiting the scope of phenomena for which the APS can hold” [Warstadt+,2019]-“Our results also contribute to the long-running nature-nurture debate in language acquisition: whether the success of neural models implies that unbiased learners
can learn natural languages with enough data, or whether human abilities to acquire language given sparse stim-ulus implies a strong innate human learning bias”[Papadimitriou & Jurafsy, 2020]-[Baroni, 2021]より引用，このような論法をblank slate argumentと呼んでいる．

最先端NLP17

人の言語獲得に関する帰納バイアスをどう調べるか
この分け方は[McCoy+, 2018] より

l

人を調べる
- 子供が言語の階層的な一般化を好むことを心理実験などで示す [Perfors+, 2001]など

l

数理モデルを用いる(構成論的なアプローチ)

妥当？

- 議論の例: 何らかのモデル (人らしい生得的能力を持っていないまっさらな状態と仮定) が，データのみからX (例. 文法) を獲得
できるならば，Xは経験的に獲得できる (Xを生得的に獲得していることが言語獲得のための必要条件ではない)

2021/9/18-“The APS [(argument from the poverty of the stimulus)] predicts that any artificial leaner trained with no prior knowledge of the principles of syntax [. . . ] must fail tomake acceptability judgments with human-level accuracy.[. . . ] If linguistically uninformed neural network models achieve human-level performance on specificphenomena [. . . ], this would be clear evidence limiting the scope of phenomena for which the APS can hold” [Warstadt+,2019]-“Our results also contribute to the long-running nature-nurture debate in language acquisition: whether the success of neural models implies that unbiased learners
can learn natural languages with enough data, or whether human abilities to acquire language given sparse stim-ulus implies a strong innate human learning bias”[Papadimitriou & Jurafsy, 2020]-[Baroni, 2021]より引用，このような論法をblank slate argumentと呼んでいる．

こういうことを言っていいのか？
短絡的では？ [Baroni, 2021]

最先端NLP18

再掲: ニューラルネットの帰納バイアス
lPublished as a conference paper at ICLR
2021
ニューラルモデルがごく少数(単一)のインスタンスからどのような汎化を好むかを通して，モデルの帰納バイアス (initの時点で獲得した考え方の癖) を分析

train example

test example

aaa ! bbb

aa ! ?

train example

Transformerbbb(mem) CNN
test example
bb LSTM(count)aabaa ! b
aba ! ?

a !?

bbb

CNN

(add)

bb LSTM
Add-or-Multiply
a!ab!bTransformer
LSTM(hierar)test example thrice b ! ?

Transformer
LSTM
(mem)

(linear)(comp)a

Hierarchical-or-Linear

l

(mem)

train example thrice a ! aaabtest example

bbbb Transformer(mul)Count-or-Memorization
train example

aa ! bbbb

CNN

b

bbb

CNN

Composition-or-Memorization

Figure 1: Illustration of the tasks. After training on the train examples (green blocks), learners
are tested on held-out examples (red blocks). In pink blocks are generalizations according to thecandidate rules.

人らしい帰納バイアスを持っていないという仮定は強すぎるので，blank slate argumentは短絡的- モデルによっては，階層的な汎化を好むなど人らしい帰納バイアスを既に有している
By ak we denote a sequence that contains token a repeated k times. For training, we represent
2021/9/18

sequences in a standard way: the tokens are one-hot-encoded separately, and we append a special
end-of-sequence token to each sequence. Input and output vocabularies are disjoint.

最先端NLP

19

テクニカルな面: 記述長に基づいた評価
𝑎𝑎 → 𝑏𝑏𝑏𝑏ll𝑎! → 𝑏"!

出力が常に 𝑏𝑏𝑏𝑏

あるモデル𝑀が，学習データ T = {𝑥! , 𝑦! } から，規則 A, Bどちらの汎化を好むかを知りたい
簡略化のため気持ち:に結構嘘をモデル𝑴を学習事例𝐓で事前訓練した後，ある規則に従うデータ𝑫で追加学習する． ついています．
気になる人はvalidation lossの収束が早い⇔その規則を好む帰納バイアスを有する
論文を読んで欲しい

2021/9/18

最先端NLP

20

テクニカルな面:
記述長に基づいた評価
The very first output y can be sent by using not more than c = |y | · log |V | nats, using a naïve
2

1

1

𝑏𝑏𝑏𝑏 (x1 , y1 ), available
encoding. After that, both Alice and Bob
updateusing出力が常に
the example→𝑏𝑎𝑎 →𝑏𝑏𝑏𝑏 their 𝑎learners
to both of them, and get identical instances of M1 .
l あるモデル𝑀が，学習データ T = {𝑥! , 𝑦! } から，規則
A, Bどちらの汎化を好むかを知りたい
Further transfer is done iteratively under the invariant that both Alice and Bob start every step t withl 気持ち:
exactly the same learners Mt 1 and finish with identical Mt . At step t Alice would use Mt 1 to 簡略化のため，
厳密には嘘をencode𝑴
thenext output 𝐓
ytで事前訓練した後，ある規則に従うデータ. This can be done using
log pMt 1 (yt |xt ) nats (MacKay,2003). Since ついています．
モデル
を学習事例
𝑫で追加学習する．
Bob has exactly
same model, he can decode the message to obtain yt and use the new pair (xt , yt ) 気になる人はの収束が早い⇔その規則を好む帰納バイアスを有する
validation
lossthe論文を読んで
to update his model and get Mt . Alice also updates her model, and proceeds to sending the next yt+1 欲しい(if any), encoding
it with the helpof Mt . The cumulative number of nats transmitted is:
面白いけど割愛(不必要に実験手順が複雑になっているようにも見える)
情報理論との接続
具体的に計算しているものは結構トリッキー

各step 𝑡にてAdamで300epoch回す,
optimizerはresetしない!

LM (D) =

k
X
t=2

"!

log pMt 1 (yt |xt ) + c.

𝑀' は学習データで学習したモデル． 𝑀&(' は，データ{𝑥) , 𝑦) }&(')*' で学習したモデル．
𝐷からデータを1つ取り出す→そのデータの−log 𝑝(𝑦& |𝑥& )を計算する(1)
𝑦 は #$%^ だよ！

𝑀!"#

𝑀!"#

!

A

−log 𝑝(𝑦! |𝑥! ) nats

{𝑥! , 𝑦! }𝑦& を知らない

The obtained code length of →学習データに加えて𝑀
Eq. 1 depends on
the order in which y are transmitted and the procedure{𝑥 , 𝑦 }を知っているAが {𝑥 }しか知らな& を訓練する (from scratch) を繰り返す．
いBに, {𝑦 } と最終的にそのデータで学
we use to update M. To account for that, we average out the data order by training with multiple
習されるモデルのパラメータを転送したい．どのモデルをどのような設定でrandom seeds. Further, for larger datasets, full re-training after adding a new example
isがimpractical
アップデートするかはお互い合意がと
l 学習データで学習したモデルにとって，どちらの規則に従うデータ𝐷,
𝐷" #れている．データ{𝑦 }をブロックに分け
and,
in
such
cases,
examplescanbetransmitted
inblocks.
て圧縮して転送し，転送済みのデータ「簡潔か」を調べる
!

B

{𝑥! }

!

!

!

!

で両者のモデルをアップデートするという手続きを繰り返すことで転送を行う (prequential codes) ．このとき転送にかかった総コスト (nats) を，そのデータとモデルの記述長とみなす

we measure the description length of the training data T shuffled withthe hold-out- If
この簡潔さとして，情報理論の言葉でモデルとデータの圧縮転送コスト(記述長)を考えるdata H, bothdatasetswould
have
symmetric roles. However, there is a certain asymmetry in the extrapolation(prequential
codes)[Dawid, 1984] [Blier&Olliver, 2018]
problem: we are looking for an extrapolation from T , not vice-versa. To break this symmetry,we2021/9/18
最先端NLP

21

10
5

0.95
0.04

0.01
0.00

0.00
0.00

0.68
17.12

26.58
50.83

LSTM-s2s att.

20
15
10
5

0.00
0.15
0.40
0.00

0.98
0.83
0.28
0.00

0.00
0.00
0.18
0.97

30.26
20.18
13.69
45.88

1.40⇤
4.07⇤
18.16
77.86

CNN-s2s{5, 10, 15, 20}

0.00

0.00

1.0

> 318.12> 346.19

0.00

0.00

1.0

> 38.77> 50.64

ニューラルネットの帰納バイアス

ed as a conference paper at ICLR 2021l

検証例1: Hierarchical or Linear

Transformer{5, 10, 15, 20}(b) Add-or-Multiply
小さい: その規則を好む
train example

test example

aaa ! bbb

aa ! ?

train example

test example

bb

a !?

a!a
b!b

aabaa ! b(hierar)ba(linear)

Hierarchical-or-Linear

test example

thrice b ! ?

0.05
0.30
0.00
0.69

0.00
0.00
1.00
0.00

L, nats #hierar linear
31.04⇤
26.32⇤
202.64
4.84⇤

61.84
57.2
0.00⇤
35.04

(c) Hierarchical-or-Linear with depth d = 4
FPA "L, nats #M , examples comp mem
compmem
LSTMやTransformerがNLPで比較的うまく動く

train example thrice a ! aaababa ! ?

bbb

(add)

LSTM-s2s no att.
LSTM-s2s att.
CNN-s2s
Transformer(mul)Count-or-Memorization

test example

bbbb

bb
Add-or-Multiply(count)train example

FPA "hierar linear
(mem)

bbb

(mem)

aa ! bbbb

(mem)

bbb
(comp)

Composition-or-Memorizationのは，階層的な帰納バイアスを持っているから？
LSTM-s2s no att.
36
0.00
0.00
42.65
38.55
24
0.00
0.00 238.54
6
0.00
0.00 656.93※Transformerが階層的な処理を実現できるかは議論あり

89.36⇤
157.55⇤0.00
0.00 62.34⇤
70.92
24
0.00
0.00 263.33 157.82⇤※この研究は経験的にどのような傾向を好むか
6
0.00 (確率が比較的高く割り振られるか)
0.00 659.85 164.43⇤[Hahn,
2020][Weiss+,2021]．
LSTM-s2s
att.
36

を調べており，実現できるかは別問題

CNN-s2s

1: Illustrationof the tasks. After training on the train examples (green blocks), learners
2021/9/18

36
24
6

0.75
0.13
0.00

0.00
1.44⇤
49.92
⇤
0.00
13.75 2284.55
最先端NLP
0.00 131.63
29.66⇤<FPA "
countmem

L, nats #
count
mem

40
30
20
10

1.00
0.97
0.07
0.00

0.00
0.00
0.00
0.00

0.01⇤
0.01⇤
2.49⇤
88.27

97.51
72.67
55.67
48.67⇤

40
30
20
10

0.99
0.96
0.70
0.00

0.00
0.02
0.16
0.20

7.84⇤
1.14⇤
5.73⇤
98.12

121.48
83.48
49.33
8.46⇤

{10, 20, 30, 40}

0.00> 0.90> 592.92<1.31⇤

0.00> 0.97> 113.30<11.14⇤length l
LSTM-s2s no att.

ニューラルネットの帰納バイアス
LSTM-s2s att.

ed as a conference paper at ICLR 2021l

検証例2: Add, Multiply, or Memorize

CNN-s2s
Transformer{10, 20, 30, 40}(a) Count-or-Memorization
小さい: その規則を好む
train example

test example

aaa ! bbb

aa ! ?

train example

test example

bb

a !?

aabaa ! b
aba ! ?

(hierar)a(linear)

Hierarchical-or-Linear

thrice b ! ?

L, nats #
mul
⇤

(mem)

bbb
(comp)

Composition-or-Memorization

mem

0.94
0.65
0.01
0.00

0.00
0.00
0.00
0.00

25.42
19.24
0.68⇤
17.12

0.31
4.67⇤
26.58
50.83

57.32
43.65
25.15
18.60

LSTM-s2s att.

20
15
10
5

0.00
0.15
0.40
0.00

0.98
0.83
0.28
0.00

0.00
0.00
0.18
0.97

30.26
20.18
13.69
45.88

1.40⇤
4.07⇤
18.16
77.86

58.84
46.36
26.44
0.01⇤

CNN-s2s{5, 10, 15, 20}

0.00

0.00

1.0

> 318.12> 346.19

0.00⇤

0.00

0.00

1.0

> 38.77> 50.64<3.50⇤{5, 10, 15, 20}(b) Add-or-Multiplybtest example

add

0.00
0.07
0.95
0.04

train example thrice a ! aaa

b

FPA "
mul mem

20
15
10
5

Transformer

a!a
b!b

add

LSTM-s2s no att.

(mul)Count-or-Memorization

test example

bbb

(add)

bb
Add-or-Multiply(count)train example

bbbb

(mem)

bbb

(mem)

aa ! bbbb

length l

FPA "hierar linear

L, nats #hierar linear

CNNやTransformerはやはり暗記が得意
LSTM-s2s no att.
0.05
0.00
31.04⇤
61.84
LSTM-s2s att.
CNN-s2s
Transformer

0.30
0.00
0.69

0.00
1.00
0.00

26.32⇤
202.64
4.84⇤

57.2
0.00⇤
35.04

(c) Hierarchical-or-Linear with depth d = 4

1: Illustrationof the tasks. After training on the train examples (green blocks), learners
2021/9/18

M , examples

FPA "L, nats #comp mem 最先端NLP
comp
mem

23

本研究がnature-nurture debateに与える影響
ニューラルネットは「空白の石版」ではない [Baroni, 2021]l

ニューラルモデル (生得的能力を持っていないまっさらな状態と仮定) が，
データのみからXを獲得するならば，Xは経験的に獲得できる 妥当？
- “Our results also contribute to the long-running nature-nurture debate in language acquisition: whether the
success of neural models implies that unbiased learners can learn natural languages with enough data, orwhether human abilities to acquire language given sparse stim-ulus implies a strong innate human learning bias”[Papadimitriou & Jurafsy, 2020]

言語研究においてldeep netsは「どんな帰納バイアス (を持つモデル) が効率的な言語獲得に紐づくか」について分析するためのツールになれると良いのでは [Baroni, 2021]- この観点から，deep nets は言語獲得に関する algorithmic theoryとして捉えられても良いのでは [Baroni, 2021]-

モデルの機能バイアスを (もれなく) probingすることも難しいと思うけど，人を調べる難易度よりはマシなのかな…

本当にそうなれるのかはおいておいて，こういう議論があるということは知っていても良いのでは
2021/9/18

最先端NLP24

まとめlニューラルモデルは特にアーキテクチャの観点で，汎化の選好 (帰納バイアス) が大きく異なるl「ある現象Xをニューラルモデルがデータから学習できたので，Xは経験的に獲得できる知識である」という議論は短絡的- ニューラルネットと人に帰納バイアスの重複がまったくないことを仮定することになる

l言語理論の立場から，ニューラル言語処理モデルを「どのような帰納バイアスが効率的な言語獲得と紐づくかを調べるツール」と考えれば良いのでは [Baroni, 2021](ということが議論されていることは頭の片隅に置いておいてもよいのでは)

2021/9/18

最先端NLP25

補足

2021/9/18

最先端NLP

26

The very first output y1 can be sent by using not more than c = |y1 | · log |V
encoding.2 After that, both Alice and Bob update their learners using the exam
to both of them, and get identical instances of M1 .

テクニカルな面: 記述長に基づいた評価

Further transfer is done iteratively under the invariant that both Alice and Bobexactly the same learners Mt 1 and finish with identical Mt . At step t Alic
方法論の特徴は大きく2つ
encode the next output yt . This can be done using
log pMt 1 (yt |xt ) nats (Ml どのような一般化を経験的に「好むか」を調べている
Bob has exactly the same model, he can decode the message to obtain yt and us' を受理で- [注意] あるモデルクラスが特定のパターンを認識する能力を持つかどうか(例えば，LSTMは𝑎to update his model and get Mt . Alicealso updates her' 𝑏model,
and proceeds to(if any), encoding it のような話は別問題
with the help of Mt . The cumulative number of nats tran
きるか，TransformerはDych-n言語をモデリングできるか)l

学習の進む速さの軸を評価に取り入れているLM (D) =kX
t=2

log pMt 1 (yt |xt ) + c.

setを固定して，iterationごと
The obtained code length of Eq. 1 depends onvalidation
the orderin which y are transmiのvalidation
CEとかではだめだったか？
we use codes)
to update
M. To account for that, we average out the data order by t
上の2つが要件であれば，記述長 (とprequentialの話を持ち出す必然性はないと思う．
random seeds. Further, for larger datasets, full re-training after adding a new e
情報理論との接続はかっこいいのだが，そちらに厳密に合わせるせいで
and, in such cases, examples can be transmitted in blocks.
不必要に複雑な実験手続きになっている印象． 各𝑡について，バッチを作り直してモデルを1から訓練し直す
規則ごとのtarget文字列の長さの違いは考慮しなくていいの？とか
If we measure
the description length of the training data T shuffled with thedatasets would have symmetric roles. However, there is a certain asymmetr
problem: we are looking for an extrapolation from T , not vice-versa. To brealways transmit outputs for the entire training data as the first block.
2021/9/18

最先端NLP

27

余談：画像処理モデルの帰納バイアス
lIdentity Crisis: Memorization and Generalization under Extreme
Overparameterization [Zhang+, 2020]- 入力をそのまま出力させるという学習を単一事例 (w/SGD) で行った時に，恒等変換を学習するか，
Published as a conference paper at ICLR 2020 CNNで調査 (式の上ではいずれのモデルも恒等変換を学習することが可能)．
その出力を覚えて出すことを学習するか．FCN,- Linear, Non-Linear FCNsは単一事例から恒等変換を学習しない傾向
学習事例

unseenInput
この挙動は証明可能

1-layerlinear2-layerlinear2-layer
ReLU

Linearを積んだだけなのに，汎化傾向が変わる(backpropの式が変わるため)

6-layerlinear6-layer
ReLU
2021/9/18

最先端NLP

Figure 2: Visualization of the outputs of fully connected networks trained on a single ex-28

余談：画像処理モデルの帰納バイアス
lIdentity Crisis: Memorization and Generalization under Extreme
Overparameterization [Zhang+, 2020]- 入力をそのまま出力させるという学習を一事例で行った時に，恒等変換を学習するか，その出力を覚えて
Published as a conference paper at ICLR 2020

出すことを学習するか．FCN, CNNで調査 (式の上ではいずれのモデルも恒等変換を学習することが可能)．

- 浅いCNNsは単一事例から恒等変換を学習する傾向
Published as a conference paper at ICLR 2020
学習事例

unseenInput
1-layer
3-layer

深いネットワークは前半で入力をかき消し，後半層で特定の出力を再現させている可能性

5-layerCNNs

7-layerTrained 7-layer

9-layer
11-layer(CNNは位置普遍な操作しかできないので，
boundary (pad) 情報を駆使して出力を復元している可能性)

12-layer
14-layer
15-layer

Random 20-layer
Trained 14-layer

16-layer
18-layer
19-layer

2021/9/18

20-layer

Trained 20-layer

Figure 15: Visualization the intermediate layers of CNNs with di�erent number of layers.

最先端NLP29

余談：ニューラルネットもshape-biasをもつ
Cognitive Psychology for Deep Neural Networks: A Shape Bias Case Study [Ritter+, 2017]
Learning Inductive Biases with Simple Neural Networks [Feinman & Lake, 2018]

2021/9/18

最先端NLP30

Transformer{5, 10, 15, 20}

l

0.00

1.0

> 38.77

FPA "hierar linear

test example

aaa ! bbb

LSTM-s2s no att.
LSTM-s2s att.
CNN-s2s
Transformer

aa ! ?

train example

0.05
0.30
0.00
0.69

test example

bbCount-or-Memorizationa !?

aabaa ! b
aba ! ?

bbb

31.04⇤
26.32⇤
202.64
4.84⇤

0.00
0.00
1.00
0.00

(hierar)a(linear)

Hierarchical-or-Linear

test example

thrice b ! ?

FPA "comp memL, nats #
comp
mem

36
24
6

0.00
0.00
0.00

0.00
0.00
0.00

42.65
238.54656.9338.55
89.36⇤
157.55⇤

LSTM-s2s att.

36
24
6

0.00
0.00
0.00

0.00
0.00
0.00

62.34⇤
263.33659.8570.92
157.82⇤
164.43⇤

CNN-s2s

36
24
6

0.75
0.13
0.00

0.00
0.00
0.00

1.44⇤
13.75⇤
131.6349.92
84.55
29.66⇤

Transformer

36
24
6

0.00
0.00
0.00

0.82
0.35
0.00

147.83586.221235.01

6.36⇤
26.46⇤
53.91⇤

train example thrice a ! aaa

b

61.84
57.2
0.00⇤
35.04

LSTM-s2s no att.

(add)

a!a
b!b

b
test example

bbbb

bb
(mul)
Add-or-Multiply(count)train example

M , examples

(mem)

bbb

(mem)

aa ! bbbb<3.50⇤

L, nats #hierar linear

What they do when in doubt: a study of inductive biases in seq2seq
learners [Kharitonov & Chaabouni, 2021](c) Hierarchical-or-Linear with depth d = 4
train example> 50.64(b) Add-or-Multiply

ニューラルネットの帰納バイアス

ed as a conference paper at ICLR 2021

0.00(d) Composition-or-Memorization

(mem)

Table
the fraction of seeds that generalize according to a particular rule. Descr
bbb1: FPA measures
やっぱりTransformerが暗記する傾向
lengthL is averaged across examples and seeds. The lowest L are in bold and ⇤ denotes sta(comp)
hungryであることに関連ある？)
difference in L (p <(Transformerがdata
10 3 , paired t-test).

Composition-or-Memorization

1: Illustrationof the tasks. After training on the train examples (green blocks), learners
2021/9/18

最先端NLP31

ニューラルネットの帰納バイアス

ed as a conference paper at ICLR 2021lWhat they do when in doubt: a study
ofasinductive
Publisheda conference paper biases
at ICLR 2021 in seq2seq
learners [Kharitonov & Chaabouni, 2021]
train example

test example

aaa ! bbb

aa ! ?

train example

test example

bb

a !?

aabaa ! b

0.00
0.00
0.00
0.00

0.01⇤
0.01⇤
2.49⇤
88.27

97.51
72.67
55.67
48.67⇤

LSTM-s2s att.

40
30
20
10

0.99
0.96
0.70
0.00

0.00
0.02
0.16
0.20

7.84⇤
1.14⇤
5.73⇤
98.12

121.48
83.48
49.33
8.46⇤

{10, 20, 30, 40}

0.00> 0.90> 592.92<1.31⇤

0.00> 0.97> 113.30<11.14⇤

CNN-s2s{10, 20, 30, 40}

train example thrice a ! aaa(hierar)a(linear)

Hierarchical-or-Linear(a) Count-or-Memorizationbb

aba ! ?

1.00
0.97
0.07
0.00

Transformer

a!a
b!b

test example

thrice b ! ?

L, nats #
count
mem

40
30
20
10

bbb

(add)

FPA "
count
mem

LSTM-s2s no att.

(mul)Count-or-Memorization

test example

bbbb

bb
Add-or-Multiply(count)train example

length l
(mem)

bbb

(mem)

aa ! bbbb

(mem)

bbb
(comp)

Composition-or-Memorization

FPA "mul memL, nats #mulmem
CNNやTransformerは出力を暗記する傾向⇤
length l

add

add

20
0.00 0.94 0.00
25.42
0.31
15
0.07 0.65 0.00
19.24
4.67⇤
(dropout率を上げるとmemの傾向は下がる．直感的．Appendix)⇤
10
0.95 0.01 0.00
0.68
26.58
5
0.04 0.00 0.00
17.12
50.83
LSTMの数える能力は理論的な後付けあり[Weiss+,2018]など

57.32
43.65
25.15
18.60
58.84
46.36
26.44
0.01⇤

LSTM-s2s no att.

LSTM-s2s att.

20
15
10
5

0.00
0.15
0.40
0.00

0.98
0.83
0.28
0.00

0.00
0.00
0.18
0.97

30.26
20.18
13.69
45.88

1.40⇤
4.07⇤
18.16
77.86

{5, 10, 15, 20}

0.00

0.00

1.0

> 318.12> 346.19

1: Illustrationof the tasks. After training on the train examples (green blocks), learners
2021/9/18
CNN-s2s

最先端NLP32

0.00⇤