日本語版CoLAの構築の舞台裏
染谷大河

大関洋平

東京大学
{taiga98-0809, oseki}@g.ecc.u-tokyo.ac.jp@NLP2022
Workshop on Japanese Evaluation Dataset

Outline• 自己紹介• 先行研究・JCoLA概要• JCoLAの作成過程と苦労• JCoLAのこれから

2

先行研究・JCoLA概要

言語モデルの大規模データセットでの評価• 大規模データセットを用いた評価（ベンチマーキング）• GLUE (General Language Understanding Evaluation) (Wang+, 2019)3

先行研究・JCoLA概要「統語知識」に重点を置いた評価• Targeted Syntactic Evaluation (Linzen+, 2016)• CoLA (Corpus of Linguistic Acceptability) (Warstadt+, 2019)• BLiMP (Benchmark of Linguistic Minimal Pairs) (Warstadt+, 2020)
Phenomenon

N Acceptable Example

Unacceptable Example

ANAPHOR AGR.
ARG. STRUCTURE
BINDINGCONTROL/RAISING
DET.-NOUN AGR.
ELLIPSIS

2
9
7
5
8
2

FILLER-GAP
IRREGULAR FORMSISLAND EFFECTS
NPI LICENSINGQUANTIFIERSSUBJECT-VERB AGR.

7
2
8
7
4
6

Many girls insulted herself.
Rose wasn’t boasting Mark.
Carlos said that Lori helped himself.
There was unable to be a fish escaping.
Rachelle had bought that chairs.
Anne’s doctor cleans one book andStacey cleans a few important.
Brett knew that many waiters find.
Aaron broken the unicycle.
Whose should Tonya wear hat?
The truck has ever tipped over.
No boy knew at most six guys.
These casseroles disgusts Kayla.

Many girls insulted themselves.
Rose wasn’t disturbing Mark.
Carlos said that Lori helped him.
There was bound to be a fish escaping.
Rachelle had bought that chair.
Anne’s doctor cleans one importantbook and Stacey cleans a few.
Brett knew what many waiters find.
Aaron broke the unicycle.
Whose hat should Tonya wear?
The truck has clearly tipped over.
No boy knew fewer than six guys.
These casseroles disgust Kayla.

Table 2: Minimal pairs from each of the twelve linguistic phenomenon categories covered by BLiMP.
Differences are underlined. N is the number of 1,000-example minimal pair paradigms within each4

先行研究・JCoLA概要

the fact tha
on CoLA.

関連研究：Warstadt et al. (2019)

Lau et al.
those of La
acceptabili
by normaliz
metrics. Fo
the Word L
metric prod
than proba
J. H. Lau, A. Clark, S. Lappin / Cognitive Science 41 (2017) a thresholdmodels aswith 10-fol
We repeate
sentence. The intuition behind these measures is to see whether unacceptabilit
the modized to a lexical item that constitutes the focus of syntactic anomaly. If aof
senten
10% withtactic error in it, then this will often show up, probabilistically, been
at aevaluapo
2: Architecture for the pooling classifier models.
n-gram mo
probability of a particular word is Figure
abnormallylow.
The
word-levelmeasuresaw=
word
embeddings,
f=forward
LSTM
hidden14iiSentence
Sourcecode. In
state, bi = backward! LSTM hidden state.
" same LSTM
lows:
log
p
ðwÞ
m
The more books I ask to whom he will give, the more he reads.
Culicover(1999)
for the real";w 2 nWord andLP Jackendoff
Min-N ¼ min
N
logp
u ðwÞ
I said that my father, he was tight as a hoot-owl.
Ross (1967)
then the forward
andbackward
hidden states for
CBOW FP
each time step are concatenated,and max-pooling
The jeweller inscribed the ring with the name.
Levin (1993)
"ðlog
p
ðwÞ=
log pu ðwÞÞmodel direcmw2nover thesequence gives a sentence embedding. In
word embe
Word
LP
Mean
¼
many evidence was provided.
Kim and Sells (2008)
the classifier, the sentence embedding
is passed
jnj
perceptron
They can sing.
Kim and Sells (2008)
through aP
sigmoid output layer (optionally pre"ðlogpm ðwÞ=log p4.3
u ðwÞÞ
Train
ceded
by
a
singlehiddenlayer)
givingascalarw2
WL
Q1
The men would have been all working.
Baltin(1982)
Word LP Mean-Q1¼ the probability of a positive classi- All neuralrepresenting
jWL
j
Who do you think that will question Seamus first?
Carnie (2013)
Q1
fication (either
thesentenceis
realor
acceptable,
PyTorch anPdepending on the task). "ðlog p ðwÞ= log pBa,
Usually, any lion is majestic.
Dayal (1998)
2014).
mu ðwÞÞ
w2WLQ2
Word(2002)
LP Mean-Q2We¼train several variations of pooling classi- scratch em
The gardener planted roses in the garden.
Millerjfiers, as shown in Table 4. First,jWL
we traincompleting
Q2classifiers
I wrote Blair a letter, but I tore it up before I sent it.
Rappaport Hovav andLevinend-to-end
on (2008)
the real/fake task, varying the style 5velopmentof word embedding. The classifier portion consists
point. Hyp
probabilityof thecurrent
word
byat rat*where Pm ðwÞ is the conditional onlyof a single softmax
layer.
We evaluate
thesegiven
chosen• Corpus of Linguistic Acceptability (CoLA)• 統語論の論文や教科書から例文を収集（１万文程度）• モデルの出力から容認度を算出するのに工夫が必要
Label
*
✓
✓
*
✓
✓
*
*
✓
✓

先行研究・JCoLA概要

関連研究：Warstadt et al. (2020)• Benchmark of Linguistic Minimal Pairs (BLiMP)• ミニマルペアを自動生成し、統語現象ごとに分類• 言語モデルの出力を直接使用できる（正文により高い尤度を付与できるか）
Phenomenon

N Acceptable Example

Unacceptable Example

ANAPHOR AGR.
ARG. STRUCTURE
BINDINGCONTROL/RAISING
DET.-NOUN AGR.
ELLIPSIS

2
9
7
5
8
2

FILLER-GAP
IRREGULAR FORMSISLAND EFFECTS
NPI LICENSINGQUANTIFIERSSUBJECT-VERB AGR.

7
2
8
7
4
6

Many girls insulted herself.
Rose wasn’t boasting Mark.
Carlos said that Lori helped himself.
There was unable to be a fish escaping.
Rachelle had bought that chairs.
Anne’s doctor cleans one book andStacey cleans a few important.
Brett knew that many waiters find.
Aaron broken the unicycle.
Whose should Tonya wear hat?
The truck has ever tipped over.
No boy knew at most six guys.
These casseroles disgusts Kayla.

Many girls insulted themselves.
Rose wasn’t disturbing Mark.
Carlos said that Lori helped him.
There was bound to be a fish escaping.
Rachelle had bought that chair.
Anne’s doctor cleans one importantbook and Stacey cleans a few.
Brett knew what many waiters find.
Aaron broke the unicycle.
Whose hat should Tonya wear?
The truck has clearly tipped over.
No boy knew fewer than six guys.
These casseroles disgust Kayla.

6先行研究・JCoLA概要

問題点①：生起確率と容認性判断の橋渡し• CoLAのようにデータセットがペアになっていない場合、言語モデルの出力する文の生起確率から直接容認性の予測を行うことはできない。

• 言語モデルとは別に２値分類を行う分類器を学習する必要がある。
• 予測の良し悪しが何に起因するものなのかわからない→

ミニマルペアによる比較が適当

7

先行研究・JCoLA概要

問題点②：自動生成データの質• BLiMPのように自動生成したデータには、単純なパターンも含まれる。
• 理論言語学の論文で問題となるような、より複雑な判断を必要とする例文についての検証はできていない（Class Ⅲ judgments, see Marantz, 2005; Linzen and Oseki, 2018)。
→ 言語学の論文等から例文を構成するべき？
Phenomenon

N Acceptable Example

Unacceptable Example

ANAPHOR AGR.
ARG. STRUCTURE
BINDINGCONTROL/RAISING
DET.-NOUN AGR.
ELLIPSIS

2
9
7
5
8
2

FILLER-GAP
IRREGULAR FORMSISLAND EFFECTS
NPI LICENSINGQUANTIFIERSSUBJECT-VERB AGR.

7
2
8
7
4
6

Many girls insulted herself.
Rose wasn’t boasting Mark.
Carlos said that Lori helped himself.
There was unable to be a fish escaping.
Rachelle had bought that chairs.
Anne’s doctor cleans one book andStacey cleans a few important.
Brett knew that many waiters find.
Aaron broken the unicycle.
Whose should Tonya wear hat?
The truck has ever tipped over.
No boy knew at most six guys.
These casseroles disgusts Kayla.

Many girls insulted themselves.
Rose wasn’t disturbing Mark.
Carlos said that Lori helped him.
There was bound to be a fish escaping.
Rachelle had bought that chair.
Anne’s doctor cleans one importantbook and Stacey cleans a few.
Brett knew what many waiters find.
Aaron broke the unicycle.
Whose hat should Tonya wear?
The truck has clearly tipped over.
No boy knew fewer than six guys.
These casseroles disgust Kayla.

8先行研究・JCoLA概要

問題点③：対象となっている言語・統語現象の偏り
EnglishRussianHebrew

FrenchBasqueItalianChinese

Subject-verb
Agreement

Linzen et al. (2016), Gulordava et al. (2018), Marvin &Linzen (2018), An et al. (2019), Warstadt et al.
(2019), Futrell et al. (2018), Bernardy & Lappin(2017), Mueller et al. (2020)

Gulordava et al.
(2018), Mueller etal. (2020)

Gulordava et al.
(2018), Mueller etal. (2020)

Gulordava et al.
(2018), Mueller etal. (2020), An et al.
(2019)

Ravfogel et al.
(2018)

Gulordava et al.
(2018), Mueller etal. (2020), Trotta
et al. (2021)

Xiang et al. (2021)

Filler-gap/
Island e ects

Wilcox et al. (2018, 2019), Chaves (2020), Da Costa& Chaves (2020), Chowdhury & Zamparelli (2018,2019), Warstadt et al. (2019)

Trotta et al. (2021) Xiang et al. (2021)

Anaphora/
BindingMarvin & Linzen (2018), Warstadt et al. (2019), Futrell
et al. (2018)

Trotta et al. (2021) Xiang et al. (2021)

Japanese

Negative Polarity Wilcox et al. (2019), Marvin & Linzen (2018), Futrell etal. (2018), Jumelet & Hupkes (2018)
Items

Argument
structure

Warstadt et al. (2019), Kann et al.(2019), Chowdhury& Zamparelli (2019)

Xiang et al. (2021)

ff

9

先行研究・JCoLA概要

JCoLA (Japanese Corpus of Linguistic Acceptability)• 理論言語学のジャーナル論文から例文を抽出-> Class Ⅲの容認性判断についての評価が可能• 例文をもとにミニマルペアを作成-> 言語モデルの出力を直接用いて評価が可能• これまで大規模かつ、多様な統語現象を扱うデータセットが構築されて来なかった「日本語」を対象にしたデータセット-> これまで検証が進んでいなかった言語での検証が可能

10Outline• 自己紹介• 先行研究・JCoLA概要• JCoLAの作成過程と苦労• JCoLAのこれから

11

JCoLAの作成過程と苦労

データ収集• Journal of East Asian Linguistics (2006 - 2015)• 日本語統語論に関する論文 （28本）から、合計で2323文を抽出。

• 脚注・付録を含むが、構造分析のために提示された
例文等は除いて抽出した。

12

JCoLAの作成過程と苦労

データ収集の裏側• Journal of East Asian Linguistics (2006 - 2015)• 収録されている全133本の論文の内容を確認しつつ選んだ
日本語統語論に関する論文 （28本）から、合計で2323文を人手で一つずつ抽出。
（グロス・日本語訳を含む）• 脚注・付録を含むが、構造分析のために提示された例文等は、論文本文を丁寧に読み、構造としての提示であると確認した上で除いて抽出した。

13

JCoLAの作成過程と苦労

タイプ分類• 個別の統語現象ごとにモデルを評価するために、
データポイントを３つの粒度で分類• 大分類（type）• 容認性判断の性質や本文中の提示のされ方に基づく分類• 中分類（phenomenon）• 扱っている統語現象ごとの分類• 二つ以上に分類される場合は中分類2（phenomenon-2）を使う。
• 小分類（paradigm）• 中分類よりもさらに細かい分類

14

JCoLAの作成過程と苦労大分類（type）• Acceptability ->• Interpretation ->• Coreference ->->• Lexical->• Footnote->• Appendix->• Repeat->• Variation

純粋な容認性判断
特定の文脈・解釈の元での容認性判断
指示詞等の同一指示解釈を問題としている容認性判断
特定の語彙項目に関する容認性判断
論文の脚注で提示されている例文
論文の付録で提示されている例文
既出例文の繰り返しである例文
理論構築に無関係な要素のみにしか違いがない例文
15

(18)

a. *太郎は口を人のことに出す。

(Kishim

JCoLAの作成過程と苦労

b. *太郎は口を人のことに出す。

(Tsuj

以上の手順により、合計で 369 ペアのミニマルペアが作成された。中分類ごとペアの数については表 3 を、ミニマルペアの具体例については付録 A を参照さ

中分類（phenomenon, phenomenon-2）• 統語現象ごとに11の中分類に分類• BLiMPの12分類+Others*をもとに、日本語のデータに合わせて分類を追加・削除して構成*Others: 比較表現等が含まれる。後に説明するように
ミニマルペア作成時には削除してある。

表3

中分類ごとのミニマルペアの数

統語現象

ミニマルペア数

Argument structure151

Verbal agreement

68

Morphology

38

Ellipsis24

Nominal structure

24

Binding

16

Quantifiers

16

Filler-gap

13

Island effects

12

NPI licensing

4

Control/raising

3

総計

369
16

(18)

a. *太郎は口を人のことに出す。

(Kishim

JCoLAの作成過程と苦労

b. *太郎は口を人のことに出す。

(Tsuj

以上の手順により、合計で 369 ペアのミニマルペアが作成された。中分類ごとペアの数については表 3 を、ミニマルペアの具体例については付録 A を参照さ

中分類（phenomenon, phenomenon-2）の裏側• 統語現象ごとに11の中分類に分類• BLiMPの12分類+Others*をもとに、日本語のデータに合わせて分類を追加・削除して構成• phenomenonごとの偏りがなるべく小さくなるように、粒度や項目をアジャイルに変更しながら作成した• 結果としてやはり何周も見る必要がある*Others: 比較表現等が含まれる。後に説明するように
ミニマルペア作成時には削除してある。

表3

中分類ごとのミニマルペアの数

統語現象

ミニマルペア数

Argument structure151

Verbal agreement

68

Morphology

38

Ellipsis24

Nominal structure

24

Binding

16

Quantifiers

16

Filler-gap

13

Island effects

12

NPI licensing

4

Control/raising

3

総計

369
17

JCoLAの作成過程と苦労小分類（paradigm）

fffi• 中分類の下位分類（39種類）• 例：• island e ects
• complex NP island• adjunct island• speci city island• negative island• factive island

18

JCoLAの作成過程と苦労小分類（paradigm）の裏側

fffi• 中分類の下位分類（39種類）• こちらも粒度等を都度調整しながら分類• 例：• island e ects
• complex NP island• adjunct island• speci city island• negative island• factive island

19

JCoLAの作成過程と苦労

ミニマルペアの作成• まず、以下の条件を満たす例文（負例）を抽出する• 非文として提示されている（?や*などのマーキングがされている）もの。
ただし、?などのマーキングがされつつも、本文中で正例としてみなされているものは除く。

• 大分類が variation、repeat、footnote、appendix のいずれでもないもの。
• 中分類が others でないもの。
• 次に、負例に対しては対応する正例が存在する（cf. Sprouse et al., 2013）という前提のもと、以上で抽出した負例のそれぞれに対応する正例を作成
20

JCoLAの作成過程と苦労

ミニマルペアの作成の裏側• それぞれの負例に対して、
1. 論文中提示されている正例
2. 本文を読みつつ対応する正例を作例のいずれかを行うことにより、正例を作成した。

• 論文の意図を汲み取りつつも、系列長がなるべく変化しないように作例• とはいえ、扱う統語現象の性質上系列長がずれてしまうものもある• e.g. 省略現象など
21

A JCoLA のミニマルペア例

JCoLAの作成過程と苦労

34

phenomenon

paradigm

負例

正例

Argument structure

casepassivescrambling
animacy
aspectinternal argument

太郎がその本に読んだ。
家が大工に建てさせられた。
最も太郎が面白かった人を取材した。
ジョンにはお金が居る。
太郎がプールで 1 時間で泳いだ。
ジョンが息子を自殺した。

太郎がその本を読んだ。
大工が家を建てさせられた。
太郎が最も面白かった人を取材した。
ジョンには兄弟が居る。
太郎がプールで 1 時間泳いだ。
ジョンが息子を自慢した。

Verbal agreement

subject honorification
person constraint

Binding

weak crossovervariable binding
anaphorreciprocal

初めてそいつに会う人が貶すのは誰をですか？
花子がそいつが書いた論文を修正させたのは誰にですか？
自分i の先生i には学生がわかる。
お互いi の母親から彼らi にそのことを伝えた。

初めて会う人が貶すのは誰をですか？
花子が誰にそいつが書いた論文を修正させたのですか？
先生i には自分i の学生がわかる。
彼らi にお互いi の母親からそのことを伝えた。

Ellipsisnominal ellipsis
adjunct ellipsis
parasitic-gap

morphology

part of speech
idiom
reflexive
inflection
nominalization
honorification

Quantifiers

floating quantifiers
universal quantifiers
classifier
negation

Island effects

complex-NP island
adjunct island
specificity island
negative island
factive island

Filler-gap

intervention effects
relative clause
cleftresumptive pronoun

NPI licensing

NPI
NCI

Nominal structure

modifier
measure phrase

Control/raising

subject control

健が山田先生にお会いになった。
あなたは寒いです。

健に山田先生がお会いになった。
私は寒いです。

晴れの日は良いが、雨のは落ち込む。
太郎がその理由で解雇された後、花子も解雇された。
初めて会う人が誰を貶しますか？

晴れの日は良いが、雨の日は落ち込む。
太郎がその理由で解雇された後、花子もその理由で解雇された。
初めて会う人が貶すのは誰をですか？

学生が家を 4 人買った。
みんながみんな大学へ行かない。
3 本ずつのその鉛筆。
ジョンはメアリーが賢い以上に賢くない。

学生が 4 人家を買った。
みんながみんな大学へ行く訳ではない。
その 3 本ずつの鉛筆。
ジョンはメアリーが賢い以上に賢い。

子供そう。
太郎の忠告は花子には糠にも釘だった。
強い地震のため建物が自壊をした。
それは計測可能だ粒子だ。
原稿に手の入れ方は人それぞれだ。
伊藤先生からそのことを話しておいでになる。

美味しそう。
太郎の忠告は花子には糠に釘だった。
強い地震のため建物が自壊した。
それは計測可能な粒子だ。
原稿への手の入れ方は人それぞれだ。
伊藤先生からそのことをお話になっている。

太郎が昨日会った人を探しているのは花子にだ。
太郎が読んだから花子が怒ったのはその本をだ。
ジョンはそのメアリーより高い指輪を買った。
ジョンはメアリーが雇わなかったより賢い人を見つけた。
メアリーがジョンが自分の学生が新しい仮説を提案したと知っていたのの欠陥を指摘した。

太郎が昨日花子に会った人を探している。
太郎がその本を読んだから花子が怒った。
ジョンはメアリーより高い指輪を買った。
ジョンはメアリーが雇ったより賢い人を見つけた。
メアリーがジョンが自分の学生が新しい仮説を提案したと思っていたのの欠陥を指摘した。

今回は誰が寄付を呼びかけもしなかった。
ジョンがもし何も盗んだら、逮捕されるだろう。

今回は誰から寄付を呼びかけもしなかった。
ジョンがもし何か盗んだら、逮捕されるだろう。

転び損ねる。

座り損ねる。

誰も何を読まなかったの？
山田先生はこの本をなったことはお読みだ。
山田先生がなったのはこの本のお読みだ。
トムがそれらを食べたことが明らかな芋は大きかった。

私が昨日見たの人は素敵だった。
このビルは低さ 20 メートルある。

何を誰も読まなかったの？
山田先生はこの本をお読みになった。
山田先生がこの本をお読みになった。
トムが食べたことが明らかな芋は大きかった。

私が昨日見た人は素敵だった。
このビルは高さ 20 メートルある。

22

Outline• 自己紹介• 先行研究・JCoLA概要• JCoLAの作成過程と苦労• JCoLAのこれから

23

JCoLAのこれから

JCoLAの問題点• ベンチマークとしてはデータセットがやや少ない• CoLA: 10,657（文）• ItaCoLA: 9,722（文）• BLiMP: 67,000（ミニマルペア）• CLiMP: 16,000（ミニマルペア）• JCoLA: 369（ペア）・2,323（文）• 各統語現象ごとに平均40ペアほどを確保できている24

JCoLAのこれから今後の展望• より大規模なデータセットの構築• 既に化学論文からの図表の抽出等に使われている、
情報抽出の技術の言語学論文への応用（NLP 2022）• 容認度のアノテーションの妥当性？
• 一部、論文内のアノテーションに違和感• → 人間の容認性判断を取り検証する予定• データの見直し、整理• → 近日中に公開予定
25

JCoLAのこれからご清聴ありがとうございました。
ご質問・コメント等よろしくお願いします。

26