Language Models as an Alternative
Evaluator of Word Order Hypotheses:
A Case Study in Japanese
Tatsuki Kuribayashi, Takumi Ito, Jun Suzuki, Kentaro Inui
読む人: 東北大学D1 栗林樹生
経緯
もともと神藤さんが本論文を含めて二本紹介してくださるということでしたが，著者が運営にいるため，著者が発表する運びとなりました

2020/9/26

最先端NLP2020

1NLPのツールが言語研究に役立つ…?
タスク設計・コーパス作成・モデル設計時のヒント

言語学

分析ツール・
仮説検証の可能性

NLP

this work
言語モデルを語順分析ツールとして売り込む

2020/9/26

最先端NLP2020

2

知りたい対象: 語順
l

言語の線状性: 言語における重力同時に一文字 (音) 以上伝達できません

2020/9/26

time

※手話除く

最先端NLP2020

3

知りたい対象: 語順l

言語の線状性: 言語における重力
同時に一文字 (音) 以上伝達できません

ltime

※手話除く

どのように並べるか？
- 基本語順 (母語話者の処理負荷が低い) の存在を仮定- 文法で説明できる部分 (SVO, SOV…)・いわゆる直観「影響を質に与える」よりも「質に影響を与える」「鳥に人を例える」よりも「人を鳥に例える」

2020/9/26

最先端NLP2020

4知りたい対象: 語順
l

言語の線状性: 言語における重力
同時に一文字 (音) 以上伝達できません

ltime

※手話除く

どのように並べるか？
- 基本語順 (母語話者の処理負荷が低い) の存在を仮定- 文法で説明できる部分 (SVO, SOV…)・いわゆる直観「影響を質に与える」よりも「質に影響を与える」「鳥に人を例える」よりも「人を鳥に例える」

l

基本語順規則に対して様々な仮説- 例. 二重目的語の基本語順は動詞のタイプによって異なる
分かると…

2020/9/26

言語教育

日本語への理解言語類型研究
思考の順序

ライティング
支援ツール

言語学・認知科学

教育・応用

FAQ. 文脈に応じて好まれる語順が変わるよね？
-- この研究では，文脈非依存に支配的な語順 (基本語順) の傾向に焦点を絞る

最先端NLP2020

5

どうやって仮説を検証する？
lnoise+1. ヒトを調べる[心理言語学]質に影響を与える

仮説

2020/9/26

読み時間，脳波容認性判断

影響を質に与える

直接的だが高コスト
偏りのないヒトを集める，実験設定の統制アイトラッカーなど異様に高額

最先端NLP2020

6どうやって仮説を検証する？
l1. ヒトを調べる[心理言語学]

読み時間，脳波容認性判断

質に影響を与える

仮説

lnoise+

直接的だが高コスト
偏りのないヒトを集める，実験設定の統制影響を質に与える

アイトラッカーなど異様に高額

2. コーパス頻度を調べる 仮定: 基本語順は産出されやすい[コーパス言語学全般][Sasano+, 2016]

bias+
<解析器

noise+

間接的だが低コスト

コーパス

仮説に従う文と従わない文に分類して，数える

2020/9/26

最先端NLP2020

7

どうやって仮説を検証する？
l1. ヒトを調べる[心理言語学]

読み時間，脳波
容認性判断

質に影響を与える

仮説

lnoise+

直接的だが高コスト
偏りのないヒトを集める，実験設定の統制影響を質に与える

アイトラッカーなど異様に高額

2. コーパス頻度を調べる 仮定: 基本語順は産出されやすい[コーパス言語学全般][Sasano+, 2016]

bias+
<解析器

noise+

間接的だが低コスト

コーパス

仮説に従う文と従わない文に分類して，数えるl3. 言語モデル尤度で比較する (本研究)bias+bias+<言語モデル学習

尤度 𝑝! 𝑠 = $ 𝑝! (𝑤" |𝑊[$,"&'])"

質に影響を与える
2020/9/26

仮説

影響を質に与える

最先端NLP2020

8

どうやって仮説を検証する？
l1. ヒトを調べる[心理言語学]

読み時間，脳波
容認性判断

質に影響を与える

仮説

lnoise+

直接的だが高コスト
偏りのないヒトを集める，実験設定の統制

影響を質に与える

アイトラッカーなど異様に高額

2. コーパス頻度を調べる 仮定: 基本語順は産出されやすい[コーパス言語学全般][Sasano+, 2016]

bias+
<解析器

noise+

間接的だが低コスト

コーパス

仮説に従う文と従わない文に分類して，数えるl3. 言語モデル尤度で比較する (本研究)
bias+

bias+
<

上2つの手段よりも言語モデル

学習

尤度- 実現しやすく- 経験的に同じ結果が導かれる質に影響を与える
2020/9/26

仮説

影響を質に与える

最先端NLP2020

9売り込みポイント1: 実験コスト
noise+l 時に解析器の用意が大変
1. ヒトを調べる

読み時間，脳波[心理言語学]
容認性判断
ドメイン間の傾向を分析したい(話し言葉，学習者の文，詞…)
質に影響を与える

マイナーな言語仮説
影響を質に与える
同定の難しい現象 (格助詞の省略と語順の関係を調べたい)l

言語モデル学習には生コーパスがあれば良い

直接的だが高コスト

偏りのないヒトを集める，実験設定の統制
同定は難しいが作例はアイトラッカーなど異様に高額

簡単なケースがある

格助詞が省略された文を
2. コーパス頻度を調べる 仮定: 基本語順は産出されやすい
作成するのは簡単[コーパス言語学全般][Sasano+, 2016]

bias+
<

解析器

noise+

コーパス

仮説に従う文と従わない文に分類して，数えるl3. 言語モデル尤度で比較する (本研究)
bias+

bias+
<

上2つの手段よりも言語モデル

学習

尤度- 実現しやすく- 経験的に同じ結果が導かれる質に影響を与える
2020/9/26

仮説

影響を質に与える

最先端NLP2020

10売り込みポイント2: 経験的に同じ結論が導かれる
l1. ヒトを調べる[心理言語学]

読み時間，脳波
容認性判断

質に影響を与える

仮説

lnoise+

影響を質に与える同じ?

2. コーパス頻度を調べる 仮定: 基本語順は産出されやすい[コーパス言語学全般][Sasano+, 2016]

bias+
<解析器

noise+同じ?

コーパス

仮説に従う文と従わない文に分類して，数えるl3. 言語モデル尤度で比較する (本研究)
bias+

bias+
<

学習
質に影響を与える

2020/9/26

仮説

上2つの手段よりも言語モデル

影響を質に与える

尤度- 実現しやすく- 経験的に同じ結果が導かれる

同じ?
最先端NLP202011実験1: 人間の選好との相関lYahoo!クラウドソーシングを利用 (計756人が参加)

WEBからランダムに収集した生テキスト

10人

サンプル
語順１

品質に 影響を 与える

語順1:

語順2

語順1が自然
語順1が自然
語順1が自然語順かき混ぜ操作

語順2:

影響を 品質に 与える

語順１
語順2

語順1の尤度が高い

順位相関 0.9
以下の条件を満たす2.6k 文ペアを使用- どちらの語順も非文でない (ワーカーによる判断)- ワーカー10人中9人以上の選好が一致

2020/9/26

ヒトと言語モデルの選好が非常に近い
最先端NLP2020

12補足: ヒトの認知負荷のモデル化
l近年，言語モデルサプライザルとヒトの認知負荷の間に強い関係があることが共通認識に[Smith and Levy, 2013] [Merkx and Frank, 2020][Goodkind and Bicknell, 2018] [Wilcox+, 2020]- 読み時間・脳活動をどれぐらいモデル化できるかで議論
この単語の認知負荷を計算したい…

𝑤!"#𝑤!"$𝑤!

サプライザル (predictability)− log * 𝑝(𝑤+ |𝑊[-,+/0] )(続きの) エントロピー
𝐻 𝑡 = − 5 𝑝 𝑣 𝑊 $," log , 𝑝(𝑣|𝑊[$,"] ))∈+𝑤!%$𝑤!%#…

エントロピーの変化
𝐻 𝑡 − 𝐻(𝑡 − 1)

[Smith and Levy, 2013][Wilcox+, 2020]

2020/9/26(英語における実験によって…英語母語話者にしか興味ないの…)
最先端NLP202013補足: ヒトの認知負荷のモデル化
l「(単方向) 言語モデルで計算した文尤度が高い」
言い換えれば「文全体の累積サプライザルが小さい」
𝑝 𝑠 = $ 𝑝(𝑤! |𝑊[#,!%&] ) が大きい!

1log #= ) − log # 𝑝(𝑤! |𝑊[',!"$] )
𝑝 𝑠!

が小さい

各単語のサプライザル

あくまでクラウドワーカーの内省l

ヒトの語順容認度と言語モデルサプライザルに関係があることを語順が自由な言語において初めて示唆- 言語モデル尤度 (累積サプライザル) とヒトの語順選好に強い相関 (実験1より)2020/9/26

最先端NLP2020

14

実験2: コーパス頻度に基づく検証との一貫対象

仮説

既存の検証結果

言語モデル

二重目的語

動詞によらず基本語順は「にを」である

棄却

棄却

各仮説の

基本語順は動詞のタイプによって異なる

棄却

棄却

詳細は省略

省略されにくい格は基本語順において動詞の近くに位置する

支持

支持

基本語順はニ格名詞の意味役割や有生性によって異なる

支持

支持

対象の動詞と高頻度に共起するヲ格，ニ格名詞は動詞の近くに位置する

支持

支持

副詞

副詞のタイプにより基本生起位置は異なる

支持

支持

主語

主語は時間・場所を表す格よりも後ろにくる

支持

支持

場所

場所を表す格は時を表す格より後ろ，主語よりも前に位置する

支持

支持

時

時間を表す格は場所，主語よりも前に位置する

支持

支持

(一般)

長い句が短い句よりも前に来る

支持

支持

一致
2020/9/26

最先端NLP2020

15補足: 語順の計算的な説明
対象

仮説

二重目的語

動詞によらず基本語順は「にを」である -> なさそう

コーパス上で学習した言語モデルと情報量の基本語順は動詞のタイプによって異なる -> 異ならなさ
そう

観点で統一的に記述でき

省略されにくい格は基本語順において動詞の近くに位置する

る

基本語順はニ格名詞の意味役割や有生性によって異なる
対象の動詞と高頻度に共起するヲ格，ニ格名詞は動詞の近くに位置する

副詞

副詞のタイプにより基本生起位置は異なる

主語

主語は時間・場所を表す格よりも後ろにくる

場所場所を表す格は時を表す格より後ろ，主語よりも前に位置する

時時間を表す格は場所，主語よりも前に位置する(一般)

長い句が短い句よりも前に来る

2020/9/26

argmax ) log # 𝑝* (𝑤! |𝑊 ',!"$ )*!

言語モデル獲得

驚かないような語順〜

argmin) − log # 𝑝* (𝑤! |𝑊 ',!"$ )+∈可能な語順 !

最先端NLP202016分析: 内省による仮説に経験的な示唆を
対象

仮説

既存の検証結果

言語モデル

二重目的語

動詞によらず基本語順は「にを」である

棄却

棄却

基本語順は動詞のタイプによって異なる

棄却

棄却

省略されにくい格は基本語順において動詞の近くに位置する

支持

支持

基本語順はニ格名詞の意味役割や有生性によって異なる

支持

支持

対象の動詞と高頻度に共起するヲ格，ニ格名詞は動詞の近くに位置する

支持

支持

副詞

副詞のタイプにより基本生起位置は異なる

支持

支持

主語

主語は時間・場所を表す格よりも後ろにくる

支持

支持

場所

場所を表す格は時を表す格より後ろ，主語よりも前に位置する

支持

支持

時

時間を表す格は場所，主語よりも前に位置する

支持

支持

(一般)

長い句が短い句よりも前に来る

支持

支持

とりたて

基本語順で前に来る格ほど主題化されて文頭に移動しやすい-

支持

目的語の主題化されやすさは動詞の「をに」率に依存-

支持

とりたてられた格の移動しやすさは副助詞と格に依存-

最先端NLP2020
支持

2020/9/26

各仮説の詳細は省略

分析
17

結論
l

言語モデル尤度で日本語基本語順の傾向を分析する
方法論について妥当性を支持する結果を提示した- 検証したい仮説によっては，より現実的な方法

仮説空間

2020/9/26

頻度・言語モデル

ヒトを相手にしたによる検証

直接的な検証妥当そうな仮説

正当化

最先端NLP2020

18補足: 産出されやすい言語 (コーパス頻度)と基本語順が異なる言語もあるらしい [Koizumi+ 2014]l

カクチケル語では，文法的基本語順がVOS語順であり，彼らにとっては文処理の負荷が低いl

しかし産出頻度はSVO語順が高いl

出来事を認識する際の順序はSOの順

らしい…

VOSが分かりやすい!!
生得的なバイアス？

SVO

どんなモデルを仮定するとこういう言語獲得をする？

SVO〜
argmin ? ? ?
可能な語順
2020/9/26

強調: 本研究は，あくまで日本語ではという話最先端NLP2020

19

関連研究
l

Futrell, R., & Levy, R. (2019). Do RNNs learn human-like abstract word order preferences?. In Proceedingsof the Society for Computation in Linguistics (SCiL) 2019 (pp. 50-59).

lSmith, N. J., & Levy, R. (2013). The effect of word predictability on reading time islogarithmic. Cognition, 128(3), 302-319.

lGoodkind, A., & Bicknell, K. (2018, January). Predictive power of word surprisal for reading times is alinear function of language model quality. In Proceedings of the 8th workshop on cognitive modeling andcomputational linguistics (CMCL 2018) (pp. 10-18).

lWilcox, E. G., Gauthier, J., Hu, J., Qian, P., & Levy, R. (2020). On the Predictive Power of Neural Language
Models for Human Real-Time Comprehension Behavior. arXiv preprint arXiv:2006.01912.

l

Merkx, D., & Frank, S. L. (2020). Comparing Transformers and RNNs on predicting human sentence
processing data. arXiv preprint arXiv:2005.09471.

lSasano, R., & Okumura, M. (2016, August). A Corpus-Based Analysis of Canonical Word Order ofJapanese Double Object Constructions. In Proceedings of the 54th Annual Meeting of the Association for
Computational Linguistics (Volume 1: Long Papers) (pp. 2236-2244).

l

小泉政利「言語の語順と思考の順序：カクチケル・マヤ語からみた人間の文処理メカニズム」，日本語教育学講座講演会，2014年12月4日，名古屋大学．（招待講演）

2020/9/26最先端NLP202020