言語処理学会 第26回年次大会 発表論文集 (2020年3月)

日本語語順分析に言語モデルを用いることの妥当性について
栗林 樹生 1,3 伊藤 拓海 1,3 鈴木 潤 1,2 乾 健太郎 1,21東北大学 2 理化学研究所 3 Langsmith 株式会社{kuribayashi，t-ito，jun.suzuki，inui}@ecei.tohoku.ac.jp

1

はじめに
語順1:

語順には，文脈の影響を受け特定の要素が強調された語順

語順2: 影響を 質に 与えた.

（有標語順）と，文脈の影響がない場合に支配的な語順（基本語

自由な言語であるが，多くの研究によって基本語順の存在が示唆されている．基本語順とテキストの読みやすさは密接に関わ言語モデル

0.0001

語順1が基本語順に従う順）が存在する．本研究では後者の基本語順について，日本語の書き言葉に焦点を当てて分析を行う．日本語は語順が比較的

生成確率0.0002

質に 影響を 与えた.

図1: 言語モデルを用いた基本語順の推定

既存の仮説検証方法

2

基本語順に関する仮説の検証には大きく三つの方法がある．

っており，特に日本語教育やライティングフィードバックのた

人間の反応に基づく検証:

めに，基本語順の仕組みを記述・整理することは重要である．

的な方法として，読み時間や脳波などの人間の反応を観察する

しかしながら，基本語順を決定する要因については様々な説

方法論があげられる [17]. これらのアプローチは，実験コストが存在する．要因の解明に向けて，言語学や自然言語処理の分の高さから大規模な検証には向いていない．また，用いられた野において，様々な仮説の検証が行われてきた [1, 5, 8, 16]．既

用例や被験者によるバイアス，実験の再現性の低さなどの懸念

存研究では，主に心理実験に基づく検証やコーパス頻度によるもあげられる．

仮説の検証が主流であり，それぞれの検証方法には長所・短所

頻度に基づく検証: 検証したい言語現象が実際の文章（コーパが存在する（2章）．例えばコーパス頻度による分析は，コスス）中で出現する頻度を数える，頻度に基づく検証も典型的にトが低く網羅的な仮説検証に向いているものの，対象の言語現用いられる方法論である．多くの研究が各語順のコーパス上で象を数えるためにしばしば述語項解析などの前処理が必要であの頻度と基本語順には関係があるという仮定をおいている [7,り，自動的な同定が難しい現象（例えば，非明示的な格の出現

16]. この方法論の長所として，網羅的な仮説の検証や多くの用

順序など）に関する仮説の検証には向いていない [16]．

例を用いた実験を行うことが可能であることが挙げられる．し語順に関する仮説を検証する典型

本研究では，ニューラル言語モデルを用いた基本語順の仮説

かしながら頻度に基づく方法論では，検証の対象となる言語現検証方法を検討する（図 1）．本検証方法は，従来の検証方法と象をコーパス中で数えるために，その言語現象の存在を同定すは異なる長所・短所を持つため，これまで実現できなかった分る必要がある．この同定にはしばしば述語項解析器などの解析析が可能になることが示唆される（3章）．本検証方法による結器が用いられ [16]，対象とする現象を解析器が正しく同定でき果の妥当性を（i）言語モデルの生成確率が高い語順と人間が基るという仮定を担保する必要がある．時に興味の対象となる現

本語順であると考える語順の相関（4章），（ii）様々な仮説にお象の同定は困難であり，この制約は研究の可能性を狭めることける，既存の検証方法による結論と言語モデルを用いた検証にとなる．例えば笹野ら [16] は，述語項解析器のエラーを防ぐた

よる結論の一致（5章）から示す．
（ii）において，本研究では基

めに，助詞が明示的に出現する用例のみを収集し，格要素の主

本語順に関連する 10 個の仮説に焦点を当てる．本論文の実験辞のみを分析に用いている．したがって，彼らの研究では上記結果から，言語モデルを用いた方法論の妥当性が示唆された．

の条件を満たさない用例・言語現象に関しては分析ができてい6章では，言語モデルを用いた方法論の長所を生かした分析

ない．このような問題は，解析器が十分に整備されていないリの例として，格助詞が明示的に出現しない場合の語順について，
日本語のとりたてに関する仮説に焦点を当てた分析を行う．検

ソースの乏しい言語で特に重大な問題となる．

Bloem ら [2] は，3 グラム言語モデルを用いて頻度を数えた．

証結果から，「とりたて助詞を伴う格の位置は，とりたて助詞

この研究は我々の研究に近いと考えられるが，頻度ベースの言や，とりたてられる格の種類に依存して傾向が異なる」「基本語モデルを用い，ドイツ語の two-verb cluster 現象のみに焦点

語順で前方に位置する格ほど主題になりやすい」，「目的語の主を当てて分析を行っている点で本研究とは異なる．

題になりやすさは動詞のをに率の影響を受ける」ことを支持す

数理モデルの内部を分析する検証:

る経験的な根拠を提示する．

生を予測する解釈が容易なモデル（例えば，ロジスティック回対象となる言語現象の発帰モデル）を学習し，モデルの内部（例えば，素性に対する重本論文の貢献は以下の通りである．

• 言語モデルを基本語順の分析に用いる方法論の長所についてみ）を分析する検証方法も挙げられる [1, 3]. この方法では，各要因の影響度の強さといった高度な統計情報を得ることができ整理した．

• 二種類の実験結果から本分析方法の妥当性を示した．
• これまで大規模な実験が困難であったとりたてと語順の関係

るが，モデルを学習するための大規模なデータの作成や素性の設計などには，しばしばコストがかかる．

について，言語モデルを用いて大規模に分析を行った．

― 493 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

3

言語モデルを用いた仮説検証方法と同等の仮説検証力をもつことが支持される．本検証方法の妥

3.1

概要

当性が示されれば，これまで実現できなかった検証を可能にす

言語モデルを用いた仮説検証方法では，語順の異なる用例同士を言語モデルの生成確率で比べる．最も言語モデルの生成確ることが期待できる．
設定

3.4

率の高い語順が基本語順に従うという仮定をおく（図 1）．この

次の単語を予測する Transformer ベースの言語モデル*1 を仮定の妥当性を4, 5章で検証する．言語処理の分野では，言語用いた．文字レベルの言語モデル（CLM）と，サブワードレベ

モデルの生成確率はテキストの容認度を推定するために用いらルの言語モデル（SLM）を用いた．SLM への入力は，UniDicれ，英語語順に関する特定の言語現象では，言語モデルの生成を用いた MeCab で形態素に分割したのち，サブワード*2 に分確率と人間の語順選好に相関があることも示されている [4]．

割した．30 億 Web ページから無作為に抽出した 1.6 億文を言3.2

語モデルの学習に用いた．4，5，6章で使用するデータは，言語

言語モデルを用いた検証方法の⻑所

頻度に基づく方法論では，2章で述べたとおり，対象となるモデルの学習で用いたデータと重複しない．各用例に対するス

言語現象の出現をコーパス中で高精度に同定可能な解析器を必

コアを，左から右に生成する言語モデルによる生成確率と，右要とする．対照的に言語モデルを用いた方法論では，ある仮説から左に生成する言語モデルによる生成確率の積で求めた．

に従った語順と従わない語順のペアといった，仮説検証のため

4の評価データを必要とする．解析器の準備と評価用データの準備のどちらが容易かは状況に依存する．
例えば，格助詞が省略された際の語順を分析するという状況を想定する．ヲ格が省略された際に語順（1）-a と語順（1）-bのどちらが自然かというような問いである．

実験 1: 人間との相関
本章では，語順の自然さを比較するタスクにおいて，言語モ

デルの選好と人間の選好が高い相関をもつことを示す．
アノテーション:30 億 Web ページから無作為に収集した 1

万文それぞれに対して，語順を変えたかき混ぜ文を一種類作成
した．かき混ぜ文の作成方法は栗林ら [18] と同様であり，依存(1) a. 生徒に 本を あげた.

.............

構造で兄弟関係にある要素を入れ替えている．ヤフークラウド

b. 本を 生徒に あげた.

ソーシングを利用し，元の語順の文とかき混ぜ文のペアに対し.............

この検証では，評価用データの準備の方が高精度な解析器の準てラベルをつけた．ラベルは，（a）文 1 が自然である，（b）文

備よりも現実的である．省略された格助詞を述語項解析器など

2 が自然である，（c）意味的に崩壊した文が存在する，のうちで高精度に同定することは実現が難しいが，格の順序を検証すから一つ選ばれる．ワーカーには文ペアのみを見せ，特定の文

る既存のデータを編集して，格助詞が省略された場合の格の順脈を想像しないように指示している．

序の自然さを検証するデータを作成することは容易である．

チェック設問を利用して明らかに不自然なラベルを付与して基本語順は人間の語順選好に基づくため，人間の反応に基づいるワーカーを除き，チェック設問を通過した合計 756 人のワ

く検証の結果は信頼性が高いと考えられる．しかしながら，こーカーによるラベルを用いた．それぞれのペアに対して 10 人の検証方法は時にコストが高く，大量の用例を用いたり，数多のワーカーがラベルをつけた．（i）意味的に崩壊した文が存在くの仮説を検証していくことには向いていない．一方で言語モするというラベルが付与されていない，かつ（ii）10 人中 9 人

デルを用いた検証方法では，人間の代わりに言語モデルを用い以上が同じラベルを付与した，約 2,600 ペアを採用した．

るため，言語モデルを用いた検証方法は比較的コストが低く，

結果:

文 1 と文 2 のどちらが自然であるかについて，言語モ

網羅的な仮説の検証に向いている．さらに，言語モデルを用い

デルの選好と人間の選好の間にはピアソンの相関係数で 0.89

た検証は人間の反応に基づく検証に比べて，実験の再現性が高（CLM），0.90（SLM）の非常に高い相関があった．

いと考えられる．
適切な検証方法は状況に応じて異なり，検証方法の選択の幅

実験 2: 既存の検証方法による結論との一貫性

5を増やすことは言語学分野において有益であると考えられる．

本章および次章の概要を表 1に示す．本章では，様々な仮説

また近年は，様々な言語モデル実装や言語資源，言語モデルのにおいて，言語モデルを用いた検証による結論が，既存の検証学習に利用可能なクラウドコンピューティングサービスが利用方法による結論と一致したことを示す．本研究では，新情報・可能であり，本分析方法の実装可能性を後押ししている．また，旧情報などの文脈に依存する要因は分析の対象外とした．既存

言語モデルと人間の語順選好が必ず一致する保証はないため，研究によって検証されてきた 10 個の仮説全てにおいて，言語

言語モデルを用いた検証は，あくまでコストの高い検証の前段モデルを用いた検証による結論が既存研究と一致した．

階の検証として用いられるべきであると考える．

5.1

3.3

二重目的語の語順‧副詞の位置

二重目的語の語順と副詞の位置に関する実験設定は栗林

検証方法の妥当性をどのように担保するか

本論文では，二種類の実験結果を示すことで言語モデルを用ら [18] と基本的に同様であり，全ての仮説で笹野らと一致する

いた検証方法の妥当性を示す．一つ目に，言語モデルの語順選

結論*3 が得られた．栗林ら [18] の実験では，二重目的語の語順

好が人間が基本語順であると考える語順に高い相関があること*1 fairseq の実装を用い，デフォルトのハイパーパラメータを使用している．

を示す（4章）．二つ目に，様々な仮説において，言語モデルを*2 sentencepiece を用い，語彙数を 100,000，character coverage を 0.9995，

用いた検証の結果が，既存の検証方法により得られた結論と一致することを示す（5章）．
もし，言語モデルを用いた検証による結論が，既存の検証方法による結論と一致するならば，本検証方法は既存の検証方法

分割方法を bpe に設定した．
*3 栗林らとの差分は以下の点である．
（i）言語モデルのアーキテクチャを CNN

から Transformer ベースに変更した．（ii）文字ベース言語モデルとサブワ
ードレベル言語モデルの二種類の言語モデルを用い，両者で同等の結論が示された．（iii）有生性と語順の関係について，笹野ら [16] に従い仮説を支持する（しない）動詞の数の比率で検定したところ，笹野ら [16] と同様の結― 494 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

表1: 各仮説に対する既存の検証方法による結論と，言語モデルを用いた検証方法による結論．太字が本論文の実験および分析で得られた結論であり，いずれも統計的な検定から得られた結論である．
対象

仮説

表3: 言語モデルが基本的な格の並びから逸脱した語順を支持した際の，モーラ数の大きい句の位置の変化
モデル

前に移動した用例数

後ろに移動した用例数

CLM
SLM

7,196
7,277

5,401
5,750

既存の検証方法

言語モデル

動詞によらず基本語順は「にを」である [5]棄却 [16]棄却 (一致)

基本語順は動詞のタイプによって異なる [10]棄却 [8, 11, 16]

棄却 (一致)

省略されにくい格は基本語順
において動詞の近くに位置する [16]

支持 [16]

支持 (一致)

基本語順はニ格名詞の意味
役割や有生性によって異なる [6, 10]

支持 [16]

支持 (一致)

対象の動詞と高頻度に共起す
るヲ格，ニ格名詞は動詞の近くに位置する [16]支持 [16]

支持 (一致)副詞のタイプにより基本生起
位置は異なる [9]

支持 [9]

支持 (一致)支持支持 (一致)(5.2節)

主語は時間・場所を表す格よりも後ろにくる [14, 15]

場所の情報(5.2節)

場所を表す格は時を表す格より後ろ，主語よりも前に位置する [14, 15]支持

支持 (一致)時の情報(5.2節)

時間を表す格は場所，主語よりも前に位置する [14, 15]支持

支持 (一致)一般

モーラ数の大きい句が小さい
句よりも前に来る支持 [1, 13]

とりたてられた格の位置はとりたて助詞に応じて異なる-支持

る言語モデルの傾向を，言語モデルが基本語順から逸脱した語

とりたてられた格の位置はとりたてられた格に応じて異な
る

-

支持

順を好んだ用例の傾向から分析する．5.2節で用いた用例のう

基本語順で文頭側にある格ほど主題になりやすい [12]-支持

目的語の主題になりやすさは，
動詞の「をに」率に依存する

-

支持

目的語
(5.1節)

副詞(5.1節)
主語(5.3節)
主題・
とりたて
(6章)

用いた検証に対応する．それぞれのコーパス S を用いて，時を表す格要素*8 ，場所を表す格要素*9 ，主語のそれぞれのペアについて，oS (a, b) を求めた．

oS (a, b) =頭側に位置する用例の数を表す．oS (a, b) が oS (b, a) よりも優位に大きければ，格 a が格 b より文頭側に位置する傾向がある．
いずれの実験設定においても，oS (時，場所），oS (場所，主語)，oS (時，主語) が優位に大きいことが示され*10 ，言語モデ
ルによる検証と頻度による検証の結果は一致した（表2）．また，
佐伯 [14] の仮説は支持された．

5.3

頻度

.604
.615
.682

句のモーラ数と語順

長い句が短い句よりも先に現れるという傾向の存在が，既存支持 (一致)の検証から示唆されている [1, 13]．この既存の検証結果に対す

ち，言語モデルが支持する語順における各用例で最もモーラ数の大きい格要素*11 の位置が，基本的な格の並び*12 に従った語順における位置と異なった，約 12,500 用例を対象とした．

CLM，SLM が支持した語順では，もっとも長い格要素の位置が基本的な格の順序と比較してより前方に移動しているケースが優位に*13 多かった（表 3）．この結果は既存の分析手法に

oS (時，場所） oS (場所，主語） oS (時，主語）
.757
.708
.686

,

S
ここで，a，b は格要素，Na<bは S において格 a が格 b より文

表2: 時を表す格，場所を表す格，主語の位置関係の傾向

CLM
SLM

S
Na<b
S
S
Na<b + Nb<aよる結果と一致し，長い句が短い句よりも先に現れるという傾

.642
.632
.666

向が支持された．

と二格の有生性の関係に関して笹野らと異なる結論が出ていた

分析: とりたて‧主題と基本語順

6が，検定方法を笹野ら [16] と揃えたところ，一致する結論が得

4，5章の結果から，言語モデルを日本語基本語順の分析に用られた．また，副詞の位置に関する実験結果についても，栗林いることの妥当性が支持された．本章では，言語モデルを用いら [18] 同様，小泉ら [9] の結果と強い相関*4 が見られた．

た方法論の長所を生かした語順分析の例として，これまで大規時の情報，場所の情報，主語の提示される順序

模に分析されることがなかった，格助詞を伴わない格が存在す

5.2

佐伯 [14] は，時の情報 < 場所の情報 < 主語，の順で情報がる文における語順の自然さについて分析を行う．本分析では提示されることを主張した．この仮説について，頻度ベースの

特に日本語のとりたてに焦点を当てる．例えば，とりたて助詞

検証による結論と言語モデルを用いた検証による結論が一致す「は」を伴った要素は主題として文頭に出現するなど（例 2-b），

るか調べた．信頼できる規模でこの仮説を検証した既存研究はとりたてと語順には密接な関係がある．

存在しないため*5 ，本節では大規模なデータを用いた頻度ベー(2) a. 先生が 本を あげた.

スの検証と言語モデルによる検証の二つを行う．

b. 本は 先生が あげた.

30 億 Web ペ ー ジ か ら ラ ン ダ ム に 収 集 し た 26 万 用 例
S orig *6 と，それぞれの用例について言語モデルが支持する
語順に並べ替えた用例の集合 S LM *7 を用いた．S orig を用いた検証は頻度ベースの検証，S LM を用いた検証は言語モデルを論が得られた（p<0.05）．（iv）言語モデル学習データと重複する用例は除いた．
*4 栗林らと同様，各副詞タイプについて副詞が置かれる三つの候補箇所の選好
を人間の選好と比較した．3 箇所に対する選好順位の相関を各副詞タイプで求め，それらのマクロ平均は 0.88（CLM），0.75（SLM）であった．
*5 佐伯 [14] は，非常に少数の用例の観察と内省から本仮説を導いた．
*6 KNP を用いて文末の動詞が格を三つ以上もつ文を収集し，文末の動詞とその格（統語関係で格要素に係る部分も含む）以外の部分は削除した．
*7 各用例について，かき混ぜ操作を適用して可能な語順を全て列挙した後，言語モデルの生成確率が最も高い語順を収集した．

本分析では，とりたてが生じた文における支配的な語順について，文脈非依存な要因に焦点を当てて分析をする
格要素がとりたてられると，一部の格助詞は消えてしまい，
解析器を用いて元の格を高精度に同定することが困難になる．
したがって，とりたてられた格の元の格を，解析器を用いて大規模コーパス中で同定したり，頻度を数えることは難しい．一方で，とりたてが生じていない文から，とりたてが生じた文を*8 格要素に時間と関係するカテゴリの形態素が含まれる二格．
*9 格要素に場所と関係するカテゴリの形態素が含まれるデ格．
*10 符号検定（p < 0.05）によって検証した．
*11 MeCab の-Oyomi オプションを用いた．
*12 時 < 場所 < 主語 < 間接目的語 < 直接目的語とする．
*13 符号検定（p < 0.05）によって検証した．

― 495 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

表4: 格要素（列）をとりたて助詞（行）でとりたてた時に，とりたてられた要素が文頭に現れた方が自然と見なされた割合
モデル

CLM

SLM

とりたて
助詞

時

場所

主語

間接
目的語

直接
目的語

平均

は
こそ
も
だけ

.715
.492
.560
.385

.777
.423
.557
.340

.675
.521
.458
.312

.624
.313
.343
.227

.623
.486
.271
.184

.683
.447
.438
.331

平均

.538

.525

.544

.377

.391

-

は
こそ
も
だけ

.667
.567
.511
.334

.751
.596
.531
.309

.635
.574
.457
.285

.565
.398
.292
.172

.580
.462
.259
.126

.640
.519
.410
.303

平均

.520

.547

.560

.357

.357

-

がとりたてられている用例の数を表す．基本的な格の並びにおいて，格 a が格 b より前にある全ての格のペア (a, b) について tS (a, b) と tS (b, a) を計算し，それらの大小を対応のとれた

t 検定で比較した．CLM，SLM の結果ともに，tS (a, b) が大きいという傾向が p<0.05 で優位にみられた．従って，基本語順
で前方に位置する格ほど主題になりやすいという，佐伯 [14] の仮説は支持された．
仮説２の検証: 本仮説は我々の観察に基づく仮説である．仮説
１より基本語順で前方にある格要素はとりたてられやすいことが分かった．5.1節より目的語の基本的な順番は動詞ごとに異作ることは簡単である．例えば，ある格要素をとりたて助詞なるため，目的語の主題になりやすさも動詞ごとに変わること「は」でとりたてるには，その要素を文頭に移動し，格助詞をが考えられる．5.1節と同様の用例を用いて，仮説１の検証時と「は」で置き換えれば良い*14 （例 3）．

同様，それぞれの目的語をとりたてた用例を作成し，言語モデ(3) a. 本をは [先生が 本を あげた.]

ルによってどちらの用例が自然かを調べた．実験の結果，動詞ごとの前に位置しやすい目的格の種類と動詞ごとのとりたてら

b. 先
生がは [先生が 本を あげた.]::::::: :::::

従って，4，5章で用いたデータを編集し，とりたてと語順に関れやすい目的格の種類にはピアソンの相関係数で 0.89（CLM），

する大規模な検証用データを作成することが可能である．

0.84（SLM）の非常に強い相関があった．

6.1

とりたてられた格の移動しやすさ

とりたて助詞「は」でとりたてられた格要素は，例 4-b のよ
うに文頭に移動することが知られている．この傾向が他のとりたて助詞でもみられるか，またどの格がとりたてられても同様の傾向を示すか分析した．
具体的には例 4 のように，とりたて助詞によってとりたてらてた格が元の格の位置に存在する例と，文頭に移動した例を作
成し，どちらの語順が自然かを言語モデルを用いて分析した．
(4) a. 先生が 本も あげた.

おわりに

7

網羅的な検証から，日本語基本語順の分析にニューラル言語
モデルを用いることのの妥当性を示した．6章では，言語モデ
ルを用いて，これまで実現できなかったとりたてと語順に関する大規模な分析を行った．本研究では，新情報・旧情報などの文脈に依存する要因に関する仮説は分析の対象外としたため，さらなる検証が必要とされる．今後，本方法論の妥当性を否定する結果が示された場合，どのような条件下では本方法論が妥当に機能するかを解明していくことが，言語モデルの性質の理

b. 本も 先生が あげた.

とりたて助詞として，主題を表す「は」，累加を表す「も」，限定を表す「だけ」，「こそ」の 4 種類を用いた．結果を表4に示す．各スコアは，とりたてられた格が前に移動した用例が移動しない用例に対して好まれた割合を示す．とりたて助詞ごとの平均スコアから，「は」以外のとりたて助詞ではとりたてられた格が文頭に移動する傾向は弱いことが示唆された．また，格ごとの平均スコアから，基本的な格の並びにおいて文頭に近い

解にも繋がり，重要であると考える．
謝辞 本研究は JST CREST（課題番号: JPMJCR1513）の支援を受けて行った．日本語二重目的語構文の基本語順分析用データを提供していただいた，笹野遼平氏に感謝の意を表する．

参考文献
[1]

[2]

側の格ほど，とりたて助詞によって文頭に移動するケースが多いことが示唆された．次節では，語順に対する影響が強い，主[3]

題のとりたて助詞「は」に注目して分析を行う．

[4]

6.2

格の主題になりやすさ[5]

本節では，以下の二つの仮説に焦点を当てる．

[6]

1. 基本語順で前方に位置する格ほど主題になりやすい [12]．
2. 目的語の主題になりやすさは動詞の「をに」率に依存する．

[7]

仮説１の検証: 5.2節と同様，30 億 Web ページからランダム

[9]

[8]

に収集した 26 万用例を検証に用いた．それぞれの用例につい[10]て，例 3 のようにとりたて助詞「は」を用いてそれぞれの格要[11]

素をとりたてた文を作成し，それらの文を言語モデルの生成確

[12]
[13]

率で比較することで，どの格要素が主題になりやすいかを調べた．言語モデルが支持した，とりたてが生じた文の集合 S を用
いて，格のペア (a，b) に対して tS (a, b) を用いた．

tS (a, b) =

S
Na|b
S
S
Na|b + Nb|a

[14]
[15]
[16]

[17]

,

S
ここで Na|bは，用例集合 S 中で，格 a と格 b が存在し，格 a[18]Masayuki Asahara, Satoshi Nambu, and Shin-Ichiro Sano. “Predicting JapaneseWord Order in Double Object Constructions”. In: Proceedings of the Eight Workshop
on Cognitive Aspects of Computational Language Learning and Processing. Association for
Computational Linguistics, July 2018, pp. 36–40.
Jelke Bloem. “Testing the Processing Hypothesis of word order variation using
a probabilistic language model”. In: Proceedings of the Workshop on Computational
Linguistics for Linguistic Complexity (CL4LC). The COLING 2016 Organizing Committee, Dec. 2016, pp. 174–185.
Joan Bresnan et al. “Predicting the dative alternation”. In: Cognitive foundationsof interpretation. KNAW, 2007, pp. 69–94.
Richard Futrell and Roger P Levy. “Do RNNs learn human-like abstract word
order preferences?” In: Proceedings of the Society for Computation in Linguistics (SCiL)
2019. 2019, pp. 50–59.
Hajime Hoji. “Logical form constraints and configurational structures inJapanese.” In: PHD Thesis. University of Washington (1985).
Atsushi Ito. “Argument structure of Japanese ditransitives”. In: Nanzan Linguistics
Special 3 (2007), pp. 127–150.
Gerard Kempen and Karin Harbusch. “A corpus study into word order variationin German subordinate clauses: Animacy affects”. In: Multidisciplinary approaches
to language production (2004), pp. 173–181.
Masatoshi Koizumi and Katsuo Tamaoka. “Cognitive processing of Japanese
sentences with ditransitive verbs”. In: Gengo Kenkyu (Journal of the Linguistic Societyof Japan) 2004.125 (2004), pp. 173–190.
Masatoshi Koizumi and Katsuo Tamaoka. “The Canonical Positions of Adjuncts
in the Processing of Japanese Sentence”. In: Cognitive Studies: Bulletin of the Japanese
Cognitive Science Society 13.3 (2006), pp. 392–403.
Mikinari Matsuoka. “Two Types of Ditransitive Consturctions in Japanese”. In:
Journal of East Asian Linguistics 12.2 (2003), pp. 171–203.
Edson T Miyamoto. “Sources of difficulty in the processing of scrambling inJapanese”. In: Sentence processing in East Asian languages (2002), pp. 167–188.
Hisashi Noda. Wa to ga. Kurosio Publishers, 1996.
Naho Orita. “Predicting Japanese scrambling in the wild”. In: Proceedings of the
7th Workshop on Cognitive Modeling and Computational Linguistics (CMCL 2017). 2017,
pp. 41–45.
Tetsuo Saeki. “Gendaigo ni okeru gojun no keikō – iwayuru hogo no baai”. In:
Gengo seikatsu [Language life] 111 (Dec. 1960), pp. 56–63.
Tetsuo Saeki. Yōsetsu Nihongo no Gojun. Kurosio Publishers, 1998.
Ryohei Sasano and Manabu Okumura. “A Corpus-Based Analysis of CanonicalWord Order of Japanese Double Object Constructions”. In: Proceedings of the 54th
Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers).
Association for Computational Linguistics, Aug. 2016, pp. 2236–2244.
Yasumasa Shigenaga. “Canonical Word Order of Japanese Ditransitive Sentences:
A Preliminary Investigation through a Grammaticality Judgment Survey”. In:
Advances in Language and Literary Studies 5.2 (2014), pp. 35–45.
栗林 樹生 et al. “言語モデルを用いた日本語の語順評価と基本語順の分析”. In: 言語処理学会第 25 回年次大会発表論文集. 2019, pp. 1053–1056.

*14 格助詞「に」，「で」などではとりたて助詞は格助詞の後ろに追加される．

― 496 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.