どのような言語モデルが不可能な言語を学習してしまうのか？—語順普遍を例に—

ニューラル言語モデルは，自然言語の範囲を超え，プログラムなど系列データ一般を処理するための基盤的な道具立てとなった．一方言語学では，自然言語のみを受理（学習）し，可能言語と不可能言語を区別する計算モデル（形式言語など）が探求されており，両分野の向かう方向は異なる．そこで本研究では，両視点から，自然言語らしくないデータをモデリングできない言語モデルを探求することで，自然言語の性質に迫る．今回は特に語順に焦点を当て，どのような言語モデルが，自然言語における語順普遍から逸脱した不可能語順をもつデータを学習してしまうのか調査する．認知的に動機づけられた言語モデルが相対的に可能語順のみを学習しやすい傾向にあることなどがわかった．