どのような言語モデルが不可能な言語を学習してしまうのか？—語順普遍を例に—

ニューラル言語モデルは，系列データを処理するための汎用的な道具立てとなり，様々な言語，プログラム，画像チャンク，さらには自然言語らしくない性質をもつデータ[1]までも学習できてしまう．一方言語学では，自然言語をたらしめる特徴に関心があり，自然言語のみを受理（学習）できる必要十分な計算モデル（形式文法など）が探求されてきた．このような言語学的立場から見れば，いかなる系列データも学習できてしまうニューラル言語モデルは，自然言語そのもののモデルではないと批判される[2]．しかし実際のところ，ニューラル言語モデルがどの程度，自然言語らしくない不可能言語を学習できてしまうのか，また何か工夫を施すことで可能言語のみをうまく学習する言語モデルが構築できるのかといった知見は乏しい．異なる語順設定で⾔語モデルを訓練するPPL世界の語順頻度🌏語順設定:LLLLLLLTürkçe日本語…tiferobciatedarelbullifssubremiff相関……認知的バイアス+⾔語モデル語順設定:LRLRLRLbullifsrelciatedatiferobsubremiff語順設定:RRRRRRRﻋرﺑﻲ…remiffsubbullifsrelciatedaobtifer在する可能語順と存在しない不可能語順を（柔らかく）区別できるのか調査する．具体的には，類型的に高頻度な自然言語らしい語順ほど言語モデリングがしやすいことを期待する．様々な言語モデルを分析し，どの言語モデルがこの観点で望まれる性質をもつかが焦点となる．本研究では，自然言語の語順普遍に着目し，どのような言語モデルが語順普遍から逸脱したデータの学習の難しさを創発するのか探求し，構成論的な方法で語順普遍の根源に迫る．具体的には，自然言語に存在する可能語順をもつ人工言語コーパスや，そうでないコーパスをそれぞれ作成し，可能語順でのみ低いパープレキシティを示す言語モデルを探す．認知的に動機づけられている言語モデルも含め，20種類の言語モデルの学習（帰納）バイアスについて体系的に調査する．実験結果から，おおよそ全ての言語モデルにおいて，可能語順は学習しやすい傾向にあることがわかった．これは次の単語を予測しやすいという特性が自然言語の語順を形付けている可能性を示唆し，言語モデリングという枠組みが自然言語に特有な一側面を説明できることを支持している．また通常の言語モデルと認知的に動機づけられた言語モデルで.パラメータLR𝑠S猫が食べる。食べる猫が。𝑠VP猫が鼠を食べる。猫が食べる鼠を。𝑠PP猫が机の上で食べる。猫がの上で机食べる。𝑠NP小さな猫が食べる。猫小さなが食べる。𝑠Rel乳を飲む猫が食べる。猫乳を飲むが食べる。𝑠Case猫が食べる。が猫食べる。確率語順設定（頻度順）は，自然言語の語順分布について異なる側面を創発することがわかった．例えば通常のTransformer言語モデルは，句横断的に主要部が左か右いずれかに偏るという調和的な語順を選好することが観察された．一方で認知的に動機づけられた言語モデルの語順選好は，語順の頻度分布全体とより相関しやすい傾向にあった．後者の知見については，自然言語の語順の設計に人間の認知的なバイアスが反映されていることの概念実証と見ることができ，計算心理言語学と言語類型論の繋がりを示唆している．