大規模言語モデルの文処理は人間らしいのか？

言語モデルの計算する次単語確率が人間の読み活動（読み時間など）をうまく再現できる[1,2,3]．このことから，人間も続く単語の予測を行いながら文を読んでいることが支持されている[4,5]．この知見を踏まえ計算心理言語学領域では，人間の文処理の解明を目指し，どのような言語モデル・アルゴリズムの計算する確率が，人間の振る舞いをより忠実に再現できるのか探求されている（図1；[6,7,8])．一方自然言語処理分野では，人間に好まれる返答を出力するよう訓練された大規模言語モデル（教師あり指示学習済み大規模言語モデル）が成功を収めている．このような発展を踏まえると，人間に好まれるように追調整した大規模言語モデルが，人間の読み活動の再現という文脈でも優位性をもつのかが問いとして浮上し，その答えには複数の可能性が考えられる．例えば，人間に好まれる出力を促すという学習は，広い意味では人間と対応をとる方向にあり（例えば，人間も言語モデルも文章を読んでいるときに，でっちあげられた情報を期待しない/すべEngland,?読み時間サプライザルtoどのモデルが⼈間の読み活動を再現できるか︖IfyouNorthweretojourneyofthe人間コーパスの統計に基づく純粋な次単語確率ベース言語モデル(§3.1)サプライザルサプライザル⼈間に好まれるよう調整した⾔語モデルが求める確率指示学習済みモデル(§3.2)特定の指⽰のもとで計算する次単語確率例：簡単な単語で予測してください指示条件付きモデル(§4)⾔語モデルに直接質問して求めた単語の処理負荷推定例：どの単語の処理負荷が高い？メタ言語的指示(§5)間の読み時間と言語モデルの計算するサプライザル（−log𝑝(単語|文脈)）を対比させ，（i）通常の大規模言語モデル，（ii）指示学習済み大規模言語モデル，（iii）指示条件付き大規模言語モデル，(iv)メタ言語的指示による読み時間推定，のいずれがより正確に人間の読み活動を再現するのか調べる．きでないだろう[9,10]），結果的に人間らしい振る舞いを促すかもしれない．一方で，教師あり学習を経た言語モデルは，もはや大規模コーパスの統計情報を忠実に計算する狭義の言語モデルではないだろう．仮に人間の文処理の本質が大量の言語刺激の集積に基づく次単語の予測にあるとするならば，特定のデータに対する教師あり指示学習は，この文脈では不必要かもしれない．さらに，教師あり指示学習で目指しているものは，心理言語学が典型的に対象とする一人間の能力のモデルではなく，どのような話題にも適切に回答できるいわば超知能的な存在であろう．この観点では，近年の教師あり指示学習が，心理言語学的な意味での人間らしさをモデルに促すと期待はできないかもしれない．実験から，指示学習済み大規模言語モデルは，同程度の正確性（パープレキシティ，PPL）をもつ指示学習なしの言語モデルと比較して，人間の言語処.理をうまく再現できないことがわかった．すなわち現在の指示学習の成功は，認知モデリングを進展させていない．さらに，指示学習と認知モデリングという新たな組み合わせから，(i)プロンプトの選択によって言語モデルが人間の振る舞いをよりうまく再現できるようになるのか，(ii)モデルに直接逐次的文処理の負荷を問い合わせることで（メタ言語的指示），確率に基づく推定よりも逐次的処理負荷をうまく推定できるのかといった問いに答える．前者の問いについては，言語学的に動機づけられた特定の指示が人間らしい振る舞いを促したものの，依然として通常の言語モデルの計算する確率の方が人間の読み振る舞いを予測できた．後者の問いについては，メタ言語的指示に基づく読み負荷の推定は，純粋な確率に基づく推定に対して劣ることがわかった．まとめると，近年の指示学習済み言語モデルの進展は，人間の読み活動の再現において，純粋な次単語確率に勝る道具立てを提供できていないことがわかる．またこのことは，計算言語学の発展における，単語の確率値を提供できる「開かれたAPI」の価値も示している．