大規模言語モデルの文処理は人間らしいのか？

言語モデルの計算する次単語確率は，人間の読み活動（読み時間など）をうまく説明する．この知見のもと，本研究では，教師あり指示学習（インストラクション・チューニング）済みの大規模言語モデルが，通常の大規模言語モデルと比べて，人間の読み活動と乖離した単語確率を計算する傾向を示す．すなわち，人間に好まれる応答をするよう言語モデルを追調整することは，心理言語学的な意味でモデルを人間に近づけることを含意していない．さらに，読み時間の予測に有効な指示（プロンプト）を調査する．特定の言語学的仮説を言語化した指示が有効であったものの，依然として純粋な次単語確率の方が人間の読み振る舞いを予測できた．