大規模言語モデルの浅い層が人間の速い言語処理を再現する

本研究では，大規模ニューラル言語モデルの中間層から得られる次単語予測確率が人間の読み活動・脳波データをうまく説明できることを報告する．これは，大きな言語モデルの計算する確率ほど人間の振る舞いから逸脱してしまうという既存の報告を覆すものであり，大規模言語モデルの認知的妥当性が過小評価されていたことを示唆する．さらに，人間の比較的速い反応（最初の視線停留など）は浅い層で，遅い反応（脳波N400など）は深い層で再現される傾向が見られ，言語モデル内部でのレイヤ方向の漸進的処理と，人間の異なるタイムスケールの反応との対応をとる新たな方向性を提示する．