大規模言語モデルの浅い層が人間の速い言語処理を再現する

1.1背景人間は，逐次的に文章を読んでいる間，様々な行動・生理的反応を見せる．例えば，しばらくある単語を見た後，前後の単語に視線を移したり，特徴的な脳活動を示したりする．このようなデータの説明は，人間の言語処理で何が計算されているかという問いに答える手がかりとなる．一つの仮説として，人間も（大雑把に言えば言語モデルと同じように）言語を処理している最中に，次の単語・情報を予測しており，予測しづらい箇所で認知的負荷が高くなる（視線が停留したり，特定の生理的反応が生じる），さらにその関係は文脈内での単語の対数確率−log𝑝(単語|前方文脈)に線形であるという，サプライザル仮説があげられる[1,2,3,4]．本研究はこの仮説を掘り下げるものである．サプライザル仮説そのものは，計算のゴール・目的（将来の予測）についてのみ言及しており，それがどのような表現・アルゴリズムで計算されるかといったレベルには踏み込んでいない．当該領域では，このアルゴリズムの理解（例えば，本当に人間次単語の最終予測LMhead中間層における次単語予測……LM事象関連電位N400後半層Theaboutreportingoshe視線停留MAZE処理時間TheaboutreportingosheNEXTWORDNEXTWORD⾃⼰ペース読み時間人間前半層Thereportshegivesapresentis…入力：活動・脳波データを説明する．中間層を含めた認知モデリングでは，大きな言語モデルも人間をうまく模倣する．は木のような統語構造を扱って次単語予測をしているとみなせるのかなど）が次の関心となっている．幸い，自然言語処理分野は次単語確率・サプライザルを計算できる様々なアルゴリズム（逐次的パーザや言語モデルなど）を開発してきた．これらを仮説の実装として利用・改造し，どのモデルの計算するサプライザルが，人間に近い振る舞いを示すかが検証されている．そのモデル候補として，近年であれば，人間らしい流暢な言語を生成できる大規模言語モデルも含められてきた．ここ数年の発見として，大きな言語モデルほど，得られる単語確率（サプライザル）は人間の読み活動から乖離してしまうという報告があげられてきた[5,6,7]．すなわち，大規模言語モデルが「驚く」箇所で，人間も驚いているわけではなく，むしろGPT2-small程度の小さなモデルの驚き方が最も人間らしいという帰結が得られている．多くの研究者は，これを踏まえ，なぜ大きな言語モデルほど人間から乖離していくのかという分析を始めているが[8,9,10,11]，相補的な取り組みとして，我々は，本当に大規模言語モデルから人間らしい予測・驚きが得られないのか？という点について再訪する．.Pythia-1bPythia-1.4bPythia-70mPythia-6.9bOPT-125mOPT-1.3bGPT2-smallGPT2-largeGPT2-xlPythia-12bLastlayerBestlayerPythia-160mPythia-410mOPT-6.7bPythia-2.8bく説明できる例．モデルシリーズごとの結果．横軸が言語モデルの層の位置，縦軸が人間データとの適合の良さ．1.2提案：言語モデルの中間予測本研究ではとりわけ，ニューラル言語モデルを活用したサプライザル仮説の検証[12,13,14,15,5]において暗黙に仮定される，モデルの最終出力として得られる確率で認知モデリングをするという設定について再検討する．そして実験では，人間を測定する指標に応じて，むしろ前半層や中間層から得られる，洗練される前の言語モデルの中間予測が人間のデータと適合することを示す．つまり，仮に人間を大規模言語モデルと見立てた場合，人間から即時的に観察される反応は，中間層の情報のようなものに対応すると考えれば1），ある程度説明がつく（図2）．このような検証に至る動機として，そもそも計測されている人間の反応が，言語モデルの最終層のような，その語に対する処理が完了するまでの全ての処理・予測・判断を踏まえたものではない可能性をあげたい．人間に対する異なる測定指標はしばしば異なるタイムスケールに対応しており，例えば，N400事象関連電位がおよそ400ms後に出現する前に，視線（ﬁrstpassgazeduration;FPGD）はすでに次の単語に移っていることが多い[16,17]．この観点では，FPGDは次の単語を迎え入れるまでの必要最小限の処理しか反映していないかもしれない．更に少々荒い議論でよければ，例えば，眼は情報が入るセンサーであり，そのような眼球・視線の（ある程度反射的な）振る舞いは言語モデルの入力層のようでもおかしくないのかもしれない．一般的には，速い指標は語彙などの浅い処理に，遅い指標は意味などの深い処理に紐づくという見方がさ1）後半層の処理にあたるものは，認知モデリングの文脈で計測される，視線移動のような即時的な行動には反映されない，熟慮のようなものだと一旦思うことにする．れ[18,19,20]，このような同じ単語を処理している最中の異なる時間スケール・粒度の反応は，言語モデル側で考えれば，層方向の違いが候補にあがるだろう．さらに，人間の速い反応は先に計算される前半層で再現され，遅い反応はその後計算される後半層で再現されると説明できるのであれば．直観的である．本研究では，少なくともFPGD,self-pacedreadingtime(SPR),N400,MAZEなどのよく用いられる人間の指標については，このような対応が概ね当てはまることを示す．また，大規模言語モデル内の多くの中間層では，これまで良いとされた小さい言語モデルと同等かそれ以上に人間の振る舞い・脳波を再現でき，これは大きい言語モデルほど人間から逸脱していくという既存の知見[14,5,6,7]を覆す．