言語処理学会 第30回年次大会 発表論文集（2024年3月）

大規模言語モデルの文処理は人間らしいのか？
栗林 樹生 1 大関 洋平 2 Timothy Baldwin1,3
1 MBZUAI
2 東京大学3 メルボルン大学{tatsuki.kuribayashi, timothy.baldwin}@mbzuai.ac.ae
oseki@g.ecc.u-tokyo.ac.jp

1

はじめに

言語モデルの計算する次単語確率が人間の読み活動（読み時間など）をうまく再現できる [1, 2, 3]．このことから，人間も続く単語の予測を行いながら文を読んでいることが支持されている [4, 5]．この知見を踏まえ計算心理言語学領域では，人間の文処理の解明を目指し，どのような言語モデル・アルゴリ
ズムの計算する確率が，人間の振る舞いをより忠実に再現できるのか探求されている（図 1； [6, 7, 8])．
一方自然言語処理分野では，人間に好まれる返答を出力するよう訓練された大規模言語モデル（教師あり指示学習済み大規模言語モデル）が成功を収めている．このような発展を踏まえると，人間に好まれるように追調整した大規模言語モデルが，人間の読み活動の再現という文脈でも優位性をもつのかが問いとして浮上し，その答えには複数の可能性が考えられる．例えば，人間に好まれる出力を促すという学習は，広い意味では人間と対応をとる方向にあり（例えば，人間も言語モデルも文章を読んでいる
ときに，でっちあげられた情報を期待しない/すべ

⼈間に好まれるよう調整した⾔語モデルが求める確率

人間

England,to Northtowere journeyofthe

If youサプライザル

コーパスの統計に基づく
純粋な次単語確率

読み時間?

ベース言語モデル (§3.1)

例：簡単な単語で予測してください

⾔語モデルに直接質問して求めた単語の処理負荷
例：どの単語の処理負荷が高い？

サプライザル

指示学習済みモデル (§3.2)
特定の指⽰のもとで計算する
次単語確率

指示条件付きモデル (§4)
推定

言語モデルの計算する次単語確率は，人間の読み
活動（読み時間など）をうまく説明する．この知見のもと，本研究では，教師あり指示学習（インスト
ラクション・チューニング）済みの大規模言語モデ
ルが，通常の大規模言語モデルと比べて，人間の読み活動と乖離した単語確率を計算する傾向を示す．
すなわち，人間に好まれる応答をするよう言語モデ
ルを追調整することは，心理言語学的な意味でモデ
ルを人間に近づけることを含意していない．さらに，読み時間の予測に有効な指示（プロンプト）を調査する．特定の言語学的仮説を言語化した指示が有効であったものの，依然として純粋な次単語確率の方が人間の読み振る舞いを予測できた．

どのモデルが⼈間の読み活動を再現できるか︖

サプライザル概要

メタ言語的指示 (§5)

図 1 人間と言語モデルの「読み滞り」を比較する． 人
間の読み時間と言語モデルの計算するサプライザル（− log 𝑝( 単語 | 文脈 )）を対比させ，（i）通常の大規模言語モデル，（ii）指示学習済み大規模言語モデル，（iii）指示条件付き大規模言語モデル，(iv) メタ言語的指示による
読み時間推定，のいずれがより正確に人間の読み活動を再現するのか調べる．

きでないだろう [9, 10]）
，結果的に人間らしい振る舞いを促すかもしれない．一方で，教師あり学習を経た言語モデルは，もはや大規模コーパスの統計情報を忠実に計算する狭義の言語モデルではないだろう．仮に人間の文処理の本質が大量の言語刺激の集積に基づく次単語の予測にあるとするならば，特定のデータに対する教師あり指示学習は，この文脈では不必要かもしれない．さらに，教師あり指示学習
で目指しているものは，心理言語学が典型的に対象とする一人間の能力のモデルではなく，どのような話題にも適切に回答できるいわば超知能的な存在であろう．この観点では，近年の教師あり指示学習
が，心理言語学的な意味での人間らしさをモデルに促すと期待はできないかもしれない．
実験から，指示学習済み大規模言語モデルは，同程度の正確性（パープレキシティ，PPL）をもつ指示学習なしの言語モデルと比較して，人間の言語処― 2823 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

理をうまく再現できないことがわかった．すなわち用いた場合の PPP も報告する：1）

現在の指示学習の成功は，認知モデリングを進展さH 𝜃 (𝑊𝑡 ) :=せていない．

𝔼𝑤∼ 𝑝 (· |𝒘<𝑡 )ℎ𝑡 , 𝜃 (𝑤) ,

∑
1
log2
𝑝 𝜃 (𝑤|𝒘 <𝑡 ) 𝛾 .
𝛾→𝛼 1 − 𝛾𝑤 ∈𝑊

さらに，指示学習と認知モデリングという新たなH 𝛼, 𝜃 (𝑊𝑡 ) := lim

組み合わせから，(i) プロンプトの選択によって言語

(3)
(4)

モデルが人間の振る舞いをよりうまく再現できるよ

𝛼 = 1 の場合に式 3 と式 4 は一致し，既存研究 [13, 16]

うになるのか，(ii) モデルに直接逐次的文処理の負で有効性が示されている 𝛼 = 0.5 の場合と共に，結荷を問い合わせることで（メタ言語的指示），確率に果を報告する．

基づく推定よりも逐次的処理負荷をうまく推定できるのかといった問いに答える．前者の問いについて

2.2

は，言語学的に動機づけられた特定の指示が人間ら

実験設定

モデル：

モデルの大きさや教師あり指示学習

しい振る舞いを促したものの，依然として通常の言の有無が異なる 26 モデル（OPT, GPT-2/3/3.5, Falcon

語モデルの計算する確率の方が人間の読み振る舞い

2）
LM, LLaMA-2）を対象とした（付録参照）．
データ： Dundee Corpus (DC) [17] と Natural Storiesを予測できた．後者の問いについては，メタ言語的指示に基づく読み負荷の推定は，純粋な確率に基づ

Corpus (NS) [18] を用いる．紙面スペースの都合上，く推定に対して劣ることがわかった．まとめると，

図 2 から NS の結果は省いているが，一貫した結果

近年の指示学習済み言語モデルの進展は，人間の読が得られている．データの前処理については，付録

み活動の再現において，純粋な次単語確率に勝る道を参照されたい．

具立てを提供できていないことがわかる．またこのことは，計算言語学の発展における，単語の確率値を提供できる「開かれた API」の価値も示している．

2

人間の文処理のモデリング

2.1

橋渡し仮説

実験 1: 大規模言語モデル

3§3.1 では，教師あり指示学習をしていない大規模言語モデル（ベース言語モデル）の PPP を調査す
る．§3.2 では，指示学習済みモデルを分析し，§4 と§5 では，さらに指示方式を調査する．

人間の読み時間（RT）などで測定される文の逐次的な処理負荷は，言語モデル 𝜃 によって推定される単語のサプライザル ℎ𝑡 , 𝜃 (𝑤) で説明される：

3.1

ベース言語モデル

図 2 左に，大規模言語モデルの PPP と PPL の関係を示す3）．各図形が各モデルに対応し，ここでは枠線のないベース言語モデルと，それらから求めた

RT(𝑤 𝑡 ) ∼ ℎ𝑡 , 𝜃 (𝑤 𝑡 ) + baselines(𝑤 𝑡 ) ,(1)ℎ𝑡 , 𝜃 (𝑤) := − log2 𝑝 𝜃 (𝑤|𝒘 <𝑡 ) .

(2)ルにおいて PPP は統計的に有意に正であり，既存研

本実験では，読み時間の予測に対するサプライザ

究の通り [19]，サプライザル仮説は支持された．次ル因子の寄与が焦点である．具体的には，サプライに，レニエントロピ（𝛼 = 0.5）を用いた際の PPP は，

ザル因子とその他ベースライン素性（単語の長さな

サプライザルやシャノンエントロピを用いた場合よど）を用いた回帰モデルが，ベースライン素性のりも高く，既存研究 [13, 16] よりも幅広いモデルでみのモデルに対して，どの程度読み時間予測能力

その有効性が示された．さらに，事前学習済み言語が向上するのかを測る．この予測能力の差を PPP

モデルにおいて，PPL の低い言語モデルほど PPP が（psychometric predictive power）と呼び，この値が高悪化するというある種の逆スケーリング則が報告さいほど，追加したサプライザル因子が読み時間の説明に寄与している．そして，この論文ではどのようれており [8, 19, 20, 21]，回帰直線の傾きからこの知な言語モデル 𝜃 でサプライザルを計算することで，高い PPP が得られるのかを調査する．なお，既存研究に基づき [11, 12, 13]，サプライザルの期待値であるシャノンエントロピ H 𝜃 (𝑊𝑡 ) [14] と，その一般化されたものであるレニエントロピ H 𝛼, 𝜃 (𝑊𝑡 ) [15] を

PPL–PPP 回帰直線に注目する．まず，すべてのモデ

見も再現された．
1） 語彙集合 𝑊 は，言語モデルの語彙語彙で近似する [13]．
2） GPT-3/3.5 については，API の仕様上 top-k 単語の確率しか取得できないため，エントロピの結果は示していない．また，GPT-4 は確率値が取得できないことから除外している．
3） PPL はいずれのモデルもコーパス上で読み時間が付与されている単位に対する平均的な確率に基づいて計算しており，
トークナイザの違いによる影響は受けない― 2824 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

サプライザル

良

サプライザルモデル
LLaMA-2
FalconGPT-3/3.5

悪良
エントロピ（α=1）

GPT-2

悪

エントロピ（α=1）

OPT
指⽰学習
なし (ベース)
あり (IT)あり+指⽰

エントロピ（α=0.5）

エントロピ（α=0.5）

モデルの
⼤きさ
⼩
⼤

図 2 PPL と PPP の関係．各図形は各言語モデルや設定（指示）に対応する．回帰直線はベース言語モデルの結果から求めており，灰色の領域は 95%信頼区間である．左図はベース言語モデルと指示学習済みモデルの結果のみを示しており，
右図はさらに指示条件付き言語モデルの結果を重ね合わせたものである．

3.2

た（iii）全体的な傾向としては「単純な語・文法で指示学習済み言語モデル

補完してください」といった指示で，人間の読み活

図 2 左より，指示学習済みモデル（黒枠線）の多く

動に近いサプライザルが計算された．このような単が，ベース言語モデルによって推定された PPL–PPP

純バイアスは，人間の文処理において，不必要に複回帰直線に対して右下側に位置していることがわか

雑な解析をしないという good-enough 処理仮説 [22]る．指示学習済みモデルは PPL が悪化する傾向にあと接続ができ，間接的にそのような仮説を支持してり，それにも関わらず PPP が向上していない．すないると解釈できる．
PPP と PPL の関係：

わち，指示学習済みモデルは PPL と PPP の両立が

図 2 左に対し，指示条件付

できておらず，コーパスのモデリングという観点でき言語モデルの結果を重ね合わせたものが図 2 右も，人間の認知モデリングという観点でも，これらである．各図形は，特定の指示学習モデルに対しては質の悪い（狭義の）言語モデルであると言える．

特定の支持を与えた際の結果である．特定の指示で

4

実験 2: 指示条件付き言語モデル

PPP は改善するものの，依然として指示条件付きモ

特定の指示のもとで次の単語を予測させること

デルは，ベース言語モデルが設定する PPP と PPL の
回帰直線の右下に位置し，やはり PPP と PPL の両立

で，サプライザルの推定に言語的なバイアスがかけという観点では，ベース言語モデルの計算する単なられる．この観点で有効な指示を探し，人間特有のる次単語確率が優れていると言える．

文処理のバイアスの言語化を狙う．
本稿では，表 1 に示す 8 つの指示を試す．特定の実験 3: メタ言語的指示

5

言語的側面（語彙選択・文法性）に対するバイアス

ここまで，言語モデルが計算する確率によって処（単純・複雑にする等）の導入を指示している．ま理負荷を説明しようとしてきたが，指示学習済み

た，「次の文を補完してください」という指示と，指モデルであれば，「この単語の読み時間はどの程度示をしない場合（§3.2 と同様）も合わせて報告する．

か」といった質問に直接答えてくれるだろう．この表 1 に，それぞれの指示を用いた

ようなメタ言語的指示 [23] と従来の確率に基づく読

場合の PPP を示す．なお以降の節では，指示学習済

み時間の再現では，どちらが優れているのかを評価

みの言語モデル（7 種類）による結果の平均を示す．

する．

指示の影響：

結果として，（i）特定の指示では PPP が向上すること，（ii）文法に言及すると PPP が向上すること，ま設定：

事前分析より「文中の各単語の読み時間を答えてください」といった類の質問では，同じ数― 2825 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表1

異なる指示を用いたときの PPP の変化．プロンプト有り設定について最も値の大きい PPP を太字にしている．
DC
NS

番号 プロンプトℎ ↑ H ↑ H0.5 ↑ ℎ ↑ H ↑ H0.5 ↑1 Please complete the following sentence to make it as grammatically simple as 8.23 7.46 12.26 6.55 2.62 8.26
possible:\n 𝑤 0 , · · · , 𝑤 𝑡 −1
2 Please complete the following sentence with a careful focus on grammar: \n 8.24 7.19 11.99 6.20 2.99
𝑤 0 , · · · , 𝑤 𝑡 −1
3 Please complete the following sentence to make it as grammatically complex as 7.77 6.99 11.74 5.66 2.54
possible: \n 𝑤 0 , · · · , 𝑤 𝑡 −1

8.72

4 Please complete the following sentence using the simplest vocabulary possible: \n 7.82 7.48 12.15 5.70 3.11
𝑤 0 , · · · , 𝑤 𝑡 −1

8.90

5 Please complete the following sentence with a careful focus on word choice: \n 7.87 6.86
𝑤 0 , · · · , 𝑤 𝑡 −1
6 Please complete the following sentence using the most diﬃcult vocabulary possible: 7.31 6.71
\n 𝑤 0 , · · · , 𝑤 𝑡 −1
7 Please complete the following sentence in a human-like manner. It has been 7.86 7.30
reported that human ability to predict next words is weaker than language models andthat humans often make noisy predictions, such as careless grammatical errors.\n
𝑤 0 , · · · , 𝑤 𝑡 −1
8 Please complete the following sentence. We are trying to reproduce human reading 8.17 7.36
times with the word prediction probabilities you calculate, so please predict thenext word like a human. It has been reported that human ability to predict next words
is weaker than language models and that humans often make noisy predictions, suchas careless grammatical errors.\n 𝑤 0 , · · · , 𝑤 𝑡 −1

11.50 6.06 2.94

8.60

11.38 4.73 2.43

7.57

12.34 4.60 3.03

8.78

12.42 4.83 3.11

8.73

8.34 7.12 11.88 5.77 3.01
9.32 6.15 11.48 6.25 2.69

8.74
8.86

9 Please complete the following sentence: \n 𝑤 0 , · · · , 𝑤 𝑡 −1
10 w/o prompting

値を繰り返し答えるなど望んだ回答が得られなかった．これを踏まえて，「この文の中の単語を処理負荷・サプライザルが高い順に並べてください」とい

表 2 推定された読み負荷と実際の値の順位相関．メタ言
語的指示の結果は異なる例示による 3 回の実験の平均値．

モデル
DC ↑ NS ↑LLaMA-2 7B 0.09 -0.04
Suppose humans read thefollowing sentence: [SENT]. LLaMA-2 13B 0.06 -0.03
Falcon 7B
0.12 0.01
List the tokens in order ofFalcon 40B
0.03 -0.03
their reading cost (high to
GPT3.5 D2
0.05 0.05
low) during sentence
GPT3.5 D3
0.08 0.03
processing.
LLaMA-2
7B
0.05
0.00
Suppose you read the following
LLaMA-2 13B 0.04 0.06
sentence: [SENT]. List theFalcon 7B
0.08 0.05
tokens in order of their
Falcon 40B
0.02 0.13
probability in context
GPT3.5 D2
0.03 0.02(low to high).
GPT3.5 D3-0.01 0.06
LLaMa-2 7B 0.28 0.19
LLaMa-2 13B 0.27 0.19
サプライザルによる並び
Falcon 7B
0.32 0.18
Falcon 40B
0.28 0.17
替えGPT3.5 D2
0.28 0.16
GPT3.5 D3
0.25 0.17
方法論（プロンプト）

う質問に問題を簡略化させた（表 2）．異なる読み時
間コーパスから抽出した文と正しい単語の並びの例
を 3 つ見せ（付録参照），コーパス中の各文について処理負荷順に単語を並び替える問題を解かせる．
文ごとに正しい並びとモデルが出力した並びの間のスピアマン順位相関を求め，そのコーパス平均を報告する．サプライザルの高い順に単語を並べるベースラインと比べて，メタ言語的指示による並び替えの相関が高いかが焦点である．
結果：

7.75

表 2 に結果を示す．サプライザルに基づ

く並び替えよりも，メタ言語的指示で得られた並び
替え結果のほうが相関が低く，サプライザルに基づ
く認知モデリングの有効性がここでも示された．4）
なお，実際のサプライザルに基づく並び替えと，サ
プライザルを間接的に求めさせる表 2 中２つ目の指示で得られた並び替えの間の相関は 0.1–0.2 程度であり，文に対する自身の「驚き」に関するある種のメタ認知ができていないことも示唆された．

おわりに

6

本研究では，認知モデリングの視点から，大規模言語モデルに対する教師あり指示学習など，自然言
語処理における新しい概念の位置づけを調査した．
人間と言語モデルの対応付け（AI アライメント）に対して分野の関心が高まっているが，認知モデリン
グもまた計算モデルを人間に対応付ける試みであ4） 多くの要素を並び替えて順に出力していくこと自体がモデルにとって難しいという懸念を踏まえ，モデルが出力した最初の 5 単語で相関を計算したが，その場合もやはり無相関に近い値であった．

り，その出口は工学的・科学的な意味で異なるが，両領域が示唆を与え合うことに期待したい．

― 2826 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

In Proceedings of the Fourth Berkeley Symposium

謝辞
本研究は、JST さきがけ JPMJPR21C2 の支援を受けたものです。

参考文献[1] John Hale. A Probabilistic Earley Parser as a Psycholinguistic Model. In Proceedings of NAACL 2001, pp.
159–166, 2001.
[2] Andy Clark. Whatever next? predictive brains, situatedagents, and the future of cognitive science. Behav. Brain
Sci., Vol. 36, No. 3, pp. 181–204, June 2013.
[3] Adam Goodkind and Klinton Bicknell. Predictive powerof word surprisal for reading times is a linear function of
language model quality. In Proceedings of CMCL, pp.
10–18, 2018.
[4] Roger Levy. Expectation-based syntactic comprehension.
Journal of Cognition, Vol. 106, No. 3, pp. 1126–1177,
2008.
[5] Nathaniel J. Smith and Roger Levy. The eﬀect of word
predictability on reading time is logarithmic. Journal of
Cognition, Vol. 128, No. 3, pp. 302–319, 2013.
[6] Ethan Gotlieb Wilcox, Jon Gauthier, Jennifer Hu, Peng
Qian, and Roger Levy. On the Predictive Power of Neural
Language Models for Human Real-Time Comprehension
Behavior. In Proceedings of CogSci, pp. 1707–1713,
2020.
[7] Byung-Doh Oh, Christian Clark, and William Schuler.
Surprisal estimators for human reading times need character models. In Proceedings of ACL-IJCNLP 2021, pp.
3746–3757, August 2021.
[8] Tatsuki Kuribayashi, Yohei Oseki, Ana Brassard, and Kentaro Inui. Context limitations make neural language models
more human-like. In Proceedings of EMNLP 2022, pp.
10421–10436, December 2022.
[9] Herbert P Grice. Logic and conversation. In Speech acts,
pp. 41–58. Brill, 1975.
[10] Amanda Askell, Yuntao Bai, Anna Chen, Dawn Drain,
Deep Ganguli, Tom Henighan, Andy Jones, Nicholas
Joseph, Ben Mann, Nova DasSarma, et al. A generallanguage assistant as a laboratory for alignment. arXiv
preprint arXiv:2112.00861, 2021.
[11] Brian Roark, Asaf Bachrach, Carlos Cardenas, andChristophe Pallier.
Deriving lexical and syntactic
expectation-based measures for psycholinguistic modeling via incremental top-down parsing. In Proceedings of
EMNLP 2009, pp. 324–333, August 2009.
[12] Marten van Schijndel and Tal Linzen. Can Entropy Explain
Successor Surprisal Eﬀects in Reading? In Proceedingsof SCiL 2019, pp. 1–7, 2019.
[13] Tiago Pimentel, Clara Meister, Ethan G. Wilcox, Roger
Levy, and Ryan Cotterell. On the eﬀect of anticipation onreading times. arXiv preprint, 2022.
[14] C E Shannon. A Mathematical Theory of Communication.
Bell System Technical Journal, Vol. 27, No. 3, pp. 379–
423, 1948.
[15] Alfréd Rényi. On measures of entropy and information.

on Mathematical Statistics and Probability, Volume
1: Contributions to the Theory of Statistics, Vol. 4.1,

pp. 547–562. University of California Press, January 1961.
[16] Tong Liu, Iza Škrjanec, and Vera Demberg. Improving ﬁt
to human reading times via temperature-scaled surprisal,
November 2023.
[17] Alan Kennedy, Robin Hill, and Joël Pynte. The dundee
corpus. In Proceedings of the 12th European conference on eye movement, 2003.
[18] Richard Futrell, Edward Gibson, Harry J. Tily, Idan Blank,
Anastasia Vishnevetsky, Steven Piantadosi, and Evelina
Fedorenko. The natural stories corpus. In Proceedingsof LREC 2018, pp. 76–82, May 2018.
[19] Cory Shain, Clara Meister, Tiago Pimentel, Ryan Cotterell, and Roger Philip Levy. Large-scale evidence forlogarithmic eﬀects of word predictability on reading time.
PsyArXiv, 2022.
[20] Andrea de Varda and Marco Marelli. Scaling in cognitive modelling: a multilingual approach to human reading
times. In Proceedings of ACL 2023, pp. 139–149, July
2023.
[21] Byung-Doh Oh and William Schuler. Why does surprisal
from larger transformer-based language models provide apoorer ﬁt to human reading times? TACL, Vol. 11, pp.
336–350, March 2023.
[22] Fernanda Ferreira and Matthew W Lowder. Chapter six prediction, information structure, and Good-Enough language processing. In Brian H Ross, editor, Psychology
of Learning and Motivation, Vol. 65, pp. 217–247. Academic Press, January 2016.
[23] Jennifer Hu and Roger Levy. Prompting is not a substitutefor probability measurements in large language models. In
Proceedings of EMNLP 2023 (to appear), 2023.
[24] Merity Stephen, Xiong Caiming, Bradbury James, Socher
Richard, et al. Pointer sentinel mixture models. In Proceedings of ICLR 2017, 2017.
[25] Ethan Wilcox, Pranali Vani, and Roger Levy. A targeted
assessment of incremental processing in neural language
models and humans. In Proceedings of ACL, pp. 939–
952, August 2021.

― 2827 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 3 使用したモデル
モデル

指示学習 リンク

GPT-2 117M
GPT-2 355M
GPT-2 774M
GPT-2 1.5B
LLaMa2 7B
LLaMa2 7B
LLaMa2 13B
LLaMa2 13B
LLaMa2 70B
LLaMa2 70B
Falcon 7B
Falcon 7B
Falcon 40B
Falcon 40B

✓
✓
✓
✓
✓

OPT 125M
OPT 350M
OPT 1.3B
OPT 2.7B
OPT 6.7B
OPT 13B
OPT 30B
OPT 66B

A

GPT3.5, Falcon の場合✓✓

https://huggingface.co/meta-llama/Llama2- 7b- hf
https://huggingface.co/meta-llama/Llama2- 7b- chat- hf
https://huggingface.co/meta-llama/Llama2- 13b- hf
https://huggingface.co/meta-llama/Llama2- 13b- chat- hf
https://huggingface.co/meta-llama/Llama2- 70b- hf
https://huggingface.co/meta-llama/Llama2- 70b- chat- hf

8bits
8bits
4bits
4bits

ttps://huggingface.co/tiiuae/falcon-7b
https://huggingface.co/tiiuae/falcon-7b- instruct
https://huggingface.co/tiiuae/falcon-40b
https://huggingface.co/tiiuae/falcon-40b- instruct

4bits
4bits

Please complete the following sentence Please generate a sentence with a carewith a careful focus on grammar \n ful focus on grammar.\n\nAnswer: \n𝑤0 , · · · , 𝑤𝑡 −1

𝑤0 , · · · , 𝑤𝑡 −1

Please complete the following sentence to Please generate a grammatically complex
make it as grammatically complex as possi- sentence as much as possible.\n\nAnswer:
ble: \n 𝑤0 , · · · , 𝑤𝑡 −1\n 𝑤0 , · · · , 𝑤𝑡 −1
Please complete the following sentence us- Please generate a sentence using the siming the simplest vocabulary possible: \n plest vocabulary possible.\n\nAnswer: \n𝑤0 , · · · , 𝑤𝑡 −1

𝑤0 , · · · , 𝑤𝑡 −1

Please complete the following sentence Please generate a sentence with a carefulwith a careful focus on word choice \n focus on word choice.\n\nAnswer: \n𝑤0 , · · · , 𝑤𝑡 −1

𝑤0 , · · · , 𝑤𝑡 −1

Please complete the following sentence us- Please generate a sentence using the mosting the most diﬃcult vocabulary possible: diﬃcult vocabulary possible.\n\nAnswer:\n 𝑤0 , · · · , 𝑤𝑡 −1\n 𝑤0 , · · · , 𝑤𝑡 −1

accessed on 2023/10/20 for §3, and on 2023/11/04 for §4 and §5
accessed on 2023/10/20 for §3, and on 2023/11/04 for §4 and §5
accessed on 2023/10/20 for §3, and on 2023/11/04 for §4 and §5
accessed on 2023/10/20 for §3, and on 2023/11/04 for §4 and §5

Please complete the following sentence in a Please generate a sentence in a humanhuman-like manner. It has been reported that like manner. It has been reported that huhuman ability to predict next words is weaker man ability to predict next words is weaker
than language models and that humans of- than language models and that humans often make noisy predictions, such as careless ten make noisy predictions, such as caregrammatical errors. \n 𝑤0 , · · · , 𝑤𝑡 −1
less grammatical errors.\n\nAnswer: \n𝑤0 , · · · , 𝑤𝑡 −1

回帰式

以 下 の 回 帰 式 を 用 い た：time(𝑤𝑡 ) ∼ surprisal(𝑤𝑡 ) +surprisal(𝑤𝑡 −1 ) + surprisal(𝑤𝑡 −2 ) + length(𝑤) + freq(𝑤) +length(𝑤𝑡 −1 ) + freq(𝑤𝑡 −1 ) + length(𝑤𝑡 −2 ) + freq(𝑤𝑡 −2 )．サ
プライザル因子 surprisal(𝑤𝑡 ) のみがべースライン回帰モデルから覗かれる．単語頻度 freq(𝑤𝑡 ) は，Wiki-103 データ [24] に基づいている．単語長 length(𝑤𝑡 ) は文字数で求めている．

B

LLaMA-2 の場合

Please complete the following sentence to Please generate a grammatically simple senmake it as grammatically simple as possible: tence as much as possible.\n\nAnswer: \n𝑤0 , · · · , 𝑤𝑡 −1\n 𝑤0 , · · · , 𝑤𝑡 −1

https://huggingface.co/facebook/opt-125m
https://huggingface.co/facebook/opt-350m
https://huggingface.co/facebook/opt-1.3bhttps://huggingface.co/facebook/opt-2.7bhttps://huggingface.co/facebook/opt-6.7bhttps://huggingface.co/facebook/opt-13b
https://huggingface.co/facebook/opt-30b
https://huggingface.co/facebook/opt-66b

GPT-3 babbage-002
GPT-3 davinci-002
GPT-3.5 text-davinci-003
GPT-3.5 text-davinci-002

表 4 実験で使用した指示

量子化

https://huggingface.co/gpt2
https://huggingface.co/gpt2-medium
https://huggingface.co/gpt2-large
https://huggingface.co/gpt2-xl

言語モデル

Please complete the following sentence. We Please generate a sentence. We are trying
are trying to reproduce human reading times to reproduce human reading times with thewith the word prediction probabilities you word prediction probabilities you calculate,calculate, so please predict the next word so please predict the next word like a human.
like a human. It has been reported that hu- It has been reported that human ability to
man ability to predict next words is weaker predict next words is weaker than language
than language models and that humans of- models and that humans often make noisy
ten make noisy predictions, such as careless predictions, such as careless grammatical ergrammatical errors. \n 𝑤0 , · · · , 𝑤𝑡 −1
rors.\n\nAnswer: \n 𝑤0 , · · · , 𝑤𝑡 −1
Please complete the following sentence: \n Please generate a sentence.\n\nAnswer:
𝑤0 , · · · , 𝑤𝑡 −1\n 𝑤0 , · · · , 𝑤𝑡 −1

実験に用いたモデルを表 3 に示す．計算リソースの都合上，特定のモデルでは推論時に量子化を適用した．

C

表5

データ

既存研究 [6, 25, 13] に従い，被験者内での平均読み時間を用いた．読み時間がゼロか，コーパス内で 3 標準偏差を超えるデータ
ポイントは除外した．また，文頭と文末の単語も対象から除外
した．

D

指示

実験で用いた指示を表 4 に示す．なお LLaMa-2 では，Answer:
によって話者交代を明示的に示さない場合，指示の続きを補完する傾向にあったため，指示を多少変更した．

E

指示条件付き言語モデル

指示の変更により文補完の傾向が意図されたとおりに変わる
ことを確認する．例として，異なる指示（1–3）の元で文を補完し，補完された文における係り受けの距離の分布を，図 E に示す．文法的に単純・複雑になるよう指示した場合に，たしかに統語距離が短く・長くなることが確認される．
文法的に単純（１）
文法性に焦点（２）
文法的に複雑（３）

メタ言語的指示１（処理負荷を質問）

Suppose humans read the following sentence: ”’No, it’s ﬁne. I love it,’ said Lucy knowingthat aﬀording the phone had been no small thing for her mother.”
List the tokens and their IDs in order of their reading cost (high to low) during sentence
processing.
Token ID:
0: ’No,, 1: it’s, 2: ﬁne., 3: I, 4: love, 5: it,’, 6: said, 7: Lucy, 8: knowing, 9: that, 10:
aﬀording, 11: the, 12: phone, 13: had, 14: been, 15: no, 16: small, 17: thing, 18: for,19: her, 20: mother.,Answer:20: mother., 10: aﬀording, 6: said, 11: the, 0: ’No,, 7: Lucy, 1: it’s, 9: that, 17: thing, 5:
it,’, 2: ﬁne., 15: no, 14: been, 3: I, 13: had, 8: knowing, 12: phone, 19: her, 16: small, 4:
love, 18: for,
事例 2（省略）
事例 3（省略）
Suppose humans read the following sentence: （対象とする文）List the tokens and their IDs in order of their reading cost (high to low) during sentence
processing.
Token ID:
（対象とする文における単語）
Answer:

表 6 メタ言語的指示２（確率を質問）
Suppose you read the following sentence: ”’No, it’s ﬁne. I love it,’ said Lucy knowingthat aﬀording the phone had been no small thing for her mother.”
List the tokens and their IDs in order of their probability in context (low to high).
Token ID:
0: ’No,, 1: it’s, 2: ﬁne., 3: I, 4: love, 5: it,’, 6: said, 7: Lucy, 8: knowing, 9: that, 10:
aﬀording, 11: the, 12: phone, 13: had, 14: been, 15: no, 16: small, 17: thing, 18: for,19: her, 20: mother.,Answer:0: ’No,, 10: aﬀording, 8: knowing, 12: phone, 4: love, 5: it,’, 7: Lucy, 15: no, 13: had,
17: thing, 1: it’s, 6: said, 2: ﬁne., 20: mother., 11: the, 18: for, 16: small, 9: that, 19:
her, 3: I, 14: been,
exemplar 2

図3

F

指示ごとの統語依存距離の分布 (> 5)

メタ言語的指示表 5 と表 6 に，実際に用いたメタ言語的指示を示す．

exemplar 3
Suppose you read the following sentence: ¡TARGET SENT¿
List the tokens and their IDs in order of their probability in context (low to high).
Token ID:
¡TOKENS FROM TARGET SENT¿
Answer:― 2828 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).