言語処理学会 第30回年次大会 発表論文集（2024年3月）

早押しクイズにおける超次単語予測の認知モデリング山下陽一郎

原田宥都 大関洋平
東京大学{yamashita-yoichiro416,harada-yuto,oseki}@g.ecc.u-tokyo.ac.jp

概要
人間は続きの単語を予測しながら文を理解していると考えられているが、特殊な状況下では、より長いまとまりを持った単語列を予測することができる。本研究では、人間が文処理の際に見せるそのような「超次単語予測」を言語モデルがモデリングできるかどうかを検証する。早押しクイズの問題文を読んでその続きを予測する際の視線を計測し、言語モデルによって、その読み時間をモデリングした。
その結果、言語モデルは人間の「超次単語予測」をある程度モデリングでき、さらに特定のデータで言語モデルをファインチューニングすると、よりよくモデリングできることが示された。

1

はじめに単語の出現確率と人間にとってのその語の認知負荷には関係があるとされ、言語モデルの人間らしさを評価する研究においては、人間が文を読んで理解する際の読み時間や脳活動といった行動データと、言語モデルのサプライザルの間の相関を計算している。[1], [2], [3], [4]
人間の文の読み時間のモデリング研究においては、移動窓式の自己ペース読文実験を行ったり、読み時間のデータのコーパスを用いたりすることが多い。読み時間のデータのコーパスには、DundeeCorpus[5] や Natural Stories Corpus[6] などがあり、日本語では BCCWJ-EyeTrack[7] といったコーパスが存在する。これらのコーパスでは、新聞や小説の文を題材として、人間が文を読んで理解する際の読み時間を計測している。
このような日常的な文理解において、人間が文を読む際には、次の単語を予測しながら文を読んでいることが心理言語学においても示されている。特に、文脈上の意味的な制約は、次単語の予測の助けとなることが示されている。[8]しかし、人間は文を理解する際、時に次の単語の予測にとどまらないような文全体の予測 (以下、「超次単語予測」と呼ぶ) を働かせることができる。[9]「超次単語予測」のためには、次に続く文の構造も予測する必要があり、このような「超次単語予測」について焦点を当てたモデリングの研究は少ない。
本研究では、文の構造上の制約を手掛かりとして「超次単語予測」を行っていると考えられる早押しクイズに注目して、その問題文を読む際の読み時間のモデリングを行う。

2サプライザル理論

サプライザル理論 [1], [2] によれば、人間は文処理の際、それ以前の文脈から次に続く語や文節を予測しているとされ、予測しやすい語や文節は認知的負荷が低く、予測しにくい語や文節の認知的負荷が高くなるとされる。さらに、その語や文節の予測しやすさは、(1) のように定式化できるとされる。
− log 𝑃(𝑤𝑜𝑟𝑑|𝑐𝑜𝑛𝑡𝑒𝑥𝑡)(1)

言語モデルの「人間らしさ」を評価するために、言語モデルが算出したサプライザルと、眼球運動や脳波などの人間から得られるデータを比較する研究が行われてきている。眼球運動データを用いる本研
究では、「人間らしい」言語モデルの算出するサプ
ライザルは、各単語の人間の読み時間とよりよく相関すると期待できる。

3実験

3.1

視線計測実験

実験参加者 本研究の視線計測実験には、32 人の日本語母語話者が参加した。そのうち、7 人が部活やサークルなどで定期的に早押しクイズをしていた経験があり (expert)、25 人がそのような経験のない人 (novice) であった。
アイテム 本研究では、JAQKET[10] という早押― 1892 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

図 2 文理解課題: -predic 条件
パラレルの問題文の前半部を読んで理解する課題

図 1 文産出課題: +predic 条件
パラレルの問題文の後半部を予測する課題

3.2

言語モデル

Huggingface 上で rinna 社の公開している [11]GPTしクイズの問題文のコーパスに含まれるパラレルの2[12] を用いて、言語モデルのサプライザルを算出

問題文を刺激文として用いた。パラレルの問題文は「ですが問題」とも呼ばれ、例えばした。事前学習済みのモデルと、ファインチューニおおいぬ座のアルファ星はシリウスですが、こングを施したモデルの両方を用いて実験を行った。
GPT-2

事前学習のみを行った GPT-2 に、視線計いぬ座のアルファ星は何？（答. プロキオン）

測実験で提示した文を入力した際の、各単語の予測のように、「A は X ですが、A’ は何？」という構造を確率 𝑃( 単語 | 文脈 ) に基づいて、各単語のサプラ持つ。パラレルの問題では、問題の本題は後半部に置かれるが、場合によっては問題文の前半のみを聞けば、その後半部を予測できる。本研究では、後半部の予測が容易な問題 (easy) と難しい問題 (diﬃcult)に区別し、20 問ずつアイテムに含めた。
本研究で easy に分類されるパラレルの問題文には以下のようなものがあり、このような問題では、問題文の前半部を読んで問題文の後半部を予測することが可能である。
フランスの国会で、上院に相当するのは元老院ですが、（下院に相当するのは何でしょう？）
一方、diﬃcult に分類されるような次の問題では、イザル − log 𝑃( 単語 | 文脈 ) を計算した。GPT-2 はrinna/japanese-gpt2-medium のモデルを使用した1）。
ファインチューニング

開されている早押しクイズの問題文のうち、「ですが、」「ますが、」を含むパラレルの問題 4100 問を抽出し、GPT-2 のファインチューニングを行った。その際、ファインチューニングに用いるデータ数を10, 100, 200, 300, 500, 700, 1000, 1500, 2000, 4100 の 10段階に分け、それぞれシード値を変えて 5 回ずつ実験を行った。データ数が 2000 以下の各条件ではファインチューニングに用いるデータをランダムに抜き出した。

問題文の続きを一通りに予測することが困難で3.3ある。

JAQKET[10]、Quiz-Works2）、ク イ ズ の 杜3）で 二 次 使 用 可 能 と し て 公

評価指標

スマホで使われる用語で、「アプリ」といえば各条件の言語モデルについて、算出されるサプ「アプリケーション」の略ですが、（「アプデ」とライザルの眼球運動のモデリング精度を評価するいえば何の略でしょう？）ための指標として、心理学的予測精度 (Psychometric課題

本実験では文産出課題 (+predic) と文理解課題 (-predic) との 2 種類の課題を行なった。
文産出課題においては、パラレルの問題文の前半部を提示し、その続きの文を考える際の眼球運動を計測し、前半部の各単語の読み時間を計測した。
文理解課題においては、パラレルの問題文の前半部を「〜です。
」という形に直して提示し、その間の各単語の読み時間を計測した。続く画面では文理解課題を実施した。

Predictive Power: PPP) を用いる。PPP は、眼球運動をモデル化するベースラインの回帰モデルに、各条件の言語モデルのサプライザルを加えた際の対数尤
度 (ΔlogLik) を用いる。先行研究 [4] を参考に、眼球運動のベースライン回帰モデルには、以下の線形混

1） https://huggingface.co/rinna/japanese-gpt2-medium2） https://quiz-works.com/
3） https://quiz-schedule.info/quiz no mori/data/data.
htm― 1893 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表1

本研究のモデリングに用いた特徴量

表2

事前学習のみの GPT-2 でのモデリングの結果
Δ logLik
条件
データ数
𝜒2P(/103 )

変数名型

概要

lengthint

トークンの文字数

is ﬁrstfactor

行内最左要素-predic78690.01493

0.235

0.6278is lastfactor

行内最右要素+predic

8361

1.489

24.8930.0000 ***6351

0.53966.85450.008842 **

2010

1.756

6.70610.009608 **

4579

1.672

15.3160.0001 ***3782

0.5577

4.21870.03998 *

lineN

int

画面内提示行数+predic

segmentN

int

行内提示トークン数

novicelog freqnum

トークン頻度の対数

prev length

int

直前トークンの文字数

log freq prev

num

直前トークンの頻度の対数

subject id

factor

被験者 ID+predic

item idfactor

アイテム ID

diﬃcult+predic
expert

合モデルを用いる4）：+predic
easy

式により慣れており続きの問題文の予測もしやすいlog(TRT) ∼ length + is ﬁrst + is last + lineN

こと、そして、easy な対比の問題の方が diﬃcult な+ segmentN + log freq + prev length

対比の問題よりも続きが予測しやすいことを考えると、人間が「超次単語予測」を働かせているような+ log freq prev + (1|subject id)+ (1|item id)
単語の出現頻度 (log freq, log freq prev) は、早押し条件であるほど、言語モデルの PPP も高くなること

クイズの問題文 87,467 問中における当該トークンのがわかる。言語モデルも「超次単語予測」をある程出現頻度を計算した。数値型の特徴量は全て中心化を行った。その他、各特徴量の詳細は表 1 に記す。

度モデリングできるということが示された。

4

結果と考察

4.1

事前学習のみの GPT-2

4.2

ファインチューニングを施した GPT-2

ファインチューニングした後の言語モデルでのモデリングの結果を示したのが図 3 である。パラレルの問題文を用いてファインチューニングしたファインチューニングを施していない、事前学習のみの GPT-2 の PPP を表 2 に示す。

各モデルについて、PPP を縦軸に、そのモデルのPerplexity を横軸にとってプロットした。ファイン

文理解課題 (-predic) と文産出課題 (+predic) で比較

チューニングに用いたデータ数は 4100, 2000, 1500,

すると、文産出課題の際の読み時間の方がより良く

1000, 700, 500, 300, 200, 100, 10, 0 の 10 条件であり、モデリングできている。文産出課題では、実験参加者はパラレルの問題文の前半部を読み、問題文の後用いたデータ数が多いものほど、大きくプロットされている。なお、一番小さな点でプロットされてい半部の「超次単語予測」を行っている。このことかるのは、ファインチューニング前の事前学習のみのら、事前学習のみの言語モデルでも、早押しクイモデルの値である。

ズの際に見られるような「超次単語予測」をある程度行っていると考えられる。また、文産出課題

が、easy の問題と diﬃcult の問題を読む際の読み時

文産出課題 (+predic) の expert と novice それぞれ(+predic) における、クイズ経験者 (expert) とクイズ間についてモデリングしているが、どの条件につい未経験者 (novice) の眼球運動を比較すると、expert のても、ファインチューニングに用いるデータ数を増視線の方がより良くモデリングできることがわかっやすほど、Perplexity が下がる傾向にあることがわた。さらに、問題文後半部の予測のしやすさで比べかる。

ると、diﬃcult の対比よりも、easy の対比の問題の方また、どのデータ数でのファインチューニングにが、より良くモデリングできているとわかった。

おいても、PPP が最も高いのは、expert が easy な対

expert の方が novice よりもパラレルの問題文の形
4） GPT-2 で使用されているトークナイザによるトークン単位で、各トークンの総読み時間 (Total Reading Time, TRT) を計測した。

比の問題文を読む際の眼球運動である。novice の眼球運動は、easy の問題でも diﬃcult の問題でも、ほとんど変わらない PPP となっていた。expert が easyの問題を読むときの条件において、最も予測が強く― 1894 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

図 3 ファインチューニングした GPT-2 でのモデリング
データ数は大きい方から順に 4100, 2000, 1500, 1000, 700, 500, 300, 200, 100, 10, 0働くということを考えると、言語モデルも「超次単を行った。結果としては、事前学習のみの GPT-2 で語予測」を行うことができると示唆される。expert

も、ある程度の精度でモデリングすることができ、が diﬃcult の問題を読む際は、問題文の続きが一通言語モデルも「超次単語予測」のモデリングが可能りに定まらないために「超次単語予測」を働かせるだと示された。

ことが難しいが、そのような問題でも novice は決め

また、早押しクイズの問題文を用いて言語モデルうち的に問題文の続きを予測しているためある程にファインチューニングを施すと、さらに PPP が度の予測が働き、その結果、novice, diﬃcult の条件向上していくことがわかった。特に、+predic, expert,の方が、expert, diﬃcult の条件よりも PPP が大きくeasy 条件という「超次単語予測」が一番顕著に見らなったのではないかと考える。

れるだろう条件において最も PPP が高く、ファインどの条件の読み時間のモデリングにおいても、ファインチューニングに用いるデータ数を増やすチューニングによって PPP の値が目立って増加した。このことからも、言語モデルは人間の「超次単と、PPP は増加していくが、データ数が 1000 を超え語予測」をモデリングすることは可能であり、ファると、一転して PPP が減少していくような傾向が見インチューニングによってその精度が向上することられる。多くのデータでファインチューニングをすがわかる。しかし、ファインチューニングに用いるると次単語予測が簡単になり、サプライザルが全体データ数が 1000 を超えると、全体的にサプライザ的に下がり過ぎてしまうため、読み時間との相関がルが下がり過ぎてしまうことにより PPP が減少に転下がることになると考えられる。日本語の読み時間じるという、先行研究と合致する傾向が見られた。のモデリングにおいて、このように Perplexity が下パラレルの問題の予測には、どこを強調して読まがり過ぎてしまうと、PPP も減少に転じるという傾れるかといった音韻的な要素も大きな手がかりと向は先行研究 [4] で示されている結果とも一致する。

なっていることが指摘されており、音韻的な情報も5取り入れた予測処理については今後の研究での課題おわりにとして残されている。

本研究では、人間の文処理の際の「超次単語予測」に焦点を当てるため、早押しクイズの問題文を読む
際の眼球運動を計測し、その読み時間のモデリング― 1895 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

6

謝辞
本研究は、JST さきがけ JPMJPR21C2 および JSPS

科研費 JP20H01254 の支援を受けたものです。

参考文献[1] John Hale. A probabilistic Earley parser as a psycholinguisticmodel. In Second Meeting of the North American Chapter ofthe Association for Computational Linguistics, 2001.
[2] Roger Levy. Expectation-based syntactic comprehension. Cognition, Vol. 106, No. 3, pp. 1126–1177, 2008.
[3] Nathaniel J Smith and Roger Levy. The eﬀect of word predictability
on reading time is logarithmic. Cognition, Vol. 128, No. 3, pp.
302–319, 2013.
[4] Tatsuki Kuribayashi, Yohei Oseki, Takumi Ito, Ryo Yoshida,
Masayuki Asahara, and Kentaro Inui. Lower perplexity is notalways human-like. In Chengqing Zong, Fei Xia, Wenjie Li,and Roberto Navigli, editors, Proceedings of the 59th Annual
Meeting of the Association for Computational Linguistics
and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 5203–5217,Online, August 2021. Association for Computational Linguistics.
[5] Alan Kennedy and Joël Pynte. Parafoveal-on-foveal eﬀects in normal reading. Vision research, Vol. 45, No. 2, pp. 153–168, 2005.
[6] Richard Futrell, Edward Gibson, Harry J Tily, Idan Blank, Anastasia Vishnevetsky, Steven T Piantadosi, and Evelina Fedorenko.
The natural stories corpus: a reading-time corpus of english texts
containing rare syntactic constructions. Language Resourcesand Evaluation, Vol. 55, pp. 63–77, 2021.
[7] Masayuki Asahara, Hajime Ono, and Edson T. Miyamoto.
Reading-time annotations for “Balanced Corpus of Contemporary Written Japanese”. In Proceedings of COLING 2016, the26th International Conference on Computational Linguistics: Technical Papers, pp. 684–694, Osaka, Japan, December

2016. The COLING 2016 Organizing Committee.
[8] Susan F Ehrlich and Keith Rayner. Contextual eﬀects on word
perception and eye movements during reading. Journal of verbal
learning and verbal behavior, Vol. 20, No. 6, pp. 641–655, 1981.
[9] 伊沢拓司. クイズ思考の解体. 朝日新聞出版, 2021.
[10] 鈴木正敏, 鈴木潤, 松田耕史, 西田京介, 井之上直也. Jaqket:
クイズを題材にした日本語 qa データセットの構築. 言語処
理学会第 26 回年次大会, pp. 237–240, 2020.
[11] 趙天雨, 沢田慶. 日本語自然言語処理における事前学習モデルの公開. 人工知能学会研究会資料 言語・音声理解と対話処理研究会 93 回 (2021/11), pp. 169–170. 一般社団法人 人工知能学会, 2021.
[12] Alec Radford, Jeﬀrey Wu, Rewon Child, David Luan, Dario
Amodei, Ilya Sutskever, et al. Language models are unsupervised
multitask learners. OpenAI blog, Vol. 1, No. 8, p. 9, 2019.

― 1896 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).