言語処理学会 第30回年次大会 発表論文集（2024年3月）

物語文に対する大規模言語モデルの読解能力の分析
板橋康知 1 松林優一郎 1,2
1 東北大学 2 理化学研究所
itabashi.yasutomo.q7@dc.tohoku.ac.jp y.m@tohoku.ac.jp
測する心の機能を，認知科学の分野で「心の理論（Theory of Mind）」と呼び，この能力は効率的かつ効
GPT-4 に代表される大規模言語モデル（LLM）は， 果的なコミュニケーションのために重要とされている [6]．Choi らは「心の理論」は大規模言語モデル
知的に高度な人間のための資格試験においても高いを含む現代の人工知能にとっての課題であると指摘能力を示している。本研究では、LLM の心情理解している [7]．大規模言語モデルが人間とのコミュ能力を評価する目的で，公立高校入試の国語物語文ニケーションや人間間の相互理解を助けるような応問題における，LLM の読解能力を調査した。調査用の場面では，「心の理論」のような社会的知能を対象として，ChatGPT（GPT-3.5-turbo, GPT-4）を調獲得することが必要と言える．
査対象とし、2017 から 2023 年の物語文読解問題か
この分野での研究例として，GPT-3 は人間の 3 歳
ら 108 問の 4 択問題をランダムに選び分析した。そ児に，そして GPT-4 は人間の 7 歳児に匹敵する「心の結果、GPT-4 はランダム選択期待値を大きく上回の理論」の能力を持っていると示されている [8]．
り、GPT-3.5-turbo はわずかに上回った。両モデルは
しかし，大規模言語モデルの「心の理論」に関する正解した問題の解答理由やテキスト参照箇所も適切
研究はほとんどが英語での設定で，かつ，サリーとであった。分析の結果，GPT-4 は特に文章全体の表
アン課題 [9] のような短文の設定で行われており，現の特徴を問う問題に強い一方で，局所的な部分を長い文脈の中から人間の心情を理解する能力を測っ参照し読み解く問題においでは，能力の向上が求めた研究はまだほとんど行われていない．
られることが分かった．
本研究では，公立高校入試国語の物語文という多1 はじめにくの受験生が実際に受ける試験問題を用いて，最新の大規模言語モデルが人間にとって必要とされる心大規模言語モデル (LLM) は広範なテキストデー的な読解能力を備えているかを調査することを試
タの学習により、複雑な言語表現を理解し、人間のみる．公立高校入試では多くの都道府県で出題の方言語運用を模倣する能力を高い水準で獲得してい針や各問のねらいが公開されており，国語の物語文る．これらのモデルは，様々な一般的タスクだけでについては，例えば東京都では「叙述や描写などになく，実際に人間が受験するような試験においても即して，語句や文の意味，登場人物の様子，心情な人間の水準に匹敵し注目を浴びている [1]．英語にどを正しく理解する能力をみる」[10]，岡山県では対しては，米国医師免許試験（The USMLE）やアメリカの司法試験である Uniform Bar Exam（4 択問題） 「登場人物の言動の意味や心情を文章の展開に即して理解したり，理解したことを適切に表現したりすにおいて合格ラインかそれを大きく上回る水準に到る力をみる」としており [11]，他者の心的状態への達している [2, 3]. 日本語においても，一般的な言理解力をはじめとした能力を測る問題だと言える．
語理解能力のベンチマークである JGLUE において，本研究では物語文を扱うことによって，従来研究よGPT-4 が人間の回答に非常に近い優れた成績を得る
り広範かつ複雑な文脈下における LLM の心情理解ことが報告されているほか [4]，日本の医師国家試能力について分析する．
験において合格水準を上回ったと示されている [5]．
モ デ ル に よ る 出 力 の 評 価 に は，解 答 の 正 誤 の他方，自然言語処理分野では，大規模言語モデルほか，回答根拠の妥当性，受験者の正答率との比が心情・感情を理解する能力を持っているのかにつ較，問いの内容別の性能などの観点から詳細な分いての研究にも注目が集まっている．他者の心の状析を与えた． 結果として，問題全体としてはラン
態，目的，意図，知識，信念，志向，疑念などを推概要― 309 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

図 1 実験の概要図

ダム選択期待値の 25 ％を GPT-4 は大きく上回り、GPT-3.5-turbo はわずかに上回った。正答率ごと，問いの内容ごとについては，特定のカテゴリーの問題

図 2 プロンプトの概要．スペースの都合上，実際の問題の一部を（略）とした．

について正解率が高い又は低いといった明確な結果参照した本文箇所も出力させるが，実際の問題にはは見られなかった．また，両モデルは正解した問題

このような要件は含まれてはいない．
問題の分類の解答理由やテキスト参照箇所も適切であり，少なモデルが出力する解答の正誤についくとも正解した問題に関しては論理的に破綻した根て，より詳細に分析するため，分析対象の問題を人拠は見られなかった。分析の結果，gpt4 は特に文章間の正答率別，問題類型別に分類した．人間の正答全体の表現の特徴を問う問題に強い一方で，局所的率別については，10 ％刻みに 10 の区間に分類した．

な部分を参照し読み解く問題においでは，能力の向結果として，0 ％〜20 ％ の区間が 0 問，30 ％〜と上が求められることが分かった．

40 ％〜の区間がそれぞれ 5 問，50 ％〜から 80 ％〜2の 4 つの区間がそれぞれ 20 問，90 ％〜の区間が 18

分析対象問となった．問題の類型化に関しては，読み手が読分析の対象データとして，一般に解の中で生成するとされる推論としてよく用いられ公開されている公立高校入試国語の物語文の問題をる 13 タイプの推論 [12] に基づいて実験者が人手で利用する．実際の入試においては受験生の学力を測行った．分類結果は，Class 1: 登場人物の行為意図や動機，目的への推論（例：A さんが〜のような行データセットる指標が多岐に渡るため，国語の物語文では人物の心情を問う問題以外の問題も含まれている．本研究動を取った目的を答えなさい。）が 1 問，Class 6: 登

では，単に漢字の読み書きや慣用句の意味を問うと場人物の心情に対する推論（例：〜の時の A さんいった読解を必要としない問題は調査対象から除外の気持ちを答えなさい。）が 74 問，Class 8: 名詞句した．また，一般に LLM に入力することが困難なが具体的に示すものへの推論（例：ここでの「トロ図表を元に解答する問題，LLM が指定字数通りに出フィー」はどのようなものを例えていますか。）が力することが困難な記述式問題についても除外する

5 問，Class 11: 状況，特性，位置，信念等への推論こととし，テキストのみで問題の入力が可能でかつ（例：〜から伺える A さんの刺繍に対する考えを答読解を必要とする記号選択問題を扱うこととした．

えなさい。）が 12 問，Class 13: 筆者の意図や考えへまた，人間の正答率との比較を行う目的で，正答の推論（例：〜によって筆者は何を表現しようとし率が公開されている都道府県の問題を対象とした．ていますか。）が 12 問であり，分析対象とした物語以上の条件にもとづき，2017 年度〜2023 年度の問文の問題は心情理解の問題を 69% 程度含み，その題のうち，4 択問題となっているものをランダムに他，意図や状況を把握させる問題を含む．

108 問抽出した．このような問題の具体例を図 1 の上部に示す．問題は抜粋された物語本文と設問，選択肢からなる．モデルに与えられるタスクは，設問回答モデル

3

本研究では，大規模言語モデルに上述の物語文にに対し適切な選択肢を一つ選択することである．こ

関する読解問題を解かせ，その解答や解答理由を分の際，我々の実験では後の分析のために回答理由や析することで，妥当な根拠をもとに解答できている― 310 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

図 3 人間の正答率ごとの正解・不正解数 (GPT-3.5-turbo)

図5

問題類型ごとの正解・不正解数 (GPT-3.5-turbo)

図 4 人間の正答率ごとの正解・不正解数 (GPT-4)

図 6 問題類型ごとの正解・不正解数 (GPT-4)

かや，どのような問題に正答又は誤答するかの傾向

る期待値 25 ％ を大きく上回った．GPT-3.5-turbo はを調べる．分析対象のモデルには，社会適用が急速

108 問中 41 問正解となり，正解率 37.9 ％ となり，に進みつつある GPT-3.5-turbo，GPT-4 を選択した．

ランダム選択による期待値をやや上回る程度の結果抽出された問題を，ChatGPT が読みとなった．解答の理由や本文の参照箇所を人手評価取り可能な形式に成形し，プロンプトとして入力す

プロンプトした結果，両モデルとも正解した問題については，る．具体的には，実際の入試問題では棒線部で示さ明らかに誤った理由や参照箇所を出力するケースはれる部分があるが，このような表示は ChatGPT ではなく，すべてのケースで許容範囲内の合理的な理由読み取り不可能のため，鉤括弧を用いたような表示を持って正答していると判断された．に変更する．また，ChatGPT の解答が，ランダムに

図 2，図 3 には，人間の正答率別の正解数を示す．

生成された解答ではなく，根拠に基づいた妥当な解答であるか確認するため，解答の理由と参照した本

いずれのモデルについても，問題の難易度と正答率の間に意味のある相関は見られず，誤答はどの難易文中の箇所を示させるようなプロンプトを追加し度にも傾向なく分布していた．したがって，現状のた．プロンプトの概要を図 2 示す.

LLM に関しては，人間にとっての難易度の高い問出力

上記プロンプトに対して出力された解答について，選択肢については正答と照らし合わせ，解題と，LLM にとっての難易度の高い問題は必ずしも一致しないことがうかがえる．

答の妥当性については解答理由と参照箇所をもと

図 4，図 5 には，問題類型別の正解数を示す．問に，許容可能か否かを著者らが人手で評価する．

題類型ごとについても同様に，特定の類型の問題に

4

結果と考察

4.1

結果

ついて正解率が高いまたは低いといった明確な傾向はいずれのモデルにも見られなかった．

4.2

考察

全体としての正解率は， GPT-4 が 108 問中 94 問より高い成績を示した GPT-4 において，どのよう正解となり，正解率 87.0 ％ とランダム選択によな性質の問題を正解できたのか，またどのような問― 311 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

題を間違える傾向にあるのかを分析した．まず，どの程度の問題まで正解できたのかについてであるが，今回扱った問題の中で最も人間正答率が低かったのは 30 ％− 台の問題の計 5 問であった．GPT-4 はそのうちの 4 問に正しく解答することが可能であった．正しく解答できた具体例を図 6 に示す．図 6 における問 7 は，本文全体を通して文章の表現の特徴を答える問題であり，本文の中に示したような，特徴が現れているいくつかの箇所を適切に参照して解答することができている．このような文章全体の表
現の特徴を答える問題については図 6 の例以外にも
GPT-4 はすべて正解しており，解答が得意な種類の問題だと考えられる．
次に，どのような問題を間違える傾向にあるのかについてであるが， GPT-4 が解答を誤った問題は計14 問あり，代表的なものをいくつか挙げる．例えば，図 7 の問いは棒線部より少し前の発言を根拠にして解答するべき問題であるが，gGPT-が誤って選んだ解答のイに含まれる「他の仕事との兼業までして店を運営していこうと思っている「私」と言うの

図 7 GPT-4 が正解した正答率の低い問題の例．スペースの都合上，実際の問題および解答の一部を（略）とした．

は，棒線部より後の発言の内容であり，物語の時間軸的にも整合性が合わない．文章全体を通した理解に得意さを持つことが示唆された一方で，対照的に本来棒線部直前のみを参照すべき問題に関しては，棒線部の後ろまたは更に前まで参照したことで結果解答を誤っており，印象的な結果となった．この結果は，言語モデルが物語の時系列や物事の因果の関係性について，十分な理解を得られていない可能性を示唆する．

5

おわりに
本研究では，物語文における大規模言語モデルの読解能力について分析を行った．結果として，人間正答率別と問題類型別の両方において，特定の問題についての解答能力に明らかな差は見られなかった．一方で，GPT-4 の解答に着目すると，文章を広く捉えることに強みをもつ一方で，反対に棒線部直前といった局所的な箇所を参照できず解答を誤る場合があるということが示され，今後のより詳細な分析を方向づける示唆が得られた．今後は，大規模言語モデルの出力に対しての妥当性を評価する手法についてより定性的なアプローチを行うことに加え，大規模言語モデルが問題に応じて柔軟に対応し解答能力が向上するような改善手法の追及について検討したい．

図 8 GPT-4 が解答を誤った問題の例．スペースの都合上，実際の問題および解答の一部を（略）とした．

― 312 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

参考文献[1] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell,
et al. Language models are few-shot learners. Advancesin neural information processing systems, Vol. 33,pp. 1877–1901, 2020.
[2] Tiﬀany H Kung, Morgan Cheatham, Arielle Medenilla,
Czarina Sillos, Lorie De Leon, Camille Elepaño, Maria
Madriaga, Rimel Aggabao, Giezel Diaz-Candido, James
Maningo, et al. Performance of chatgpt on usmle: Potential for ai-assisted medical education using large language
models. PLoS digital health, Vol. 2, No. 2, p. e0000198,2023.
[3] OpenAI.
Gpt-4 technical report.
ArXiv, Vol.
abs/2303.08774, , 2023.
[4] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding evaluation. In Nicoletta Calzolari, Frédéric Béchet,
Philippe Blache, Khalid Choukri, Christopher Cieri,Thierry Declerck, Sara Goggi, Hitoshi Isahara, Bente
Maegaard, Joseph Mariani, Hélène Mazo, Jan Odijk,
and Stelios Piperidis, editors, Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 2957–2966, Marseille, France, June 2022. Eu-ropean Language Resources Association.
[5] Jungo Kasai, Yuhei Kasai, Keisuke Sakaguchi, Yutaro Yamada, and Dragomir Radev. Evaluating gpt-4 and chatgpt
on japanese medical licensing examinations, 2023.
[6] Maarten Sap, Ronan LeBras, Daniel Fried, and Yejin Choi.
Neural theory-of-mind? on the limits of social intelligencein large lms, 2023.
[7] Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, and Yejin
Choi. The curious case of neural text degeneration, 2020.
[8] Michal Kosinski. Theory of mind might have spontaneously emerged in large language models, 2023.
[9] Simon Baron-Cohen, Alan M Leslie, and Uta Frith. Does
the autistic child have a theory of mind ? Cognition,
Vol. 21, No. 1, pp. 37–46, 1985.
[10] 東京都教育委員会. 令和 5 年度東京都立高等学校入学者選抜学力検査結果に関する調査報告書. 東京都教育委員会, 2023.
[11] 岡山県教育委員会. 一般入学者選抜 [第 I 期] のための学力検査の概要. 岡山県教育委員会, 2023.
[12] Arthur C Graesser, Murray Singer, and Tom Trabasso.
Constructing inferences during narrative text comprehension. Psychological review, Vol. 101, No. 3, p. 371,1994.

― 313 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).