物語文に対する大規模言語モデルの読解能力の分析

くの受験生が実際に受ける試験問題を用いて，最新大規模言語モデル(LLM)は広範なテキストデーの大規模言語モデルが人間にとって必要とされる心タの学習により、複雑な言語表現を理解し、人間の的な読解能力を備えているかを調査することを試言語運用を模倣する能力を高い水準で獲得していみる．公立高校入試では多くの都道府県で出題の方る．これらのモデルは，様々な一般的タスクだけで針や各問のねらいが公開されており，国語の物語文なく，実際に人間が受験するような試験においてもについては，例えば東京都では「叙述や描写などに人間の水準に匹敵し注目を浴びている[1]．英語に即して，語句や文の意味，登場人物の様子，心情な対しては，米国医師免許試験（TheUSMLE）やアメどを正しく理解する能力をみる」[10]，岡山県ではリカの司法試験であるUniformBarExam（4択問題）「登場人物の言動の意味や心情を文章の展開に即しにおいて合格ラインかそれを大きく上回る水準に到て理解したり，理解したことを適切に表現したりす達している[2,3].日本語においても，一般的な言る力をみる」としており[11]，他者の心的状態への語理解能力のベンチマークであるJGLUEにおいて，理解力をはじめとした能力を測る問題だと言える．GPT-4が人間の回答に非常に近い優れた成績を得る本研究では物語文を扱うことによって，従来研究よことが報告されているほか[4]，日本の医師国家試り広範かつ複雑な文脈下におけるLLMの心情理解験において合格水準を上回ったと示されている[5]．能力について分析する．他方，自然言語処理分野では，大規模言語モデルモデルによる出力の評価には，解答の正誤のが心情・感情を理解する能力を持っているのかにつほか，回答根拠の妥当性，受験者の正答率との比いての研究にも注目が集まっている．他者の心の状較，問いの内容別の性能などの観点から詳細な分態，目的，意図，知識，信念，志向，疑念などを推析を与えた．結果として，問題全体としてはラン―309―.ダム選択期待値の25％をGPT-4は大きく上回り、GPT-3.5-turboはわずかに上回った。正答率ごと，問いの内容ごとについては，特定のカテゴリーの問題について正解率が高い又は低いといった明確な結果は見られなかった．また，両モデルは正解した問題の解答理由やテキスト参照箇所も適切であり，少なくとも正解した問題に関しては論理的に破綻した根拠は見られなかった。分析の結果，gpt4は特に文章全体の表現の特徴を問う問題に強い一方で，局所的な部分を参照し読み解く問題においでは，能力の向上が求められることが分かった．