物語文に対する大規模言語モデルの読解能力の分析

（TheoryofMind）」と呼び，この能力は効率的かつ効GPT-4に代表される大規模言語モデル（LLM）は，果的なコミュニケーションのために重要とされてい知的に高度な人間のための資格試験においても高いる[6]．Choiらは「心の理論」は大規模言語モデル能力を示している。本研究では、LLMの心情理解を含む現代の人工知能にとっての課題であると指摘能力を評価する目的で，公立高校入試の国語物語文している[7]．大規模言語モデルが人間とのコミュ問題における，LLMの読解能力を調査した。調査ニケーションや人間間の相互理解を助けるような応対象として，ChatGPT（GPT-3.5-turbo,GPT-4）を調用の場面では，「心の理論」のような社会的知能を査対象とし、2017から2023年の物語文読解問題か獲得することが必要と言える．ら108問の4択問題をランダムに選び分析した。そこの分野での研究例として，GPT-3は人間の3歳の結果、GPT-4はランダム選択期待値を大きく上回児に，そしてGPT-4は人間の7歳児に匹敵する「心り、GPT-3.5-turboはわずかに上回った。両モデルはの理論」の能力を持っていると示されている[8]．正解した問題の解答理由やテキスト参照箇所も適切しかし，大規模言語モデルの「心の理論」に関するであった。分析の結果，GPT-4は特に文章全体の表研究はほとんどが英語での設定で，かつ，サリーと現の特徴を問う問題に強い一方で，局所的な部分をアン課題[9]のような短文の設定で行われており，参照し読み解く問題においでは，能力の向上が求め長い文脈の中から人間の心情を理解する能力を測っられることが分かった．た研究はまだほとんど行われていない．本研究では，公立高校入試国語の物語文という多