物語性は大規模言語モデルの長文脈記憶を安定化させるか？

大規模言語モデル（LLM）は，対話，検索，要約など多くのユーザ向けアプリケーションの基盤技術となっており，長い入力文脈や対話履歴を統合した応答生成が求められる．しかし先行研究により，LLMは入力文脈が長くなるにつれて重要な情報の保持・想起が困難となり，意味的に重要だが目立たない情報を見落としやすいことが示されている．このような記憶の不安定性は，下流タスクにおける一貫性の低下を引き起こす要因となる．長文脈処理におけるこのボトルネックを克服するためには，LLMの記憶の頑健性を規定する要因を明らかにする必要がある．LLMの記憶特性に関する研究は，主に位置バイアスや注意減衰，文脈長感度といった構造的要因に焦点を当ててきた[1,2,3,4]．これらは，情報の意味内容よりも，提示される位置や形式が判断や想起に強く影響することを示している．一方で，文脈全体の談話構造が想起に与える影響については，十分に検討されていない．この点で手がかりとなるのが，人間の記憶研究で重視されてきた物語性である[5]．物語性は，出来事同士を結び付け，一貫したエピソードとして構造化する性質であり，このような組織化は人間の想起過程において有効に機能する．この知見は，入力文脈を物語的に組織化することが，LLMにおいても長文脈処理の頑健化に資する可能性を示唆している．本研究では，文章の物語性の程度がLLMの長文脈記憶を安定化させるという仮説を検証する．具体的には，高物語性および低物語性の文章からなるデータセットを構築し，複数の干渉条件下において想起タスクを実施することで，LLMの行動レベルでの記憶性能および内部表現の程度を評価する．これらの取り組みを通じて，本稿では以下の3つの研究課題に取り組む：RQ1:物語性の違いは，LLMの想起性能に差をもたらすか？(§4.1)RQ2:時間，場所，人物，内容といった要素のうち，どれが物語性の影響を受けやすいか？(§4.2)RQ3:物語性は，LLMの内部表現をどのように形成・変化させるか？(§5)これらの問いを通じて，本研究は，入力文脈における出来事の談話的組織化が，LLMの記憶の頑健性に果たす役割を明らかにすることを目指す．