時間とともに変化する未整理な外部知識の継続的な整理と長文コンテキストRAGへの活用

大規模言語モデル（LLM）の内部知識は時間とともに陳腐化する．この問題に対して，継続的なファインチューニングや局所的なパラメータ編集が提案されてきたが[1,2]，これらの手法は更新を繰り返すと破滅的忘却が生じやすく，知識の一貫性を長期的に維持することは難しい[3,4]．この問題への有力な対処法として，検索拡張生成（Retrieval-AugmentedGeneration;RAG）が広く用いられている[5]．しかし，外部知識もまた時間とともに変化し，しばしば未整理であるため，時間的に古くなった記述や相互に矛盾する主張，信頼性の低い情報が混在する．このようなコンテキストに対して，LLMが頑健に推論できないことが報告されている[6,7]．検索精度を高めるため，文書をより細かな事実単位である命題に分解するRAGが提案されている[8]．しかし，多くの命題ベースRAGは命題を独立に扱い，命題間の更新関係や矛盾関係を明示的にモデル化していないため，時間更新・矛盾・誤情報を含む知識に対して依然として脆弱である[6,7]．この問題は，長文コンテキストRAG[9]において特に顕著になる[10]．コンテキスト長が拡大すると，時間更新・矛盾・誤情報を含む多数の命題が同時に参照され，整合しない情報が同一コンテキスト内に混在する．命題間の関係を明示的に扱わない場合，長文RAGはこれらをすべて同時に妥当な情報として扱ってしまい，推論が不安定になる．そこで，非構造化された命題列からモデル自身に更新のトレースや矛盾の解消をさせるのではなく，それらを保持・明示する構造的なガードレールが必要となる．本論文では，時間とともに変化する未整理な外部知識を，長文RAGのために継続的に整理・活用するフレームワークTPR-RAG(Temporally-structuredPropositionRelationsforRAG)を提案する．TPR-RAGは，外部知識をタイムスタンプ付き命題の集合として表現し，「更新」「矛盾」「根拠」を表す命題間関係をグラフ構造として整理する．実験により，TPR-RAGは既存のチャンクベース，命題ベース，時間情報付き命題ベースのRAGと比べて，高い精度と頑健性を示すことを確認した．この結果は，時間更新・矛盾・誤情報を含む外部知識に対して，命題間関係を明示的に扱うことの有効性を示唆する．