グラフベースRAGの知識構造化に関するモジュール別検討

変化の速い分野や専門性の高い分野では，LLMの内部知識を常に最新に保つことは難しい[1,2]．Retrieval-AugmentedGeneration（RAG）は，推論時に外部知識を参照することで，この制約を補う枠組みである．近年，RAG[3,4,5]の拡張としてグラフベースRAG（GraphRAG）が提案されている[6,7,8,9,10]．GraphRAGは，文書集合から(subject,relation,object)形式の三つ組(トリプル)を抽出し，それらを知識グラフとして構造化する．推論時には，質問に関連する知識をグラフから検索し，取得した構造化知識を条件として回答を生成する．これにより，文書横断的に分散していた事実が整理され，網羅的な検索や多段推論の改善が期待される．一方で，事実性や多段推論が求められる質問応答において，GraphRAGの内部設計に関する体系的な指針は十分に確立されていない．特に，どの構成要素が性能を左右し，設計や品質が最終的な質問応答性能にどのように影響するかは明らかでない．本研究では，GraphRAGをモジュール単位で分析し，設計選択とその品質が質問応答性能に与える影響を明らかにする．単に知識グラフの有効性を検証するのではなく，どの条件で機能し，どの構成要素が本質的かに焦点を当てる．トリプル抽出，コミュニティ分割，レポート生成に着目し，(1)トリプル抽出手法と品質，(2)知識単位の粒度，(3)レポート生成におけるLLMの必要性を検討する．これらのモジュールを体系的に変更し，CDR-QAおよびDocRED-QAの二つの多段質問応答ベンチマークで評価した．実験の結果，GraphRAGの有効性は，知識グラフの有無そのものではなく，抽出・分割・言語化の設計に強く依存することが分かった．まず，トリプル抽出の品質は性能の主要なボトルネックであり，ノイズの少ない高精度な抽出が安定した質問応答性能をもたらした．次に，コミュニティ分割では，適度に細かくトピック集約的な粒度が，根拠事実の検索精度を高め，多段推論を改善した．さらに，レポート生成では，テンプレートベース手法が，LLMによる要約よりも高い性能と計算効率を示し，事実欠落やハルシネーションも抑制した．これらの知見を組み合わせることで，従来設定に比べて大幅な回答精度向上が得られた．本研究で用いた実装および二つの質問応答ベンチマークを公開する1）．