構造化知識RAG・文書ベースRAGを段階的に利用したマルチホップQAに対するLLMの精度向上

LLMは豊富な情報を内包しているものの，ハルシネーションが依然として大きな課題となっている．この課題に対処するため，RAG[1]が提案された．RAGの性能は，外部知識の選択，検索方法，および組み合わせ方に大きく依存する．RAGで用いられる外部知識源は，その特性によって異なる利点と課題を持つ[2]．Wikipedia等の文書データに代表される非構造化データは，豊富な文脈情報を提供できる一方で，情報の曖昧さや矛盾を含む可能性がある．これに対し，Wikidata[3]や森羅1）[4]等の構造化データは，正確な事実関係を端的に提供できるが，自然言語での多様な質問に対応するための情報のカバー率が課題となる．特に複数ステップの推論を必要とするマルチホップQAタスクでは，各ステップでの適切な外部知識の活用とそれらの効果的な組み合わせが課題となっており，知識源ごとの検索精度の違いや知識の競合による問題が指摘されている[5]．本研究では，これらの課題に対処するため，異なる情報源を利用するRAGの比較分析と，それらのRAGとLLMのみによる回答を段階的に組み合わせ1）http://shinra-project.info/た手法（以降，段階的RAG）の有用性を検証する．本研究の主な貢献は，(1)構造化・非構造化知識源を活用したRAGの比較分析からの実証的知見の提供，(2)マルチホップQAにおける異なる知識源を利用するRAGの誤り低減および，検索結果と回答生成の関連性についての定量的評価，(3)異なる知識源の特性を考慮した効率的な統合手法の提案の3点である．本論文では第2章で段階的RAGのフレームワークについて説明し，第3章で実験設定と評価手法について詳述する．第4章では評価実験の結果と考察を示し，第5章でまとめと今後の課題について述べる．なお，評価に使用したソースコードはhttps://github.com/aiishii/JEMHopQAにて公開予定である．