RAGの生成器におけるSLMの利用

LLMに外部知識を統合する手法であるRAGは，情報を検索する「検索器」と，その情報を基に回答を生成する「生成器」から構成されることが一般的である．本研究の目的は，検索器の能力が十分高い場合，SLMを生成器として用いてもRAGが有効に機能するかを検証することである．実験では，JQaRAデータセットを用いたQAタスクを実施し，検索器が常に正解文書を検索できるという理想的な条件を仮定した．その結果，検索器の性能が高い場合でも，生成器として性能の高いモデルを使用する方が全体の回答精度が向上することが示された．また，生成器の機構に関して，複数のSLMをアンサンブルとして組み合わせることで，全体の正解率を大幅に向上させる可能性が示された．