RAGの連結方式および自動評価指標の定量評価

大規模言語モデル(LLMs,LargeLanguageModels)に外部知識を付与する手法として，RetrievalAug-mentedGeneration（RAG）が高い注目を集めている．本研究では，RAGの実装で必要不可欠な「連結方式」に着目し，9つのLLMsに対して定量評価をおこなう．その後，18個のRAGシステムを用いて自動評価指標と人手評価との相関を評価する．新たに構築した日本語評価用データセットによる定量評価の結果，RAGの回答精度を重視する場合は直列方式，回答速度を重視する場合は並列方式による連結が適していることを示した．また自動評価指標と人手評価との相関を評価した結果，ROUGEやBERTScoreなどの従来の自動評価指標と比べて，GPT-4を用いた自動評価が人手評価との高い相関を示すことが分かった．