一階述語論理を用いたRAGにおけるハルシネーション判定手法の検討

ハルシネーションが含まれるか否かをLLMに判定近年,大規模言語モデル（LargeLanguageModel:させる手法[1,2,3]がある.しかし,依然として判定LLM）は様々なタスクで高い性能を示している一方結果や判定に至った根拠にハルシネーションが含で,事実と異なる情報を生成する「ハルシネーショまれる可能性があるという根本的な課題を抱えてン」が課題となっている.RAG(Retrieval-Augmentedいる.Generation)においても,LLMが検索文書に基づかな本研究では,RAGの回答が検索したチャンクにい回答をしてしまうことがある.本研究では,RAG基づいているかを一階述語論理(First-OrderLogic:の回答が検索文書に基づくかを一階述語論理で検FOL)で判定する手法を提案する.常識と異なるかど証する手法を提案する.検索文書や回答をそのままうかを考慮するのではなく,チャンクと異なる情報扱うだけでは,正確にハルシネーション判定できなを回答するハルシネーションを扱う.FOLを用いたいことが多いため,一文一義となるように文を分割ハルシネーション判定法には,論理的なつながりにし,分割後の文を意味や関係性に基づいてグループ基づいた推論が可能というメリットがある.それに化する.実験の結果,従来手法と比較してハルシネーよって,LLMによるハルシネーション判定方法に比ションの検知率(再現率)が64.5%改善することを確べ,高い説明可能性の実現や判定過程にハルシネー認した.ションが含まれることを防ぐことができる.ただし,FOLで表現するにあたって,検索したチャ