ハルシネーションが含まれるか否かをLLMに判定近年,大規模言語モデル（LargeLanguageModel:させる手法[1,2,3]がある.しかし,依然として判定LLM）は様々なタスクで高い性能を示している一方結果や判定に至った根拠にハルシネーションが含で,事実と異なる情報を生成する「ハルシネーショまれる可能性があるという根本的な課題を抱えてン」が課題となっている.RAG(Retrieval-Augmentedいる.Generation)においても,LLMが検索文書に基づかな本研究では,RAGの回答が検索したチャンクにい回答をしてしまうことがある.本研究では,RAG基づいているかを一階述語論理(First-OrderLogic:の回答が検索文書に基づくかを一階述語論理で検FOL)で判定する手法を提案する.常識と異なるかど証する手法を提案する.検索文書や回答をそのままうかを考慮するのではなく,チャンクと異なる情報扱うだけでは,正確にハルシネーション判定できなを回答するハルシネーションを扱う.FOLを用いたいことが多いため,一文一義となるように文を分割ハルシネーション判定法には,論理的なつながりにし,分割後の文を意味や関係性に基づいてグループ基づいた推論が可能というメリットがある.それに化する.実験の結果,従来手法と比較してハルシネーよって,LLMによるハルシネーション判定方法に比ションの検知率(再現率)が64.5%改善することを確べ,高い説明可能性の実現や判定過程にハルシネー認した.ションが含まれることを防ぐことができる.ただし,FOLで表現するにあたって,検索したチャ

ンクやRAGの回答には以下の2つの問題がある.1近年,大規模言語モデル（LargeLanguageModel:つ目の問題は,チャンクは複数の内容を含む文章でLLM）は自然言語処理の多様なタスクで高い性能構成される問題である.そのような文章をそのままを示し,企業においてもRAG（Retrieval-AugmentedFOLに変換すると,複雑なFOLになり,ハルシネーGeneration）を用いたアプリケーションの活用が進ションの判定が困難になる.2つ目の問題は,チャンんでいる.RAGはユーザのクエリに関するチャンククやRAGの回答中の単語の表記や品詞がばらつくを検索文書から検索し,LLMに与えることで,LLM問題である.同義文であっても表記の違いによってが持たない知識にも回答可能にする仕組みである.FOLの個体変数・述語変数が不一致となることがあ一方,LLMは事実と異なる情報を生成する「ハルる.また,同じ意味の単語が文によって個体変数にシネーション」という問題を抱えており,特に企業なったり,述語変数になったりすることで,異なる構向けのRAGでは深刻なリスクとなり得る.例えば,造のFOLに変換される場合がある.これらの問題にLLMが生成した誤った情報をユーザが妄信してしよって,不一致が発生すると,RAGの回答が正しくまうと,企業の意思決定や業務に重大な損失を招きチャンクに基づいていたとしても,ハルシネーショ得る.このため,RAGの回答がハルシネーションをンの判定を正確に行えない.含むかどうかを検知する技術は不可欠である.既存本研究では,これら問題を解決するために文章をorg/licenses/by/4.0/).一文一義となるような文に分割し,分割後の文を意味や関連性に基づいてグループ化する.一文一義となるような文に分割することで,複雑なFOLになることを抑制することができる.また,同義文をグループ化し,グループ内の文をまとめてFOLに変換することで,FOLの個体変数・述語変数や構造の不一致を抑制する.本研究では,独自にハルシネーション有無ラベル付きデータセットを構築し,提案手法の有効性を検証した.