一階述語論理を用いたRAGにおけるハルシネーション判定手法の検討

ンクやRAGの回答には以下の2つの問題がある.1近年,大規模言語モデル（LargeLanguageModel:つ目の問題は,チャンクは複数の内容を含む文章でLLM）は自然言語処理の多様なタスクで高い性能構成される問題である.そのような文章をそのままを示し,企業においてもRAG（Retrieval-AugmentedFOLに変換すると,複雑なFOLになり,ハルシネーGeneration）を用いたアプリケーションの活用が進ションの判定が困難になる.2つ目の問題は,チャンんでいる.RAGはユーザのクエリに関するチャンククやRAGの回答中の単語の表記や品詞がばらつくを検索文書から検索し,LLMに与えることで,LLM問題である.同義文であっても表記の違いによってが持たない知識にも回答可能にする仕組みである.FOLの個体変数・述語変数が不一致となることがあ一方,LLMは事実と異なる情報を生成する「ハルる.また,同じ意味の単語が文によって個体変数にシネーション」という問題を抱えており,特に企業なったり,述語変数になったりすることで,異なる構向けのRAGでは深刻なリスクとなり得る.例えば,造のFOLに変換される場合がある.これらの問題にLLMが生成した誤った情報をユーザが妄信してしよって,不一致が発生すると,RAGの回答が正しくまうと,企業の意思決定や業務に重大な損失を招きチャンクに基づいていたとしても,ハルシネーショ得る.このため,RAGの回答がハルシネーションをンの判定を正確に行えない.含むかどうかを検知する技術は不可欠である.既存本研究では,これら問題を解決するために文章をorg/licenses/by/4.0/).一文一義となるような文に分割し,分割後の文を意味や関連性に基づいてグループ化する.一文一義となるような文に分割することで,複雑なFOLになることを抑制することができる.また,同義文をグループ化し,グループ内の文をまとめてFOLに変換することで,FOLの個体変数・述語変数や構造の不一致を抑制する.本研究では,独自にハルシネーション有無ラベル付きデータセットを構築し,提案手法の有効性を検証した.