Fact-checkingのための補足コンテキストによる情報の拡充

近年では，SNSやオンラインを通じて誤った情報が拡散しやすくなった[1,2]．また，大規模言語モデル(LLM:LargeLanguageModel)の発展に伴い，多くの対話システムにLLMが活用されているが，ハルシネーションのような誤った情報を含む応答を生成する危険性がある[3]．そこで，文に誤った情報が含まれていないかを自動で判定する，AutomatedFact-checkingが重要となる．AutomatedFact-checkingは，文に誤った情報が含まれていないか，外部データベースから判定に必要な情報(evidence)を検索し，検索したevidenceに基づいて判定するタスクである[1]．これにより，真偽を確認したい情報や対話システムの応答文を検証することで，不正確な情報の拡散を防ぐことができる．以降は，AutomatedFact-checkingを単にFact-checkingと呼ぶ．Fact-checkingに関する様々なSharedTaskも開催されており[4,5]，AVeriTecSharedTask[6]において，我々は図1に示すシステムを開発した[7]．このシステムは，RAG-fusion[8]を参考にし，判定対象(claim)から，evidence検索用のクエリを生成することで，多様な観点からのevidence検索を目的としている．しかし，検索されるevidenceが文単位となっており，前後の文脈が無視されてしまうという欠点がある．そこで，本研究では，evidenceとなる文を取得した後に，前後の文脈を含めた補足コンテキストを生成し，evidenceの補足を試みた．このコンテキストにより，より多くの情報に基づいて判定を行うことが可能となる．検索単位をチャンクにすることでも文脈を利用できる[9]．しかし，実世界でのFact-checkingでは，claimに応じてwebから情報を取得する場合が想定される．つまり，情報検索対象となる文書を事前に固定できず，判定のためにチャンクを作成し直すこととなる．判定を行うたびにチャンクを作成する必要がある以上，よりclaimと関連するチャンクを得るため，今回は既に取得した文を補足するというアプローチをとった．実験結果では，補足コンテキストを最終判定モデルに与えることで，判定精度が向上する可能性を示した．