MAFT-AH:ヒューマンインザループを備えたマルチエージェント自動ファクトチェックフレームワーク

実世界の主張に対するAutomatedFact-Checking(AFC)は、人工的な主張に対してのAFCと比べて主張の曖昧性や証拠の不十分さなどから困難であることが知られている[1]。更に、近年のインターネット上の偽・誤情報はテキストに留まらず、画像・動画・音声を含むマルチモーダルなコンテンツとして流通する。このような実世界のマルチモーダル偽・誤情報に対するAFCは、単一モーダルのものよりも主張が複雑化し曖昧性が大きくなり、各モーダルに対しても利用可能な調査プロセスが異なる点で難解である。マルチモーダルなコンテンツを含む偽・誤情報に対するAFC手法として、MAFTが知られている。MAFTは、テキスト・画像・動画・音声を含む任意の組合せ入力に対し、各モーダルをテキスト化して統一表現へ変換することで、大規模言語モデル(LLM)を利用したマルチモーダルAFCを行う手法である[2]。しかし、MAFTを含むEnd-to-End型の枠組み[3]は、実運用の調査フローに内在する二つの課題を十分に扱えていない。第一に、ユーザの入力は曖昧であったり情報を全て提供しないことがあり、検証可能な主張へ落とし込むための曖昧性解消や追加情報取得が必要となる点である。第二に、マルチモーダルな入力などにより主張が複雑化することで調査のフローが複雑化し、使用する分析ツールも多岐にわたるため、フローの柔軟性やその実行に関するオーケストレーションがボトルネックとなるという点である。我々は、ヒューマンインザループ(HITL)を備え、マルチモーダル入力に対応したマルチエージェントAFCフレームワークのMAFT-AHを提案する。本手法はMAFTを基に、(1)これまでのAFC手法では困難であった入力時の情報欠落や曖昧性に対して、LLMにより入力からこれらが発生しているかを検知しHITLで補間する、(2)複雑化する調査フローやオーケストレーションに対しても入力に応じた調査フロー生成とマルチエージェントによる調査によりこれを可能にする。本研究の主な貢献を以下に示す。•入力時の情報欠落・曖昧性をLLMで検知し、HITLによる補間を組み込んだAgenticAFCフレームワーク•調査フロー生成とマルチエージェントによる柔軟な証拠収集機構•実世界のファクトチェックデータセット（AVeriTeC）で既存手法を5.8%上回るAccuracyを達成（0.784）Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).Process1:MultimodalTextualizationProcess2:PlanGenerationHITLConvertedLLM(Clarifying)LLM(Planning)PlanTextualizationInputMultimodalInput3.2Process2:PlanGeneration本プロセスでは、テキスト化されたマルチモーダル情報を元に検証のプランを生成する。ユーザからの入力に対して、既に十分な情報があるか、不足情報が何か、検証対象が明確であるかをClarifyingLLM（本研究ではGPT-4.1を使用）に判定させこれらが必要な場合にのみHITLでユーザから追加の情報入力を求めることで入力情報と検証対象を明確化する。ClarifyingLLMにより問題が無いと判断された後、PlanningLLM（本研究ではGPT-4.1を使用）を用いて検証すべき対象（主張）と調査方針を生成する。調査方針は以降の調査での実行可能性を重視し、検証に必要な調査タスク一覧となるように生成される。3.3Process3:EvidenceCollection本プロセスでは、Web上の関連情報収集やメディアコンテンツに対するDeepFakeや加工の検知器、逆画像検索による初出調査といった分析ツールを必要に応じて組み合わせて証拠収集を行う。本プロセスはSupervisorAgentとResearcherAgent、MCPサーバから構成される。SupervisorAgent（本研究ではGPT-4.1を使用）では、調査方針内の調査タスクをより具体的な調査項目に落とし込むために、調査方針の内容と使用可能なツールの一覧から使用するツール名と使用方法のペアを生成することで、調査項目の生成を行う。この時調査に使用可能なツール一覧はMCPサーバから提供される。その後、調査項目内の順番に従いResearcherAgentを呼び出し、SupervisorAgentはその結果とこれまでの調査結果、調査方針を入力とし、調査方針の内容を満たしたかの判断を行う。調査終了後、SupervisorAgentは各証拠の重要度に応じProcess3:EvidenceCollectionProcess4:ReportGenerationToolCallConvertedInput&PlanAgent(Researcher)MCPServerToolInfoTaskPlanReportLLM(Report)Agent(Supervisor)Evidenceた粒度で要約することで情報の取捨選択を行い、無関係な情報や信頼性の低い情報の影響を軽減し冗長な情報を圧縮する。ResearcherAgent（本研究ではGPT-4.1-miniを使用）は、ツール名と使用方法、各種ツールの仕様を入力とし、ツールに適した引数の生成を行う。その後ツールを呼び出し、ツールからエラーが返ってきた場合は引数の再生成と再呼び出しを行う。MCPサーバでは調査で使用する様々な分析ツールを持ち、各種ツールの仕様をSupervisor/ResearcherAgentに提供することでエージェント内にツールを持つよりも高い拡張性を実現している。本研究でMCPサーバはWeb検索、逆画像検索、Deepfakeや加工検知などの検知器といった分析ツール群を管理する。3.4Process4:ReportGeneration本プロセスでは、これまでのプロセスの結果を入力としてReportLLM（本研究ではGPT-5.1を使用）を用いて偽・誤情報かの判定とその理由をレポート形式で生成する。判定はファクトチェックの専門家の分類に倣い、True/AlmostTrue/Baseless/Inaccurate/Falseの5段階で行う[10]。本研究では偽・誤情報である理由の基準として、外部情報との不整合、フェイクの痕跡、モーダル間の不整合を挙げている。本手法では判定を行うものの、実運用では最終判定を人手で行うことを想定しているため、判定理由がユーザに解釈しやすい形式で提示される必要がある。そのため、本手法ではレポート形式でユーザに提示する。このレポートは判定ロジックが明確になるよう調査過程と各過程での結果が章立てでまとめられ、ユーザが追検証できるように使用した証拠の一覧が別途提示される。org/licenses/by/4.0/).4検証4.1設定本検証ではPlanGenerationの効果を分離して評価するためAVeriTeC（テキスト入力）を用い、マルチモーダルツール群は今後の課題とした。AVeriTeCはWeb上の証拠を用いた主張検証を目的としたデータセットである[1]。提案手法の他に比較手法として、ClaimCheck[8]を用い、ベースラインとしてLLM単体(GPT-5.1)による判定を行う場合を用いた。入力がテキストのみの場合、ClaimCheckは提案手法のPlanningLLM以降の処理と類似しているため、ClarifyingLLMによる不足情報や曖昧性の補間の効果とそれによる調査フロー生成の明確化の効果を評価することができる。本検証ではAVeriTeCのdevセットを用い、入力データはAVeriTeCの主張と日付情報のみを用いた。提案手法のProcess2において入力主張に曖昧であると判断された場合には、HITLの処理としてAVeriTeCから主張の発信された媒体、発信者、国を不足情報として取得し機械的に返答する。これは本検証が人との対話の評価ではなく、不足情報や曖昧性の補間が後段に与える影響を分離して評価するための設定である。AVeriTeCのクラスラベルはSupported,Refuted,NotEnoughEvidence,ConﬂictingEvidence/Cherrypickingで構成される。提案手法においてはTrueとAlmostTrueをSupportedとして、InaccurateとFalseをRe-futedとして、BaselessをNotEnoughEvidenceとして扱った。また、提案手法はRefutedとConﬂict-ingEvidence/Cherrypickingを区別していないため、クラスラベルがConﬂictingEvidence/Cherrypickingの場合のみInaccurateとFalseをConﬂictingEvi-dence/Cherrypickingとして扱った。評価はAccuracyに加え、AVeriTeCのクラス不均衡の影響を考慮してmacro-F1スコアも算出した。本検証ではテキスト入力のみであるため、逆画像検索やDeepfake・加工検知などの検知器といったメディアデータに対する分析ツールは使用しない。また、Web検索としてGoogleCustomSearchJSONAPI[11]を使用した。MethodAccuracymacro-F1Baseline(GPT-5.1)0.6900.554ClaimCheck0.7260.436MAFT-AH(Ours)0.7840.6234.2結果と考察検証の結果を表1に示す。提案手法のAccuracyが他の2手法を上回る結果となった。特に本検証条件における提案手法とClaimCheckとの主な差異はClarifyingLLMによる明確化であり、この結果は、実世界の発信者・媒体・地域などの欠落情報を補完し、調査方針を具体化し適切な証拠収集の実現が精度向上に寄与したことを示唆する。またmacro-F1も大きく向上しており、曖昧性補間による明確化が少数クラスに対してより効果があったと考えられる。本検証は、HITLの返答を疑似的に行っているため実運用を想定した場合には人手による入力とは異なるという限界が存在する。また、提案手法のマルチモーダルな入力に対する評価やマルチエージェントによるオーケストレーションの評価が不十分であるため、Mochegデータセット[12]やNewsCLIPpingsデータセットなど[13]マルチモーダルなデータセットを用いて単一フローのマルチモーダルAFC手法であるMAFTなどと比較する必要がある。5まとめと今後の課題マルチモーダル情報に対するAFCの実運用では、入力の情報欠落・曖昧性への対応と、複雑な調査フローを管理するオーケストレーションが課題となる。本研究では、これらに対してHITLを備えたマルチエージェントAFCフレームワークMAFT-AHを提案した。提案手法は入力の情報欠落・曖昧性をLLMで検知し、必要に応じてHITLにより補完を行う。また、入力内容から調査方針を生成し、Supervisor/Researcherからなるマルチエージェントで証拠を収集することで入力に応じた調査フローの実行を可能にする。AVeriTeCによる評価では、既存手法を上回るAccuracyを達成し、曖昧性補間による有効性を確認した。今後はマルチモーダル入力に対するオーケストレーションの定量的評価を行う。org/licenses/by/4.0/).