自動ファクトチェックのための事実の分解による含意関係認識

インターネットやSNSの普及に伴い、情報が迅速に拡散される一方で、不正確な情報や誤情報の拡散が問題となっている。そのため正確な情報を確認し、不正確な情報を訂正するファクトチェックの重要性は高い。しかし、人力によるファクトチェックは、膨大な時間と労力を要するため、自動化が求められている。その中で、含意関係認識は、2つの文間の論理的関係を判定する技術として、自動ファクトチェックシステムにおいて有望な手法の一つである。本稿では自動ファクトチェックの基盤技術として、文ペアの含意関係認識を行う。含意関係認識とは、前提文と仮定文のペアについて、前提文が真であると仮定した際に仮定文が真であると判断できれば「含意」、仮定文が偽であると判断できれば「矛盾」、どちらとも判断できない場合は「中立」と分類するタスクである。しかし、この技術をファクトチェックに適用する際には、仮定文全体が前提文に含意されない限り「含意」と判定されないという課題がある。例えば、「今日の試合で負けたなんて信じられない」という仮定文がある場合、「今日の試合で負けた」という部分が前提文に含意されていたとしても、「信じられない」という部分が原因で、仮定文全体としては「含意」と判断されない可能性がある。我々は、前提文や仮定文を事実に分解し、分解された要素に対して含意関係認識を行う手法を提案する。独自に構築したファクトチェック評価データセットにおいて、提案手法の導入によりLLM単独よりもgpt-4oにおいて9.34、llmjpにおいて20.67ポイントのAccuracy向上を達成し、有効性を示した。