多観点検証に基づく要約における忠実性向上

大規模言語モデル(LLM)の発展により，要約タスクは大きな進展を遂げている．特に生成型要約では，長文記事の内容を簡潔かつ流暢な文章として生成できるようになり，ニュース要約，文書検索支援，専門文書の理解補助など，多様な応用が期待されている．しかしその一方で，LLMによる要約生成には，入力文書に含まれない内容や事実と異なる情報を生成してしまうハルシネーションと呼ばれる問題が依然として存在する．要約におけるハルシネーションは発見が難しく，入力文書への忠実性が損なわれることで，ユーザーの誤解や誤った意思決定につながる恐れが指摘されている[1]．従来の要約手法は，単一モデルによる一回限りの生成が主流であり，生成結果の妥当性や事実整合性が十分に検証されないままであった．近年になり，最終的な要約を出力する前に，生成途中または生成結果に対して追加の評価を行い，その結果を用いて要約を修正・改善する手法も提案されている[2]．この手法は，単一モデルによる一回限りの生成に比べ，生成内容を自己点検・再考する点で有効である一方，単一の評価観点・単一のプロンプトによって要約全体を判断しているため，数値情報の誤り，固有表現の不一致，照応関係の破綻など，性質の異なるハルシネーションを同時に十分捉えることが難しく，修正の根拠が曖昧になる場合がある．このような背景から，本研究では要約生成において，評価・修正過程を単一のものとして扱うのではなく，複数の観点に基づく検証を明確に分離し，複数の検証結果を総合して適用する枠組みを提案する．具体的には，事実整合性，数値および時間情報の一致性，固有表現の一致性，照応関係の一致性といった異なる観点に着目した複数の検証エージェントを導入し，各エージェントが指摘した問題を統合的に扱うことで，ハルシネーションの発生個所をより精密に修正することを目指す．さらに，検証結果を一括して要約全体に反映させるのではなく，必要な修正に限定して反復的に要約を更新することで，内容の過度な更新を避けつつ忠実性の向上を図る．