大規模言語モデルを用いた二段階要約におけるhallucinationの分析

大規模言語モデル(LLM)の台頭によって，これまでにない高品質な要約が自動的に生成できるようになった．その品質は，人手で書かれた要約と同等，もしくはそれ以上と報告されている[1,2].しかし，LLMにはhallucinationと呼ばれる入力文書に含まれない情報を生成する傾向がある[3]．例えば，現在公開されている強力なオープンソースLLMであるLlama-2[4]であっても，生成されたニュース要約において約5%程度のhallucinationが含まれることが分かっている1）．従ってLLMを安全に活用するた1）https://github.com/vectara/hallucination-leaderboard存研究の比較表．Kohetal.[5]は指示学習が行われていない要約特化モデルのみで評価を行っている．Zhangetal[6]は単一のブラックボックスLLMのみで評価を行っている．また両研究とも対話要約タスクにおける分析は行っていない要約/合成モデル対象文書OSSLLM指示学習無しLM長文対話BlackboxLLMKohetal.[5]✓✓Zhangetal[6]✓✓本研究✓✓✓✓✓めには，生成された要約が依拠する情報を，利用者が検証できる仕組みが求められている．要約の説明可能性を向上させる方法として，入力文書から要約に用いるテキストを先に抽出して，それらを合成することで要約を生成する方式が提案されている[7,8].この二段階方式を用いることで，抽出されたテキストを要約が依拠する情報として利用者に提示できる．この方式は，特に入力文書が長くて一目で確認できないような使用事例，例えば法律文書や科学論文の要約において有用である．しかし，この方式は入力文書の異なる箇所から抽出されたテキストを合成するため，合成を行う言語モデルが元々の文脈を把握できずに，誤った情報を生成する可能性がある．例えば，入力文書から抽出されたテキストそのものを要約として提示する抽出型要約であっても，連続しない文を結合するため，誤った代名詞の参照関係や文の接続関係が発生することが指摘されている[9]．そのため，二段階方式の合成モデルとしてLLMを用いた際のhallucinationの現象分析が必要とされている．.二段階要約におけるhallicinationの発生は要約タスクや合成モデルとして用いるLLMの種類に依存すると考えられるが，既存研究の現象分析は多様な条件の下で実験が行われていない（表1を参照されたい）．Kohetal.[5]は，長文要約タスクにおいて抽出済みテキストで追加学習されたPegasusモデル[10]は，テキスト抽出を行わないデータで学習された同モデルよりも，hallucinationを生成しやすいと報告している．一方でZhangetal[6]は，抽出済みテキストを用いてChatGPT2）に要約させることで，全文を入力して要約させるよりhallucinationが減少すると報告している．前者は指示学習済みのLLMにおける分析ではないし，後者は単一のブラックボックスなモデルでしか分析を行っていない．また両研究とも対話要約タスクを含む多様なタスクにおける分析が不足している．以上の背景から，本論文では大規模言語モデルを用いた二段階要約におけるhallucinationの現象分析を行った．実験結果から，以下の新たな知見が明らかになった:(1)テキスト抽出によって平均的にはhallucinationが増加する(2)対話要約データセットであるDialogSum[11]においては特に増加傾向が顕著である(3)長文要約データセットのMultiNews[12]においてはhallucinationが減少する．テキスト抽出によって入力長が短くなった結果，モデルのコンテキスト長に収まったことが一因であると分析に基づいて示唆された(4)指示学習を行っていない要約特化モデルのPegasus[10]ではhallucinationの増加傾向が顕著である(5)周辺文脈をモデルに入力することでテキスト抽出によるhallucinationを抑制できる．