大規模言語モデルを用いた二段階要約におけるhallucinationの分析

大規模言語モデル(LLM)は高品質な要約を生成する一方，hallucinationと呼ばれる入力文書に含まれない情報を生成する傾向があるため，要約が依拠する情報を利用者が検証できる仕組みが必要である．そのため，入力文書から要約に用いるテキストを先に抽出して，それらを合成することで説明可能性の高い要約を生成する段階的な方式が提案されている．しかし，入力文書の異なる箇所から抽出されたテキストを合成するため，合成を行うモデルが元々の文脈を理解できずに，誤った情報を生成する可能性がある．本論文では二段階要約においてLLMでテキスト合成を行う際に発生するhallucinationの現象分析を行う．実験結果から，対話文書・長文文書におけるhallucinationの増減の傾向や，指示学習・周辺文脈の追加によるhallucinationの抑制など，既存研究では不明であった新しい知見が得られた．