言語処理学会 第30回年次大会 発表論文集（2024年3月）

大規模言語モデルを用いた二段階要約におけるhallucination の分析
榎本昌文 1 竹岡邦紘 1 定政邦彦 1 小山田昌史 1
Kiril Gashteovski2 Chia-Chien Hung2 Wiem Ben Rim2 Zhao Xu2 Carolin Lawrence2
1 日本電気株式会社 データサイエンスラボラトリー
2 NEC Laboratories Europe{masafumi-enomoto,k takeoka,sadamasa,oyamada}@nec.com{Kiril.Gashteovski,chia-chien.hung,Wiem.Ben-Rim}@neclab.eu{zhao.xu,carolin.lawrence}@neclab.eu

概要
大規模言語モデル (LLM) は高品質な要約を生成する一方，hallucination と呼ばれる入力文書に含まれない情報を生成する傾向があるため，要約が依拠する情報を利用者が検証できる仕組みが必要である．
そのため，入力文書から要約に用いるテキストを先に抽出して，それらを合成することで説明可能性の高い要約を生成する段階的な方式が提案されている．しかし，入力文書の異なる箇所から抽出されたテキストを合成するため，合成を行うモデルが元々の文脈を理解できずに，誤った情報を生成する可能性がある．本論文では二段階要約において LLM でテキスト合成を行う際に発生する hallucination の現象分析を行う．実験結果から，対話文書・長文文書における hallucination の増減の傾向や， 指示学習・周辺文脈の追加による hallucination の抑制など，既存研究では不明であった新しい知見が得られた．

1

はじめに大規模言語モデル (LLM) の台頭によって，これまでにない高品質な要約が自動的に生成できるようになった．その品質は，人手で書かれた要約と同等，もしくはそれ以上と報告されている [1, 2]. しかし，LLM には hallucination と呼ばれる入力文書に含まれない情報を生成する傾向がある [3]．例えば，現在公開されている強力なオープンソース LLM である
Llama-2 [4] であっても，生成されたニュース要約において約 5% 程度の hallucination が含まれることが分かっている 1）．従って LLM を安全に活用するた
1） https://github.com/vectara/
hallucination-leaderboard

表 1 二段階要約における hallucination の分析に関する既存研究の比較表．Koh et al. [5] は指示学習が行われていない要約特化モデルのみで評価を行っている．Zhang etal [6] は単一のブラックボックス LLM のみで評価を行っている．また両研究とも対話要約タスクにおける分析は行っていない
要約/合成モデル
対象文書
OSS
Blackbox 指示学習
長文 対話
LLM LLM
無し LMKoh✓✓et al. [5]Zhang✓✓et al [6]本研究✓✓✓✓✓

めには，生成された要約が依拠する情報を，利用者が検証できる仕組みが求められている．
要約の説明可能性を向上させる方法として，入力文書から要約に用いるテキストを先に抽出して，それらを合成することで要約を生成する方式が提案されている [7, 8]. この二段階方式を用いることで，抽出されたテキストを要約が依拠する情報として利用者に提示できる．この方式は，特に入力文書が長くて一目で確認できないような使用事例，例えば法律文書や科学論文の要約において有用である．しかし，この方式は入力文書の異なる箇所から抽出されたテキストを合成するため，合成を行う言語モデルが元々の文脈を把握できずに，誤った情報を生成する可能性がある．例えば，入力文書から抽出されたテキストそのものを要約として提示する抽出型要約であっても，連続しない文を結合するため，誤った代名詞の参照関係や文の接続関係が発生することが指摘されている [9]．そのため，二段階方式の合成モデルとして LLM を用いた際の hallucination の現象分析が必要とされている．

― 2641 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

二段階要約における hallicination の発生は要約タ
スクや合成モデルとして用いる LLM の種類に依存

表 2 SummZoo [14] の各データセット．トークン数の列には，入力文書と要約の平均トークン数を掲載．

すると考えられるが，既存研究の現象分析は多様データセット

要約タスク/ドメイン

トークン数な条件の下で実験が行われていない（表 1 を参照

MultiNews [12]XSum [23]ArXiv [24]WikiHow [25]Reddit-TIFU [26]SAMSum [27]DialogSum [11]QMSum [28]複数文書/ニュース
単一文書/ニュース
単一文書/学術論文
単一文書/ハウツー記事
単一文書/ネット掲示板
対話/雑談
対話/日常会話
対話・クエリ指向/会議

2,103/264
431/204,938/220
580/62
433/2394/28131/241,310/65されたい）．Koh et al. [5] は，長文要約タスクにおいて抽出済みテキストで追加学習された Pegasus モデ
ル [10] は，テキスト抽出を行わないデータで学習された同モデルよりも，hallucination を生成しやすいと報告している．一方で Zhang et al [6] は，抽出済みテキストを用いて ChatGPT 2）に要約させることで，全文を入力して要約させるより hallucination が減少取って要約を行う．抽出をしない場合は，入力文書すると報告している．前者は指示学習済みの LLMの全文を受け取って要約を行う．プロンプト作成ににおける分析ではないし，後者は単一のブラック用いたテンプレートは付録の図 3, 4 に示す．

ボックスなモデルでしか分析を行っていない．また両研究とも対話要約タスクを含む多様なタスクにおZoo [14] に含まれる各データセットのテストセットける分析が不足している．

から 100 個のサンプルを無作為に抽出して実験に使以上の背景から，本論文では大規模言語モデルを

デ ー タ セ ッ ト 要 約 対 象 の 文 書 と し て，Summ-用した．各データセットの種類を表 2 に示す．

用いた二段階要約における hallucination の現象分析

大規模言語モデル テキスト合成を行うモを行った．実験結果から，以下の新たな知見が明ら

デ ル と し て， 指 示 へ の 追 従 能 力 を 測 る MT-かになった: (1) テキスト抽出によって平均的には

Bench

3） の ス コ ア が 高 い 以 下 の 指 示 学 習 済 みhallucination が増加する (2) 対話要約データセットでモデルを用いた: Llama-2-chat [4], Vicuna [15], Wiz-

ある DialogSum [11] においては特に増加傾向が顕著

ardlm [16], Mistral-Instruct [17], TÜLU-2 [18], Mosaicである (3) 長文要約データセットの MultiNews [12]においては hallucination が減少する．テキスト抽出

Pretrained Transformer (MPT) [19], Falcon-Instruct [20],Dolly [21], GPT-4 [22]．上記のモデルに加えて，合成によって入力長が短くなった結果，モデルのコンテモデルが指示への追従能力を持たない場合の挙動をキスト長に収まったことが一因であると分析に基づ調べるために，要約タスクに特化した言語モデルでいて示唆された (4) 指示学習を行っていない要約特ある Pegasus [10] を用意した．SummZoo の一部デー化モデルの Pegasus [10] では hallucination の増加傾向

タセットの訓練データで追加学習されたモデル 4）をが顕著である (5) 周辺文脈をモデルに入力することでテキスト抽出による hallucination を抑制できる．

実験に用いた．Pegasus を用いて要約を生成させる

2実験2.1

実験設定

際は明示的な指示を与えずに，入力文書もしくは抽出されたテキストの集合を改行してモデルに入力した．
事実整合性の指標 要約に含まれる hallucinationの多寡を推定するために，入力文書と要約の事実実験の概要 本実験では抽出されたテキストを整合性を評価する最先端の自動指標を 3 個用意合成して要約を生成する二段階要約について，次した．各指標は 0 から 1 の範囲で正規化されておの問いを検証する: 抽出をしない普通の要約よりhallucination は増加するか？本実験では既存研究 [7]り，要 約 に 書 か れ て い る 内 容 が 入 力 文 書 に 包 含される度合い—hallucination の少なさ—を示す．(1)にならって，要約に含むべき最適なテキストが抽出

AlignScorelarge [29] は含意関係認識，質問応答，事された前提でテキスト合成を行う．具体的には，入実検証などの多様なデータセットで RoBERTalarge 5）

力文書を文単位に分割して，人手で書かれた要約にを追加学習したモデルで評価される指標である．(2)

対する ROUGE スコア [13] が最も高い文の集合を貪

TrueTeacher [30] は LLM によって生成・評価された欲法で選択する．そして，抽出された各文を合成するように指示が書かれたプロンプトを LLM が受け
2） https://chat.openai.com

3） https://arena.lmsys.org
4） https://huggingface.co/docs/transformers/model doc/
pegasus5） https://huggingface.co/roberta-large― 2642 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

図 1 事実整合性スコアの増減表: 二段階要約のスコアから抽出無し要約のスコアを差し引いた値．負の値はテキスト抽出によって hallucination が増加したことを意味する．各行が合成に使用したモデル，各列がデータセットを表す．モデルには事前学習時の入出力トークン数 (コンテキスト長)，データセットには入力文書と要約を合計したトークン数の平均を併記した．データセットのトークン数がモデルのコンテキスト長を超過するペアを破線で示す．最後の行と列は，Pegasus を除く全 LLM と全データの平均スコアを表す．

事実整合性判定用の合成データで FLAN-T5 XXL 6）

DialogSum デ ー タ セ ッ ト で は，−7.8% と 平 均 的 にを追加学習したモデルで評価される指標である．

は最もスコアが減少した．特に dolly-v2-12b では，(3) G-Eval [31] は特定の評価用プロンプトを用いて，LLM で評価される指標である．評価用モデルとし

DialogSum に加えて同じく対話文書を含む SAMsum
データセットでもこの傾向が顕著である．この現象て OpenAI 社 の gpt-3.5-turbo-1106 7）を用いた．全ては，対話の抽出によって発話内容の把握が難しくの指標において，抽出の有無によるスコアの増減傾なったことが一因だと考えられる．まず対話要約を向が大きく変わらなかっため，本論文ではこれらの正しく行うためには，発話と発話者を結びつける必スコアの平均を提示した．各指標の結果は付録の図要がある．対話文書は発話者を示すマーカーと発話5, 6, 7 に示す．

内容で構成されるが，文の抽出によって発話内容の2.2抽出による事実整合性スコアの増減

全体的な傾向 図 1 に実験結果を示す．各セルの値は抽出済みテキストの合成による要約（二段階要約）のスコアから，抽出を行わない要約のスコアを差し引いたものである．負の値はテキスト抽出によみが抽出される可能性がある．加えて，対話文書は口語表現や直接話法で書かれているため，内容の理解のためには非対話文書より長い文脈が必要になると考えられる．
長文要約タスクでの傾向 長文のニュース文書を含む MultiNews データセットでは, 2.45% と平均的階要約が hallucination を増加させることが分かる．に最もスコアが増加した．特に falcon-7b-instruct では，MultiNews に加えて長文の学術論文を含む ArXiv

全モデルとデータセットの組みあわせの約 76%でス

データセットでもこの傾向が顕著である．この傾向コアが減少している．また，全データセットのスコは，テキスト抽出によって推論時の入出力トークンアの平均を取ると，falcon-7b-instruct 以外のモデル数が，事前学習時の訓練データのトークン数（以でスコアが減少していることが分かる．

降，コンテキスト長と呼ぶ）に収まることが一因だ

る hallucination の増加を意味する．平均的には二段DialogSum デ ー タ で の 傾 向 対 話 文 書 を 含 む6） https://huggingface.co/google/flan-t5-xxl
7） https://platform.openai.com/docs/models/gpt-3-5と考えられる．データセットの入出力トークン数がモデルのコンテキスト長を超過するペア（図 1 にお― 2643 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

図 2 各データセットにおいて，抽出されたチャンクに含まれる文の数 (横軸) と事実整合性スコア (縦軸) の関係を示した図．Pegasus を除く全モデルの平均スコアを折れ線で示した．破線は抽出無し要約の平均スコアを意味する．各図の右下に，文数の増加に伴うスコアの最大増加量を明記した．

いて破線で表示）のほとんどで，スコアが増加している．上記のペアにおいて falcon-7b-instruct のほうる．そこで，抽出される文の周辺にあるテキストをモデルに入力したときの hallucination の増減を確認

が dolly-v2-7b/12b よりスコア増加が著しい傾向は，する．具体的には，入力文書を複数の文で構成され指示学習で用いたデータに起因すると考えられる．

るテキスト（以降，チャンクと呼ぶ）に分割して，dolly は文書要約データを含む databricks-dolly-15k 8）

そのチャンクを合成して得られる要約の事実整合性で指示学習されているため，抽出無し要約でもスコスコアを報告する．

アが相対的に高く，テキスト抽出による恩恵をそれ

図 2 に チ ャ ン ク に 含 ま れ る 文 の 数 (横 軸) と 事ほど強く受けなかったと考えられる．また，入出力実整合性スコア (縦軸) の関係を示す．破線は抽出トークン数が多い Arxiv/MultiNews/QMsum では，モ無し要約のスコアを示す．まず，全データセットデルのコンテキスト長が短くなるにつれて，二段階に お い て，文 数 の 増 加 に 伴 っ て ス コ ア が 向 上 す

要約から抽出無し要約のスコアを差し引いた差分がる 傾 向 が 見 て と れ る．全 デ ー タ セ ッ ト で 平 均 す大きくなる傾向がある．GPT-4 と Pegasus を省いたる と，2% ス コ ア が 増 加 し た．こ の 結 果 か ら，テモデル群において，コンテキスト長とスコア差分のキスト抽出によって失った文脈を与えることで，相関係数はこれらのデータセットにおいて −0.4 以hallucination を抑制できることが分かる．ただし，下である．これらの結果から，推論時の入出力トークン数がモデルのコンテキスト長に収まることでテキスト抽出によるスコアの減少幅が小さい場合，この抑制の効果も小さい．例えば，減少幅が小さい

hallucination が抑制されることが分かる．

ArXiv/QMsum/MultiNews において，文数の増加に伴指示学習の有無による影響 全モデルのうち，指うスコアの最大増加量は平均 1.86% であるのに対示学習が行われていない Pegasus のスコアの減少がして，それ以外では 2.35%である．これらのデータ最も顕著だった．LLM において平均的にスコアがセットは相対的に入力トークン数が多いため，テキ増加している MultiNews データセットであってもスト抽出によって推論時の内挿が可能になった好Pegasus ではスコアが大きく減少している．この結影響が，文脈を失う悪影響を打ち消したと考えら

果は，指示学習は二段階要約による hallucination をれる．

抑制することを示している．

2.3

まとめ

3

抽出テキストのサイズが与える影響

本論文では，二段階要約において大規模言語モデ

二段階要約によって発生する hallucination は，テルでテキスト合成を行う際に発生する hallucination

キスト合成を行う言語モデルが抽出されたテキスト現象の分析を行った．実験結果から，対話文書・長の文脈を把握できないことに起因すると考えられ

文文書における hallucination の増減の傾向や， 指示学習・周辺文脈の追加による抑制など，既存研究で

8） https://huggingface.co/datasets/databricks/
databricks-dolly-15k

は不明であった新しい知見が得られた．

― 2644 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

参考文献[1] Tianyi Zhang, et al. Benchmarking large language models for news
summarization. CoRR, Vol. abs/2301.13848, , 2023.
[2] Xiao Pu, et al. Summarization is (almost) dead. CoRR, Vol.
abs/2309.09558, , 2023.
[3] Ziwei Ji, et al. Survey of hallucination in natural language generation. ACM Comput. Surv., Vol. 55, No. 12, pp. 248:1–248:38,2023.
[4] Hugo Touvron, et al. Llama 2: Open foundation and ﬁne-tuned
chat models. CoRR, Vol. abs/2307.09288, , 2023.
[5] Huan Yee Koh, et al. How far are we from robust long abstractive summarization? In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, EMNLP 2022, Abu Dhabi, United Arab Emirates, December 7-11, 2022, pp. 2682–2698. Association for Computational

Linguistics, 2022.
[6] Haopeng Zhang, et al. Extractive summarization via chatgpt for
faithful summary generation. In Findings of the Association for
Computational Linguistics: EMNLP 2023, Singapore, December 6-10, 2023, pp. 3270–3278. Association for Computa-tional Linguistics, 2023.
[7] Haoran Li, et al. EASE: Extractive-abstractive summarization endto-end using the information bottleneck principle. In Proceedingsof the Third Workshop on New Frontiers in Summarization,
pp. 85–95, Online and in Dominican Republic, November 2021.
Association for Computational Linguistics.
[8] Aviv Slobodkin, et al. Summhelper: Collaborative humancomputer summarization. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, EMNLP 2023 - System Demonstrations, Singapore, December 6-10, 2023, pp. 554–565. Association for ComputationalLinguistics, 2023.
[9] Shiyue Zhang, et al. Extractive is not faithful: An investigation ofbroad unfaithfulness problems in extractive summarization. In Proceedings of the 61st Annual Meeting of the Association for
Computational Linguistics (Volume 1: Long Papers), ACL
2023, Toronto, Canada, July 9-14, 2023, pp. 2153–2174. Asso-ciation for Computational Linguistics, 2023.
[10] Jingqing Zhang, et al. PEGASUS: pre-training with extracted
gap-sentences for abstractive summarization. In Proceedingsof the 37th International Conference on Machine Learning,
ICML 2020, 13-18 July 2020, Virtual Event, Vol. 119 of Proceedings of Machine Learning Research, pp. 11328–11339.

PMLR, 2020.
[11] Yulong Chen, et al. DialogSum: A real-life scenario dialogue summarization dataset. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 5062–5074, Online, August 2021. Association for Computational Linguistics.
[12] Alexander R. Fabbri, et al. Multi-news: A large-scale multidocument summarization dataset and abstractive hierarchicalmodel. In Proceedings of the 57th Conference of the Asso-chatbot arena. CoRR, Vol. abs/2306.05685, , 2023.
[16] Can Xu, et al. Wizardlm: Empowering large language models tofollow complex instructions. CoRR, Vol. abs/2304.12244, , 2023.
[17] Albert Q. Jiang, et al. Mistral 7b. CoRR, Vol. abs/2310.06825, ,2023.
[18] Hamish Ivison, et al. Camels in a changing climate: Enhancing
LM adaptation with tulu 2. CoRR, Vol. abs/2311.10702, , 2023.
[19] MosaicML NLP Team. Introducing mpt-7b: A new standard foropen-source, commercially usable llms, 2023. Accessed: 202305-05.
[20] Ebtesam Almazrouei, et al. Falcon-40B: an open large language
model with state-of-the-art performance. 2023.
[21] Mike Conover, et al. Free dolly: Introducing the world’s ﬁrst truly
open instruction-tuned llm, 2023.
[22] OpenAI. GPT-4 technical report. CoRR, Vol. abs/2303.08774, ,2023.
[23] Shashi Narayan, et al. Don’t give me the details, just the summary!
topic-aware convolutional neural networks for extreme summarization. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 1797–1807,
Brussels, Belgium, October-November 2018. Association for Computational Linguistics.
[24] Arman Cohan, et al. A discourse-aware attention model for abstractive summarization of long documents. In Proceedings of the2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human LanguageTechnologies, Volume 2 (Short Papers), pp. 615–621, New Or-leans, Louisiana, June 2018. Association for Computational Linguistics.
[25] Mahnaz Koupaee and William Yang Wang. Wikihow: A large
scale text summarization dataset. CoRR, Vol. abs/1810.09305, ,2018.
[26] Byeongchang Kim, et al. Abstractive summarization of Reddit
posts with multi-level memory networks. In Proceedings of the2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language
Technologies, Volume 1 (Long and Short Papers), pp. 2519–2531, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.
[27] Bogdan Gliwa, et al. SAMSum corpus: A human-annotated dialogue dataset for abstractive summarization. In Proceedingsof the 2nd Workshop on New Frontiers in Summarization,
pp. 70–79, Hong Kong, China, November 2019. Association for
Computational Linguistics.
[28] Ming Zhong, et al. QMSum: A new benchmark for query-based
multi-domain meeting summarization. In Proceedings of the2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language
Technologies, pp. 5905–5921, Online, June 2021. Associationfor Computational Linguistics.
[29] Yuheng Zha, et al. Alignscore: Evaluating factual consistency with
A uniﬁed alignment function. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), ACL 2023, Toronto, Canada,July 9-14, 2023, pp. 11328–11348. Association for Computational

ciation for Computational Linguistics, ACL 2019, Florence,Italy, July 28- August 2, 2019, Volume 1: Long Papers, pp.

1074–1084. Association for Computational Linguistics, 2019.
[13] Chin-Yew Lin. ROUGE: A package for automatic evaluation ofsummaries. In Text Summarization Branches Out, pp. 74–81, Barcelona, Spain, July 2004. Association for Computational
Linguistics.
[14] Yulong Chen, et al. Unisumm and summzoo: Uniﬁed modeland diverse benchmark for few-shot summarization. In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), ACL 2023,Toronto, Canada, July 9-14, 2023, pp. 12833–12855. Associa-Linguistics, 2023.
[30] Zorik Gekhman, et al. Trueteacher: Learning factual consistency
evaluation with large language models. In Proceedings of the2023 Conference on Empirical Methods in Natural Language
Processing, EMNLP 2023, Singapore, December 6-10, 2023,

pp. 2053–2070. Association for Computational Linguistics, 2023.
[31] Yang Liu, et al. G-eval: NLG evaluation using gpt-4 withbetter human alignment. In Proceedings of the 2023 Con-tion for Computational Linguistics, 2023.
[15] Lianmin Zheng, et al. Judging llm-as-a-judge with mt-bench and― 2645 ―ference on Empirical Methods in Natural Language Processing, EMNLP 2023, Singapore, December 6-10, 2023, pp.

2511–2522. Association for Computational Linguistics, 2023.

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

A

付録
Composite the extracted texts and summarize them in {n_words} words
text_0 {text_0}...

text_n {text_n}
図 3 二段階要約おいてプロンプトを作成するためのテンプレート．“n words” と “text *” には人手で書かれた要約の単語数と抽出されたテキストがそれぞれ代入される.
Summarize the document in {n_words} words{document}

図 4 抽出無し要約においてプロンプトを作成するためのテンプレート．“n words” と “document” には人手で書かれた要約の単語数と入力文書の全文がそれぞれ代入される.

図5

AlignScorelarge [29] における事実整合性スコアの増減表．図の読み方は図 1 を参照されたい．

図6

図7

G-Eval [31] における事実整合性スコアの増減表．図の読み方は図 1 を参照されたい．

TrueTeacher [30] における事実整合性スコアの増減表．図の読み方は図 1 を参照されたい．

― 2646 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).