言語処理学会 第30回年次大会 発表論文集（2024年3月）

科学技術論文を対象とした根拠付き生成型要約システムの構築
笠原智仁 村田栄樹 河原大輔
早稲田大学理工学術院{tomo k@ruri.,eiki.1650-2951@toki.,dkw@}waseda.jp

概要
本研究では日本語の科学技術論文を対象として、抽出型要約と生成型要約を融合した根拠付きの生成型要約システムを構築する。具体的には、論文本文から抽出型要約を作成し、それを大規模言語モデルによって言い換えることによって生成型要約を生成する。抽出型要約によって本文から抽出された文が生成された要約の根拠となり、言い換えによって自然な文章を生成することが可能となる。評価の結果、本文から直接要約を生成する生成型要約モデルと比較して、幻覚の生成が減少することを確認した。

1

はじめに自動要約の手法は、原文から重要とされる文を取り出す抽出型要約と、原文を入力して要約を生成させる生成型要約の 2 種類に大きく分けられる。抽出型要約は誤った情報が含まれないという長所があるが、抽出された要約が文章として不自然であるという欠点がある。一方で生成型要約においては、自然な文章を生成することが可能になるという長所があるが、生成された要約が原文の内容に忠実か保証されないという欠点が存在する。このような原文に基づいていない、捏造された文章が生成される事象は幻覚 (Hallucination) と呼ばれる。
本研究ではこれらの欠点を克服するため、図 1 に示すような、2 つの手法を組み合わせた根拠付き生成型要約システムを構築する。具体的には、原文から抽出型要約を作成し、それを大規模言語モデルによって言い換えることによって要約を生成するという 2 つのステップを踏む。本手法では、抽出型要約によって原文から抽出された文が生成された要約の根拠となり、言い換えによって自然な文章を生成することが可能となる。
日本語の科学技術論文を対象として実験を行い、根拠となる文を示した上で生成型要約モデルと同図1

根拠付き生成型要約システムのアーキテクチャ等の精度を出すことが可能であることを示した。また、GPT-4 を用いて幻覚についての評価を行った結果、生成型要約モデルと比較して幻覚が発生しづらくなるということも明らかになった。

2

関連研究

抽出型要約と要約型要約を組み合わせた手法の先行研究としては、Transformer [1] の考案以前から RNN を利用した手法 [2, 3] が提案されている。
Transformer の考案により要約モデルの性能は向上したが、依然として抽出型と生成型それぞれの欠点は残るため、2 種類を融合した手法の研究は続けられている。
抽出型から生成型への情報の受け渡しには様々な方法があり、原文から文単位で抽出した文章を生成型要約モデルの入力とする手法 [4] や、それ以外のキーワードや原文そのものも入力に含める手法 [5, 6]、離散的な抽出ではなく原文を文単位で重みづけする手法 [7] などがある。本研究では抽出型要約が生成された要約の根拠となることに着目しているため、抽出型要約は文単位の離散的な抽出であり、生成型要約への入力には抽出された原文以外は用いないという条件を満たさなければならない。

― 2131 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

ルを付与することで作成する。具体的には抄録の各根拠付き生成型要約システム

3文に対して、本文の各文もしくは連続する 2 文との本研究では抽出型要約と生成型要約を組み合わせ間で BLEU スコアを計算し、最もスコアが高い 1 文ることにより、根拠付き生成型要約システムを構築

または連続する 2 文に「抽出」ラベルを付与する。

する (図 1)。要約の流れとしては、まず原文を抽出

ただし、既に抽出済みの場合には、次にスコアの高型要約モデルに入力し、重要とされる文を複数文抽い文または連続する 2 文にラベルを付与する。連続出する。ここで抽出された文は最終的に生成される

する 2 文を考慮する理由は、本文では 2 文に分かれ要約の根拠となる。次に、抽出された文を言い換えている内容が抄録では 1 文にまとめられるケースがモデルに入力し、要約を生成する。

あるためである。以降、このラベルが付与された本

3.1

文内の文集合を「BLEU 抽出」と呼ぶ。

抽出型要約モデル

抽出型要約モデルは Transformer の encoder ベース

4.2

言い換えモデルの学習データの事前学習済みモデルを、BERTSUM [8] の手法を参言 い 換 え モ デ ル の 学 習 時 の 入 力 に は、上 記 の考に ﬁne-tuning することで構築する。具体的には、原文の各文の先頭に CLS トークンを挿入し入力とBLEU 抽出と、学習を行った抽出型要約モデルにする。次に、その埋め込みを基に抽出するべきか否よって抽出した文集合の、2 通りを実験して比較する。なお、後者については学習データと推論データかを示すスコアを出力する。の重複を避けるために 5-fold cross-validation によっ3.2て作成する。

言い換えモデル

言い換えモデルは Transformer の decoder ベースの4.3

幻覚のテストデータ

事前学習済みモデルを ﬁne-tuning することで構築す本研究では、生成した要約における幻覚の評価はる。原文から抽出した複数文をモデルに入力し、自GPT-4 を用いて行う。上記データセットは権利の都然な要約が生成されるように学習を行う。

合上 GPT-4 へのデータ投入ができないため、投入が可能な 23 種類の資料から 10 論文ずつをランダムにデータセット4選択して幻覚のテストデータを構築した。なお、こ科学技術振興機構が本研究のために国内発行の科学技術文献より集めたデータセットを利用する。このデータセットには、本文と抄録を持つ論文（全て学会予稿）が 22,209 件含まれている。本文は 84%の文献が日本語で執筆されており、残りは英語からのの論文データには本文のみが含まれ、抄録は付属していない。

実験

5

抽出型要約モデルと言い換えモデルのそれぞれを機械翻訳である。一方、抄録は 5%のみが日本語で独立して学習と評価を行った後に、End-to-End でのあり、95%が英語からの機械翻訳である。これは、評価を行う。

予稿がすでに抄録的な意味合いを持つため、日本語の抄録は略し、英語読者のための英語抄録のみが存在することが多いためと考えられる。

5.1

実験設定

モデル学習時のハイパーパラメータについては付構築する根拠付き生成型要約システムは抽出型

録 A に記載する。

要約モデルと言い換えモデルからなる。それぞれ独立に学習を行うため、その学習データについて 4.1、

5.1.1

根拠付き生成型要約システムの設定

4.2 節で述べる。なお、いずれのモデルの学習にお抽 出 型 要 約 モ デ ル と 言 い 換 え モ デ ル に は、そいても、train:valid:test=8:1:1 に分割し、test は共通のれ ぞ れ 日 本 語 で 事 前 学 習 さ れ た BigBird1） [9] とデータとなるようにした。

GPT-2 [10] ベースのモデル2）を用いる。

4.1

抽出型要約モデルの推論時には閾値を設定し、そ抽出型要約モデルの学習データ

抽出型要約モデルの学習に用いる正解データは、本文の各文について抽出するべきかの 2 値分類ラベ1） https://huggingface.co/nlp-waseda/
bigbird-base-japanese
2） https://huggingface.co/line-corporation/
japanese-large-lm-1.7b― 2132 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表1
設定

生成された抄録の評価。言い換えモデル単体、End-to-End、生成ベースラインの結果をそれぞれ示す。
学習データ
推論データ
ROUGE-1 ROUGE-2 ROUGE-L 平均文数 # 繰り返し
BLEU 抽出BLEU 抽出
0.453
0.178
0.306
4.1787
言い換えモデル
BigBird 抽出 BLEU 抽出
0.392
0.149
0.266
3.08355
BLEU 抽出BigBird 抽出
0.3890.1410.243
5.4288End-to-End
BigBird 抽出 BigBird 抽出
0.376
0.131
0.245
3.50294
生成ベースライン 本文
本文
0.393
0.142
0.250
4.2279表 2 抽出型要約モデルの評価。Reference は BLEU 抽出。
閾値 Accuracy Recall Precision
F10.1
0.436
0.919
0.270
0.398
0.2
0.621
0.731
0.329
0.433
0.3
0.725
0.549
0.397
0.432
0.4
0.769
0.430
0.449
0.422
0.50.778
0.382
0.466
0.397

表 4 抽出型要約モデルによる抽出と、本文と正解抄録の文数。
BigBird による抽出
本文 抄録 BLEU 抽出
0.20.325.37 4.14
4.459.885.72

表 3 抽出型要約モデルの評価。Reference は正解抄録。
手法閾値 ROUGE-1 ROUGE-2 ROUGE-L
BLEU
0.527
0.232
0.351
0.2
0.363
0.155
0.226
BigBird
0.421
0.167
0.255
0.3

当該要約１文あたりに正規化し、これを評価セット出力させる。詳細は付録 B に示す。GPT-4 の出力をで平均した値を幻覚率とする。ただし、幻覚の評価は End-to-End の設定でのみ行う。
生成では繰り返しが起こることもあるため、上記の評価は繰り返しを除去した後に行う。使用するモの値を超えた文のみを抽出する。また、最低抽出文

デルのトークンベースで、同一の 5-gram が 15 回以数を 3 に設定し、閾値を超えた文数が 3 文未満の場上出現した場合に繰り返しとみなす。

合にはスコアの高い 3 文を抽出することとした。

5.2

実験結果

いて損失を計算する。推論時は、SEP トークンまで

5.2.1

抽出型要約モデルの評価入力し、続きを生成することで抄録とする。

5.1.1 節の設定で ﬁne-tuning を行った抽出型要約モデルによる抽出結果と、BLEU 抽出との間における、言い換えモデルでは、入力と正解抄録の間に SEPトークンを挿入し ﬁne-tuning する。抄録部のみにつ

5.1.2

Accuracy、Recall、Precision、F1 による評価結果を表

ベースラインモデルの設定

生成型要約のベースラインとして、本文から直2 に示す。F1 において、閾値が 0.2 と 0.3 の場合に接、抄録を生成するモデルを構築する。ベースモデスコアが高くなったため、以降ではこの 2 種類の閾ルは 5.1.1 節と同じ GPT-2 を用いる。本文を入力、値の結果を載せる。

抄録を正解として ﬁne-tuning する。本文、“要約:”、抽出型要約モデルによる抽出結果と正解抄録との抄録の 3 つの文字列を連結し、抄録部のみで損失計間における、ROUGE による評価結果を表 3 に示す。

算を行う。推論時は本文と “要約:” を入力し、続きまた、表 4 に各項目ごとの文数を示す。正解抄録やを生成することで抄録とする。

閾値が 0.3 の場合と比較して、閾値が 0.2 の場合は抽出される文数が多くなってしまい、ROUGE のス

5.1.3

コアも低いことが分かる。これらの結果から、言い評価指標

抽出型要約モデルの評価として、Accuracy、Recall、換えモデルの学習や End-to-End での推論には閾値がPrecision、F1 による評価と、表層一致ベースの評価0.3 のデータを用いることとした。

を行う。生成抄録の評価には、表層一致ベースの評価と、幻覚についての評価を行う。表層一致ベース

5.2.2の評価には、正解抄録との ROUGE-{1, 2, L} を計算

言い換えモデルの評価
言い換えモデル単体での評価結果を表 1 の上部に示す。推論時の入力は BLEU 抽出を使用する。

する。
幻覚の評価については GPT-4 に本文と抄録を入力

ﬁne-tuning 時の入力は 4.2 節で述べた 2 つの設定、すし、幻覚を含むかどうかを判定する。OpenAI API を

なわち BLEU 抽出と BigBird による抽出 (BigBird 抽

通じて gpt-4-turbo の Chain-of-Thought プロンプティ出) で比較する。

ング [11] により、幻覚があれば 1 を、なければ 0 を

BigBird 抽出で ﬁne-tuning したモデルでは、繰り返― 2133 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 5 幻覚の評価 (End-to-End)。提案手法横の括弧内には ﬁne-tuning に使用した抽出方法を示す。幻覚率は生成された抄録の 1 文あたりに幻覚が含まれる割合である。
モデル# 忠実 # 幻覚 # 繰り返し 平均文数 幻覚率 (%)
BigBird 抽出
2052506.3
1.71
提案手法 (BLEU)
53163
146.2
12.22
提案手法 (BigBird)
89117243.018.99
生成ベースライン
84131
153.318.32
表 6 提案手法 (学習:BLEU 抽出、抽出閾値:0.3) と生成型ベースラインの定性的な比較。太字で BigBird によって抽出された本文を示し、幻覚となっている部分をハイライトした。
本文
提案手法 (BLEU, 0.3)
ベースライン〜前略〜 今回，血便・便中カルプロテクチ 血便と便中のカルプロテクチンの 鮮血混じりの茶褐色便をほぼ毎日ン高値の精査目的に上下部消化管内視鏡検 高値を精査目的に受診した一例を 認め, 貧血の進行なく, 腹部症状や査を施行し，若年性ポリープの診断を得た 経験した。内視鏡検査で若年性ポ 発熱のない8 か月の男児の精査目一例を経験したので報告する．８か月前か リープを認めたため、切除術を的に, 全身麻酔下上下部消化管内らの血便を主訴に７か月前に当院小児科を 行った。若年性ポリープの炎症性 視鏡検査を施行した. 便中カルプ
紹介受診した．〜中略〜 術後３か月後の便 腸疾患の鑑別に、血便と便中のカ ロテクチンは 2300 μ g/g で, 炎症中カルプロテクチンは１４. ９μ９／ｇとルプロテクチンの高値も考慮する 性腸疾患の精査目的に全身麻酔下改善を認め，血便の症状なく経過してい必要がある。
上下部消化管内視鏡検査を施行しる．〜中略〜 【結語】血便・便中カルプロた. 上部消化管内視鏡検査では明テクチン高値に対して炎症性腸疾患を鑑別
らかな粘膜病変を認めず, 下部消に上下部消化管内視鏡検査を施行したが，化管内視鏡検査では横行結腸に若年性ポリープを認めＥＭＲをおこなっ2cm 大の有茎性ポリープを認めた．若年性ポリープの炎症細胞浸潤の病態た.EMR を施行した. 若年性ポが便中カルプロテクチン上昇に反映されるリープの診断であった. 術後 3 かことから，若年性ポリープも鑑別として挙月の便中カルプロテクチンは 14.9
げＥＭＲの準備も行うことが重要である．
μ g/g と改善を認めた.

しが多く ROUGE スコアも低くなっている。BigBirdる 2 設定)、生成ベースラインの結果をそれぞれ示

抽出には、抄録として必要ではない文が含まれる可す。ただし、4.3 節で言及したデータの差には留意能性がある。これらがノイズとなり、学習が難しくされたい。

なったと考えられる。

モデルによって出力する文数が異なるため、文あたりの幻覚率に着目すると、BLEU 抽出で ﬁne-tuning

5.2.3

End-to-End での評価

した提案手法が生成ベースラインよりもよい結果を

BigBird 抽出を言い換えモデルの推論時の入力とした End-to-End での要約を評価する。
表層一致ベースの評価得た。これは根拠付き生成型要約であることによる利点である。一方、BigBird 抽出で ﬁne-tuning した提まず、表層一致ベースの結果を表 1 の下部に示す。5.1.2 節で構築した生成型要約のベースラインの結果も含める。
5.2.2 節と同様に、BigBird 抽出を言い換えモデル

案手法はやや生成ベースラインより劣った。これは言い換えモデルの ﬁne-tuning 時に入力と正解抄録で参照する情報が異なるケースが多いためと考えられる。の ﬁne-tuning に使用したモデルは、繰り返しが多い。

表 6 に提案手法と生成ベースラインが生成した抄

Fine-tuning 時の入力と推論時の入力の性質が似てい録の例を示す。ベースラインでは本文に基づかないる方がよい結果を得られると考えたが、高品質な生成が見られるが、提案手法ではより忠実な生成がデータでの ﬁne-tuning がよりよい結果を得た。

多かった。

また ROUGE の指標では、生成ベースラインが提案手法を若干上回った。ただし、BLEU 抽出を言いおわりに6換えモデルの入力としたモデルと比較すると生成

本研究では日本語の科学技術論文を対象として、ベースラインが劣るため、ボトルネックは抽出型要抽出型要約と生成型要約を融合した根拠付きの生成約にあると考えられる。

型要約システムを構築した。実験の結果、生成型要幻覚の評価

表 5 に GPT-4 による幻覚の評価結果を示す。BigBird 抽出、提案手法 (学習データの異な約モデルと比較して幻覚の発生確率が下がることが明らかになった。

― 2134 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
本研究は国立研究開発法人科学技術振興機構「科[8]学技術文献の活用業務に係る自然言語処理研究および技術実証事業」の委託研究において行った。本研究に的確な助言を頂いた国立研究開発法人科学技術振興機構の鈴木慶二氏、菊井玄一郎氏に感謝する。

[9]

参考文献
[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob
Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser,and Illia Polosukhin. Attention is all you need. Advancesin neural information processing systems, Vol. 30, ,2017.
[2] Yen-Chun Chen and Mohit Bansal. Fast abstractive summarization with reinforce-selected sentence rewriting. In
Iryna Gurevych and Yusuke Miyao, editors, Proceedingsof the 56th ACL, pp. 675–686, Melbourne, Australia, July
2018. Association for Computational Linguistics.
[3] Wan-Ting Hsu, Chieh-Kai Lin, Ming-Ying Lee, Kerui Min,Jing Tang, and Min Sun. A uniﬁed model for extractive
and abstractive summarization using inconsistency loss. InIryna Gurevych and Yusuke Miyao, editors, Proceedingsof the 56th ACL, pp. 132–141, Melbourne, Australia, July
2018. Association for Computational Linguistics.
[4] Haoran Li, Arash Einolghozati, Srinivasan Iyer, Bhargavi Paranjape, Yashar Mehdad, Sonal Gupta, and Marjan
Ghazvininejad. EASE: Extractive-abstractive summarization end-to-end using the information bottleneck principle. In Giuseppe Carenini, Jackie Chi Kit Cheung, YueDong, Fei Liu, and Lu Wang, editors, Proceedings of theThird Workshop on New Frontiers in Summarization,
pp. 85–95, Online and in Dominican Republic, November
2021. Association for Computational Linguistics.
[5] Jonathan Pilault, Raymond Li, Sandeep Subramanian, andChris Pal. On extractive and abstractive neural document
summarization with transformer language models. In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the 2020 Conference on EMNLP,
pp. 9308–9319, Online, November 2020. Association for
Computational Linguistics.
[6] Zi-Yi Dou, Pengfei Liu, Hiroaki Hayashi, Zhengbao Jiang,and Graham Neubig. GSum: A general framework forguided neural abstractive summarization. In Kristina
Toutanova, Anna Rumshisky, Luke Zettlemoyer, Dilek
Hakkani-Tur, Iz Beltagy, Steven Bethard, Ryan Cotterell,Tanmoy Chakraborty, and Yichao Zhou, editors, Proceedings of the 2021 Conference of the NAACL-HLT, pp.
4830–4842, Online, June 2021. Association for Computational Linguistics.
[7] Fei Wang, Kaiqiang Song, Hongming Zhang, Lifeng Jin,
Sangwoo Cho, Wenlin Yao, Xiaoyang Wang, Muhao Chen,and Dong Yu. Salience allocation as guidance for abstractive summarization. In Yoav Goldberg, Zornitsa Kozareva,and Yue Zhang, editors, Proceedings of the 2022 Conference on EMNLP, pp. 6094–6106, Abu Dhabi, United

[10]

[11]

[12]

Arab Emirates, December 2022. Association for Computational Linguistics.
Yang Liu and Mirella Lapata. Text summarization withpretrained encoders. In Kentaro Inui, Jing Jiang, Vincent
Ng, and Xiaojun Wan, editors, Proceedings of the 2019
Conference on EMNLP-IJCNLP, pp. 3730–3740, HongKong, China, November 2019. Association for Computational Linguistics.
Manzil Zaheer, Guru Guruganesh, Kumar Avinava Dubey,Joshua Ainslie, Chris Alberti, Santiago Ontanon, PhilipPham, Anirudh Ravula, Qifan Wang, Li Yang, et al. Big
bird: Transformers for longer sequences. Advances inneural information processing systems, Vol. 33, pp.
17283–17297, 2020.
Alec Radford, Jeﬀrey Wu, Rewon Child, David Luan,Dario Amodei, Ilya Sutskever, et al. Language models areunsupervised multitask learners. OpenAI blog, Vol. 1,No. 8, p. 9, 2019.
Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten
Bosma, brian ichter, Fei Xia, Ed Chi, Quoc V Le, andDenny Zhou. Chain-of-thought prompting elicits reasoning in large language models. In S. Koyejo, S. Mohamed,
A. Agarwal, D. Belgrave, K. Cho, and A. Oh, editors, Advances in Neural Information Processing Systems,Vol. 35, pp. 24824–24837. Curran Associates, Inc., 2022.
Or Honovich, Roee Aharoni, Jonathan Herzig, Hagai
Taitelbaum, Doron Kukliansy, Vered Cohen, Thomas
Scialom, Idan Szpektor, Avinatan Hassidim, and Yossi
Matias. TRUE: Re-evaluating factual consistency evaluation. In Song Feng, Hui Wan, Caixia Yuan, and Han
Yu, editors, Proceedings of the Second DialDoc Workshop on Document-grounded Dialogue and Conversational Question Answering, pp. 161–175, Dublin,Ireland, May 2022. Association for Computational Linguistics.
[13] Alexander R. Fabbri, Wojciech Kryściński, Bryan McCann, Caiming Xiong, Richard Socher, and Dragomir
Radev. SummEval: Re-evaluating Summarization Evaluation. Transactions of the Association for Computational Linguistics, Vol. 9, pp. 391–409, 04 2021.

― 2135 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

ハイパーパラメータA

モデルの学習時に設定したハイパーパラメータを表 7 に示す。なお、言い換えモデルの推論では貪欲法を用いた。
表 7 モデルの学習時に設定したハイパーパラメータ
ハイパーパラメータ 抽出型要約モデル 言い換えモデル
Learning Rate
1e-52e-5
Epoch Num
10511
Batch Size

幻覚評価の詳細B

5.1.3 節で導入した、GPT-4 による幻覚評価の詳細を述べる。

B.1

幻覚評価の手法

GPT-4 を使用した zero-shot Chain-of-Thought により、生成された抄録に幻覚が含まれるかを判定する。使用したチェックポイントは “gpt-4-1106-preview” である。
まず図 2(a) のように本文と抄録を提示し、幻覚が含まれるか記述する。“source” と “target” にそれぞれ本文と生成された抄録を代入する。次にプロンプト 1 とそれに対する GPT-4 の出力に加えて、図 2(b) のプロンプ
ト 2 を入力することで 2 値の評価を得る。
[要約] に含まれる情報が [本文] と矛盾しないか判断してください。もし[要約] が [本文] に基づいていない箇所を含む場合、その [要約] の部分と判断材料となった [本文] の該当箇所を示して理由を説明してください。***ただし、[本文] に含まれるすべての事実が [要約] で言及される必要はありません。***[本文]{source}

以上の情報を踏まえて、[要約] に含まれる情報が [本文] と矛盾しているか判断してください。矛盾している
場合は 1 を、矛盾していない場合は0 を出力してください。数字のみを出力してください。理由などは必要ありません。
(b) プロンプト 2[要約]{target}(a) プロンプト 1

図2

B.2

幻覚評価に使用したプロンプト

幻覚評価の性能

この評価の性能を検証するため、TRUE [12] で 2 値化された SummEval [13] でテストを行う。新聞記事とモデルの出力した要約に対して、幻覚が含まれていないか人手でアノテーションされたデータである。このデータに対して B.1 節の手法で評価した結果を表 8 に示す。
表8

ラベル付き要約データでの幻覚評価器の評価結果

Accuracy Recall Precision
0.720

0.790

0.693

― 2136 ―F10.738

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).