抽象型要約生成モデルの出力する要約には、要約元となる原文書に記述される事実とは異なる内容が出力されることがある。本研究では強化学習の報酬を要約の原文書に対する抽出性とし、それを向上させることで、要約生成モデルが出力する要約の忠実性向上に取り組んだ。抽象型要約のタスクで使用されることが多いxsumデータセットを用いた実験の結果、出力された要約の抽出性が向上し、忠実性に対する自動評価尺度であるFEQAのスコアと原文書に対する含意が改善されることが確認された。

近年、事前学習済み系列変換モデルに対してﬁne-tuneすることで、要約生成モデルの出力する抽象型要約の精度は大きく向上し、流暢な要約生成が可能となった[1,2]。一方、要約生成モデルの出力する要約に、要約元となる原文書には存在しない、異なる事実を含んでしまう問題が指摘されている[3]。この問題点は要約生成をアプリケーションとして使用する上では深刻であり、例えば、ニュース記事の要約が事実とは反する誤りを含む場合、誤情報を拡散する可能性があり、対処が必要である。この深刻な問題を解決するために、先行研究では、要約生成モデルの出力する要約の事実性を向上させる様々な研究がされてきた。抽象型要約において、事実と異なる要約が生成される原因の一つとして、原文書には存在しない単語や意味関係が出現する問題（hallucination）が指摘されている[4]。これは、原文書に対して忠実ではない要約を生成することが事実とは異なる要約を生成する要因となり得るという考えである。また、学習を行うデータセット自体に忠実性を低下させる問題があるとの指摘もなされている。主原文書SirBrucehostedStrictly....recoverintimetoco-hostStrictly´sChildrenInNeedspecial....ActorsJennyAgutter,LauraMain,StephenMc-GannandJackAshtonwillcompeteintheone-oﬀcontestaspartofBBCOne´sChildrenInNeedtelethon.....要約FormerStrictlyComeDancinghostSirBruceForsythistoreturntotheBBCforaone-oﬀspecial.流な要約タスクのデータセットであるxsumデータセット[5]において、正解となる要約中に多くのhallucinationを含むことが指摘されている[4,6]。従って、このようなデータセットを用いて学習された要約生成モデルは忠実ではない要約を生成する可能性がある。上記で指摘されている問題点を考慮すると、抽象型要約における忠実性を向上させるためには、出力すべき要約をデータセットのみに基づいて学習しないような方法が求められる。これらの背景を踏まえ、本研究では強化学習を通じて要約生成モデルの忠実性を向上させるための手法を提案する。強化学習では報酬に基づいた学習が行われるため、学習データのみに制約されることなく、与えられた報酬に沿う要約を学習することが可能である。また、強化学習の報酬として、我々は生成された要約の原文書に対する抽出性に着目した。抽象型要約は、原文書に存在する文や表現を抜き出す（抽出する）のではなく、系列変換モデルのデコーダでトークン単位での生成を行うことで要約を出力している。これにより抽象型要約モデルは流暢な要約生成が可能である一方、その柔軟な表現力により原文書に存在しない文字列を出力することでhallucinationを引き起こす可能性がある。.被覆率を報酬とした強化学習参照要約要約生成モデル最尤推定に強化学習による損失よる損失原文書抽出性への着目は、系列変換モデルの出力の抽出性を向上させることで、原文書の内容に沿う要約を生成しやすくなることでhallucinationを低減させ、結果として要約の忠実性が向上するのではないかという考えに基づく。またこの方法は、参照要約ではなく原文書に対しての抽出性を向上させるため、参照要約に含まれるhallucinationの影響を低減させることも期待できる。さらに抽出性の計算は後述するようにモデルでの予測を必要とせず軽量であるため、強化学習の報酬としても適している。上記を実現するため、要約生成モデルから出力される要約がどの程度、要約元の原文書と一致しているかをサブワード単位のn-gramで算出し、その一致率（以下、被覆率）[7]を強化学習の手法であるSelf-criticalSequenceTraining(SCST)[8]の報酬としてﬁne-tune済みの要約生成モデルに対して学習を行った。抽象型要約タスクで頻繁に使用されるxsumデータセットを用いた実験の結果、提案手法は最尤推定に基づく損失関数でﬁne-tuneされたベースラインと比較し、正解の要約との一致を測る要約の評価指標であるROUGEは低下したものの、忠実性に対する評価指標であるFEQAと原文書に対する含意の向上が確かめられた。