サーベイ論文自動生成に向けた大規模ベンチマークデータセットの構築

科学論文ドメインの文書要約において、サーベイ論文の自動生成は最も重要な課題の一つである。サーベイ論文は、研究者によって過去の研究成果を調査するために執筆される、複数の論文の要約である[1]。サーベイ論文の自動生成が実現すれば、研究者がこれまでサーベイ論文がなかった分野へ進出する際の大きな一助となる。しかし、これまでにサーベイ論文生成に取り組んだ研究はごく少数である。例えば、Taylorら[2]は科学論文で学習を行った大規模言語モデルであるGALACTICAを用いて、サーベイ論文を自動生成するデモンストレーションを公開したが、内容の正確性について批判が寄せられ、数日中に公開が中止された[3]。サーベイ論文生成タスクに利用可能な大規模データセットの不在が、教師あり要約モデルの同タスクへの適用を困難にし、サーベイ論文自動生成の障壁となっている。本研究は、10,269本の論文からなるサーベイ論文LiteraturereviewTitlesTitle:-------------.======================Chaptertle:----------------.Literaturereviewtle:-------------.Chaptertle:----------------.InputpaperBInputpaperA----------------------------------------------------.[A]proposed-----------------------------------.Ontheotherhand,[B]--------------------------------------------------------------------------------------------------.Abstract----------------------------------------------.Introducon---------.…Abstract----------------------------------------------.Introducon---------.…自動生成タスクのための大規模データセットを公開し、サーベイ論文生成の研究を開拓する。図1にタスクの概要を示す。本研究では、サーベイ論文の章分けと各章で引用される論文が与えられた時に、章ごとにそれらの論文を要約するタスクに取り組む。実際のサーベイ論文執筆では、引用する論文を選定し、章構成を決定するというプロセスが必要だが、本研究はそれらのプロセスはスコープ外とし、章ごとに複数の論文を要約するプロセスに焦点を当ててサーベイ論文生成タスクの実験を行った。さらに、既存のTransformerベースの要約モデルを拡張することで、タイトルや章タイトルを要約のクエリとした複数文書要約としてサーベイ論文を生成するモデルを提案する。提案手法の生成文章に対して詳細な人手評価を行い、サーベイ論文の完全な自動生成に向けた今後の課題について議論する。