科学技術論文を対象とした根拠付き生成型要約システムの構築

自動要約の手法は、原文から重要とされる文を取り出す抽出型要約と、原文を入力して要約を生成させる生成型要約の2種類に大きく分けられる。抽出型要約は誤った情報が含まれないという長所があるが、抽出された要約が文章として不自然であるという欠点がある。一方で生成型要約においては、自然な文章を生成することが可能になるという長所があるが、生成された要約が原文の内容に忠実か保証されないという欠点が存在する。このような原文に基づいていない、捏造された文章が生成される事象は幻覚(Hallucination)と呼ばれる。本研究ではこれらの欠点を克服するため、図1に示すような、2つの手法を組み合わせた根拠付き生成型要約システムを構築する。具体的には、原文から抽出型要約を作成し、それを大規模言語モデルによって言い換えることによって要約を生成するという2つのステップを踏む。本手法では、抽出型要約によって原文から抽出された文が生成された要約の根拠となり、言い換えによって自然な文章を生成することが可能となる。日本語の科学技術論文を対象として実験を行い、根拠となる文を示した上で生成型要約モデルと同等の精度を出すことが可能であることを示した。また、GPT-4を用いて幻覚についての評価を行った結果、生成型要約モデルと比較して幻覚が発生しづらくなるということも明らかになった。