大規模言語モデルを用いた関連研究セクション生成

科学論文は年々増加傾向にあり，自分の研究に関連する論文をすべて網羅して研究を遂行したり，論文執筆を行ったりすることが困難になりつつある．自然言語処理技術などの情報処理技術を利用した研究遂行支援や論文執筆支援への期待は以前よりも高まっている．論文執筆支援に関してはNarimatsuら[1]がいくつかの部分タスクに分け，各部分タスクの定義をおこなっている．本研究では，その1タスクである「関連研究セクション自動生成タスク」について取り上げる．このタスクは，引用予定の参考文献情報を入力として，執筆予定の論文における「関連研究(Relatedworks)セクション」の文章を自動作成するタスクである．関連研究セクションの自動作成手法としては，大規模言語モデル（LLM）を用いた手法がある[2,3]．しかし，これまでLLMに入力可能なトークン数には大きさの制限があり，与えられた1つの参考文献の引用を含んだ文（引用文）を生成する研究が多く，関連研究セクション全体を生成させ，セクション全体として生成された文章に対して結束性などの文章品質の評価を行ったものはほとんどなかった．自然言語生成の研究における生成文章の評価については，人手評価によるコストを避けるため，ROUGEやBLEUといった参照正解文との単語n-gramを基本とした自動評価指標が広く用いられている[4]．一方，これらの単語n-gramを基本とした自動評価指標については，その限界も指摘されている．ReiterとBelz[5]は，ROUGEやBLEUなどの自動評価指標が，必ずしも文章全体の品質を評価したものにはなっていないことを明らかにしている．また，Stentら[6]もこれらの自動評価指標では，文章の流暢性を正しく評価できないと主張している．一方，Liuら[7]は，大規模言語モデルの一つであるGPTを利用して文章品質を評価するG-EVALと呼ばれる評価手法を提案している．G-EVALを用いて，要約タスクや対話生成タスクにおける文章生成結果を評価したところ，結束性，一貫性，流暢性，関連性などの様々な観点による評価に関して，ROUGEやBLEUといった既存の自動評価指標と比較して，人手評価との相関が高いことを示されている．そこで本研究では，入力トークン数の上限が上がった最新のLLMを用いて，関連研究セクション全体の文章を自動生成するとともに，G-EVALによる生成文章の評価を行い，関連研究セクション文章生成タスクにおけるLLM利用の有効性について，評価・分析を行う．