根拠に基づいたレビュー生成のためのLLMを用いた自動アノテーションの検討

したレビューをすべて学習データとして使用する国際会議やプレプリントサーバーに投稿される論ことが一般的であるが，実際には人間が記述した文の数は年々増加しており，特に査読者にかかる負レビューの中にも論文の内容を正確に反映してい担の増加は研究コミュニティにとって重大な課題とないものが含まれている[4]．こうした質の低いレなっている[1]．この問題を解決する一つの手段とビューを学習データから取り除く方法として，メタして，LLMを使用して論文レビューを自動で生成レビューに同様の内容が記述されているレビューすることが考えられる．LLMを使用したレビュー文のみを学習データとして使用することが考えら生成は盛んに研究されているものの[2,3]，多くのれる．メタレビュアーは通常レビュアーよりも経験国際会議ではLLMのみを使用して自動でレビュー豊富な研究者が務めることが多く，また複数のレを生成することは禁止している1）．これは現在のビューを踏まえてメタレビューを記述するため，メLLMは人間のレビュアーと比較して対象論文の欠タレビューにも同様の内容が含まれるレビュー文は点について指摘することが難しく，また事実と異な論文の内容を正確に反映している可能性が高い．るレビューを生成することがあるためである[2,4]．こうした科学論文を対象としたアノテーションしかし，LLMが人間のレビュアー以上に正確なレには高度な専門知識が必要であり，データセットをビューを生成できるようになれば，レビュアーの負作成するコストが高いため，人手で大規模なデータ担が軽減されるだけでなく，論文の著者も不正確なセットを作成することが難しい．この問題に対処すレビューに対応する手間が軽減されるため，研究サるため，本研究ではレビューと論文の結びつきや論イクルがより円滑になると予想される．文の内容を正確に反映したレビュー文をLLMを用いて自動でアノテーションすることを検討した．具1）https://aclrollingreview.org/reviewerguidelines#q-can-i-use-generative-ai―2562―.体的には，レビューと論文の結びつきについてはLLMにレビュー文と論文本文のペアを与え，与えられたレビュー文が論文のどのセクションに基づいているかを予測させた．また論文の内容を正確に反映したレビュー文の選択については，LLMにレビューとメタレビューのペアを与え，メタレビューと同様の内容を含むレビュー文を選択させた．実験結果より，現在のLLMによるレビュー文と論文の結びつきの予測は約66%のaccuracyであり，このタスクについてLLMをある程度自動アノテーションに活用できることが判明した．一方，LLMによる正確なレビュー文の選択については90%以上のprecisionとなっており，このタスクについてはLLMを高い精度で自動アノテーションに活用できることが判明した．