科学論文中の同じ貢献を説明しているイントロダクションの文と本文のパラグラフを判定するためのデータセット

accuracyasfullﬁne-tuning,andsometimesevenimproves論文読解は機械学習モデルによって論文の内容results.”に対しては3ページ目の“Onvalidationset,を読み解くタスクである．従来の論文読解の研究BitFitoutperforms...”というパラグラフがこの貢献をは論文の構造理解[1]，論文の内容についての質問説明している文に対応するパラグラフとなる[7]．応答[2]，論文に含まれるエンティティの関係抽よってこの例の場合，機械学習モデルは“4.For出[3,4]，論文中の問題-解決方法認識[5]といったsmall...”というイントロダクションの文と“Onタスクを扱ってきた．valdationset...”という本文のパラグラフが同じ貢献本研究では論文中の同じ貢献を説明しているイであると判定する必要がある．ントロダクションの文と本文のパラグラフを判定このタスクのためのデータセットを構築するためするという新しいタスクを提案する．ここで論文のには，論文のテキストデータに対して(1)イントロ貢献を説明している文とは新しい手法の提案や新ダクション中の貢献を説明している文の選択(2)イしい実験結果の発見など，その論文の新規性や有効ントロダクション中の貢献を説明している文に対性を表す文のことを意味する．また本文のパラグ応するパラグラフの選択，という二段階のアノテー―1852―.ションが必要となる．しかし論文読解は高い専門性を必要とするタスクであり，両方のアノテーションを人手で行うことは大きなコストがかかる．そこで本研究ではイントロダクション中の貢献を説明している文の選択はGPT-4[8]を用いて自動で行うことでアノテーターの負担を約70%軽減した．111本の自然言語処理分野の論文についてアノテーションを行い，717本のイントロダクションの貢献を説明している文と本文のパラグラフのペアを収集した．本論文では，イントロダクションの貢献を説明している文をクエリ，本文のパラグラフをキーとみなし，それぞれをembeddingに変換してパラグラフ検索を行うタスクとしてエンコーダーモデルを学習させた．エンコーダーモデルとしてはBERT[9]ベースのモデルを用い，モデルの学習にはイントロダクションの貢献を説明している文と対応する本文のパラグラフのペアを正例，イントロダクションの文と対応していない本文のパラグラフのペアを負例とみなすsupervisedcontrastivelearning[10]を用いた．様々なBERTベースモデルを比較した実験結果より，科学ドメインデータで事前学習を行ったモデル[11]が最も高い精度で正しいパラグラフを選択できることが判明した．