ラフを意味する．従来の論文の貢献に着目したタ本研究では論文中の同じ貢献を説明しているインスク[6]は貢献を表す文の抽出や貢献を説明していトロダクションの文と本文のパラグラフを判定するる文に基づく研究概要の知識グラフの構築を取りという新しいタスクを提案する．よく書かれた科学扱ってきた．これに対して本研究で提案するタスク論文はイントロダクション中で示された貢献についは論文の中で同じ貢献を表す文とパラグラフを結て，以降の本文において詳細に説明している．しかびつけることをねらう．よく書かれた科学論文はし初学者や専門外の論文を読む研究者にとって，イデータセットの収集，タスクの定義，提案手法や実ントロダクション中で示された貢献と本文の対応を験結果といったそのイントロダクションで述べら把握することは難しい．機械学習モデルがこうしたれた貢献の具体的な内容がそれ以降の本文においイントロダクションと本文の対応をハイライトするて正確かつ詳細に説明されている．しかしよく書かことで，人間の論文読解の助けになることが期待された論文であっても，経験が浅い学生や専門外の論れる．提案するタスクのために，本研究では自動ア文を読む研究者にとって，その論文のイントロダノテーションと人手アノテーションを組み合わせてクションに書かれた貢献と本文との対応を正確にデータセットを収集した．収集したデータセットを把握することは難しい．もし機械学習モデルが論用いて構築したエンコーダーモデルをパラグラフ文のイントロダクション中で貢献を説明している検索タスクにおいて評価したところ，科学ドメイン文と本文との対応をハイライトすることができれデータで事前学習されたモデルが最も性能が高く，ば，こうした初学者の論文読解の大きな助けにな38%の精度でイントロダクション中の貢献を説明すると考えられる．図1に本研究で提案するタスクる文に対応する本文のパラグラフを選択できることの概要を示す．ここでイントロダクション中の貢がわかった．献を説明している文“4.Forsmalltomediumtrainingdata,changingonlytheseparametersreachesthesametask

accuracyasfullﬁne-tuning,andsometimesevenimproves論文読解は機械学習モデルによって論文の内容results.”に対しては3ページ目の“Onvalidationset,を読み解くタスクである．従来の論文読解の研究BitFitoutperforms...”というパラグラフがこの貢献をは論文の構造理解[1]，論文の内容についての質問説明している文に対応するパラグラフとなる[7]．応答[2]，論文に含まれるエンティティの関係抽よってこの例の場合，機械学習モデルは“4.For出[3,4]，論文中の問題-解決方法認識[5]といったsmall...”というイントロダクションの文と“Onタスクを扱ってきた．valdationset...”という本文のパラグラフが同じ貢献本研究では論文中の同じ貢献を説明しているイであると判定する必要がある．ントロダクションの文と本文のパラグラフを判定このタスクのためのデータセットを構築するためするという新しいタスクを提案する．ここで論文のには，論文のテキストデータに対して(1)イントロ貢献を説明している文とは新しい手法の提案や新ダクション中の貢献を説明している文の選択(2)イしい実験結果の発見など，その論文の新規性や有効ントロダクション中の貢献を説明している文に対性を表す文のことを意味する．また本文のパラグ応するパラグラフの選択，という二段階のアノテー―1852―.ションが必要となる．しかし論文読解は高い専門性を必要とするタスクであり，両方のアノテーションを人手で行うことは大きなコストがかかる．そこで本研究ではイントロダクション中の貢献を説明している文の選択はGPT-4[8]を用いて自動で行うことでアノテーターの負担を約70%軽減した．111本の自然言語処理分野の論文についてアノテーションを行い，717本のイントロダクションの貢献を説明している文と本文のパラグラフのペアを収集した．本論文では，イントロダクションの貢献を説明している文をクエリ，本文のパラグラフをキーとみなし，それぞれをembeddingに変換してパラグラフ検索を行うタスクとしてエンコーダーモデルを学習させた．エンコーダーモデルとしてはBERT[9]ベースのモデルを用い，モデルの学習にはイントロダクションの貢献を説明している文と対応する本文のパラグラフのペアを正例，イントロダクションの文と対応していない本文のパラグラフのペアを負例とみなすsupervisedcontrastivelearning[10]を用いた．様々なBERTベースモデルを比較した実験結果より，科学ドメインデータで事前学習を行ったモデル[11]が最も高い精度で正しいパラグラフを選択できることが判明した．