言語処理学会 第30回年次大会 発表論文集（2024年3月）

科学論文中の同じ貢献を説明しているイントロダクションの文と本文のパラグラフを判定するためのデータセット
田中翔平 1 牛久祥孝 1
1 オムロンサイニックエックス株式会社{shohei.tanaka, yoshitaka.ushiku}@sinicx.com

概要
本研究では論文中の同じ貢献を説明しているイントロダクションの文と本文のパラグラフを判定するという新しいタスクを提案する．よく書かれた科学論文はイントロダクション中で示された貢献について，以降の本文において詳細に説明している．しかし初学者や専門外の論文を読む研究者にとって，イントロダクション中で示された貢献と本文の対応を把握することは難しい．機械学習モデルがこうしたイントロダクションと本文の対応をハイライトすることで，人間の論文読解の助けになることが期待される．提案するタスクのために，本研究では自動アノテーションと人手アノテーションを組み合わせてデータセットを収集した．収集したデータセットを用いて構築したエンコーダーモデルをパラグラフ検索タスクにおいて評価したところ，科学ドメインデータで事前学習されたモデルが最も性能が高く，38%の精度でイントロダクション中の貢献を説明する文に対応する本文のパラグラフを選択できることがわかった．

1

はじめに

論文読解は機械学習モデルによって論文の内容を読み解くタスクである．従来の論文読解の研究
は論文の構造理解 [1]，論文の内容についての質問
応答 [2]，論文に 含まれるエ ンティティの 関係抽
出 [3, 4]，論文中の問題-解決方法認識 [5] といったタスクを扱ってきた．
本研究では論文中の同じ貢献を説明しているイントロダクションの文と本文のパラグラフを判定するという新しいタスクを提案する．ここで論文の貢献を説明している文とは新しい手法の提案や新しい実験結果の発見など，その論文の新規性や有効性を表す文のことを意味する．また本文のパラグラフはイントロダクション以降のすべてのパラグラフを意味する．従来の論文の貢献に着目したタスク [6] は貢献を表す文の抽出や貢献を説明している文に基づく研究概要の知識グラフの構築を取り扱ってきた．これに対して本研究で提案するタスク
は論文の中で同じ貢献を表す文とパラグラフを結びつけることをねらう．よく書かれた科学論文はデータセットの収集，タスクの定義，提案手法や実験結果といったそのイントロダクションで述べられた貢献の具体的な内容がそれ以降の本文において正確かつ詳細に説明されている．しかしよく書かれた論文であっても，経験が浅い学生や専門外の論文を読む研究者にとって，その論文のイントロダクションに書かれた貢献と本文との対応を正確に把握することは難しい．もし機械学習モデルが論文のイントロダクション中で貢献を説明している文と本文との対応をハイライトすることができれば，こうした初学者の論文読解の大きな助けになると考えられる．図 1 に本研究で提案するタスクの概要を示す．ここでイントロダクション中の貢献を説明している文 “4. For small to medium training
data, changing only these parameters reaches the same task
accuracy as full ﬁne-tuning, and sometimes even improvesresults.” に対しては 3 ページ目の “On validation set,BitFit outperforms...” というパラグラフがこの貢献を説明している文に対応するパラグラフとなる [7]．
よ っ て こ の 例 の 場 合，機 械 学 習 モ デ ル は “4. Forsmall...” と い う イ ン ト ロ ダ ク シ ョ ン の 文 と “Onvaldation set...” という本文のパラグラフが同じ貢献であると判定する必要がある．
このタスクのためのデータセットを構築するためには，論文のテキストデータに対して (1) イントロ
ダクション中の貢献を説明している文の選択 (2) イ
ントロダクション中の貢献を説明している文に対応するパラグラフの選択，という二段階のアノテー― 1852 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

図1

Ben-Zaken ら [7] の論文における同じ貢献を説明しているイントロダクションの文と本文のパラグラフの例

ションが必要となる．しかし論文読解は高い専門性ション付きデータセットを構築するためには，(1)を必要とするタスクであり，両方のアノテーションイントロダクション中の貢献を説明している文の選を人手で行うことは大きなコストがかかる．そこで
本研究ではイントロダクション中の貢献を説明して択 (2) イントロダクションの貢献を説明している文に対応する本文のパラグラフの選択，という二段階いる文の選択は GPT-4 [8] を用いて自動で行うことのアノテーションが必要となる．しかし科学論文をでアノテーターの負担を約 70%軽減した．111 本の読解しアノテーションを行うことは高い専門性を必自然言語処理分野の論文についてアノテーションを要とするタスクであり，両方のアノテーションを人行い，717 本のイントロダクションの貢献を説明し手で行うことはコストが大きい．そこで本研究ではている文と本文のパラグラフのペアを収集した．

イントロダクション中の貢献を説明している文の選

本論文では，イントロダクションの貢献を説明し択に GPT-4 [8] を用いて自動アノテーションを行っている文をクエリ，本文のパラグラフをキーとみなた．そして自動アノテーションで貢献を説明していし，それぞれを embedding に変換してパラグラフ検る文だと判定された文に対応する本文のパラグラ索を行うタスクとしてエンコーダーモデルを学習さフを人手で選択した．本研究で収集したデータセッせた．エンコーダーモデルとしては BERT [9] ベー

トでは，イントロダクション中の貢献を説明していスのモデルを用い，モデルの学習にはイントロダクる文と対応する本文のパラグラフのペアが一サンションの貢献を説明している文と対応する本文のプルとして扱われる．論文は複数の貢献を含むことパラグラフのペアを正例，イントロダクションの文と対応していない本文のパラグラフのペアを負もあるため，同じ論文に対して複数のイントロダクション中の貢献を説明している文が存在することも例とみなす supervised contrastive learning [10] を用いある．なお，イントロダクション中の貢献を説明した．様々な BERT ベースモデルを比較した実験結果ている文は自動アノテーションで選択されているより，科学ドメインデータで事前学習を行ったモデため，実際には貢献を説明していない文が選択され

ル [11] が最も高い精度で正しいパラグラフを選択でている可能性がある．また論文 PDF も自動で XMLきることが判明した．

データに変換されているため，本文のパラグラフが2正しく抽出されていない可能性がある．よってイン

データセット収集

トロダクションの貢献を説明している文に対応する

本章では提案するタスクのためのデータセットを

本文のパラグラフを選択する際には，こうした自動収集する方法，および収集したデータセットの統計アノテーションの結果が正しいかも同時に判定する情報について述べる．

必要がある．

まず ACL 2023 [12] のメインカンファレンスの論

このアノテーションのために自然言語処理分野の文 PDF をダウンロードし，GROBID [1] を用いて論研究室に所属する 4 人の大学院生を雇用した．アノ
テーターは以下の作業手順に従ってアノテーション

文 PDF を論文の章やパラグラフの構造情報も含んだ XML データへと変換した．この XML データを用いて本研究が提案するタスクのためのアノテーを行った．
Step 1:論文 PDF のイントロダクションを読む― 1853 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

Step 2:アノテーション画面に表示されている，論文の貢献を説明しているイントロダクション中の文を読む
Step 3:表示されている文がイントロダクション中の貢献を説明している文かを判定する(1)イントロダクション中の貢献を説明してい論文数
アノテーションサンプル数
Free-marginal multirater kappa
貢献を説明しているイントロダクションの文が表示されていた数対応するパラグラフが画面に表示されていた数得られたサンプル数

720/782 (92.07%)717

表 1 収集したデータセットの統計情報

る文でない場合は次のアノテーションサンプルへと移行する

111
1,006
0.43
782/1006 (77.73%)(77.73%) であった．すなわち GPT-4 によるイントロ(2)イントロダクション中の貢献を説明している文の場合は Step 4 へ進む

ダクション中の貢献を説明している文の選択の精度は 77.73% であった．また貢献を説明している文にStep 4:イントロダクション以降の本文をどこに何が書いてあるかわかる程度にざっと読む

対応する本文のパラグラフが表示されたサンプルは720 本 (92.07%) であった．残された 720 本のうち，Step 5:イントロダクション中の貢献を説明している文に対応する本文のパラグラフがアノテーション画面に表示されているかを判定する(1)本文のパラグラフが表示されていない場
合は次のアノテーションサンプルへと移行する

アノテーターの過半数がイントロダクション中の貢献を説明している文が含まれていない，または対応する本文のパラグラフが表示されていないと判定した 3 本のサンプルを取り除いた．結果的に 717 本のイントロダクション中の貢献を説明している文と対応する本文のパラグラフのペアが得られた．

(2)本文のパラグラフが表示されている場合はStep 6 へ進む

図 2 にイントロダクション中の貢献を説明している文と対応する本文のパラグラフの位置についてのStep 6:イントロダクション中の貢献を説明している文に対応する本文のパラグラフを選択する

ヒートマップを示す．イントロダクション中の文の数や本文のパラグラフの数は論文によって異なるた

ここで Step 3, 5 は GPT-4 による自動アノテーショ

め，それぞれの位置は 5 パーセント刻みの百分率でンと GROBID の構造解析の結果に対する判定であ表現されている．まずイントロダクション中の貢献る．また Step 6 において，イントロダクション中のを説明している文の位置に着目すると，貢献を説明貢献を説明している文に対応する本文のパラグラフしている文はイントロダクションの後半に多く出現が複数存在する場合，アノテーターは最初に対応すしていることがわかる．これはイントロダクションるパラグラフを選択する．
収集したデータセットの統計情報を表 1 に示の前半では先行研究やその論文が取り扱う問題の背す．本研究では 111 本の論文に含まれる，GPT-4 によってイントロダクション中の貢献を説明してイントロダクション中の貢献を説明している文に対応する本文のパラグラフは本文全体の前方 80%以いる文だと判定された 1,006 文に対してアノテー内に含まれることが多いことがわかる．これは後方ションを行った．111 本の論文に含まれるイント20%には conclusion や appendix といった本文ですでロダクション中のすべての文の数は 2,996 文であに述べられた貢献に再度言及している章や補足情報る．よってイントロダクション中の貢献を説明しを説明する章が含まれるからだと考えられる．ている文の選択について，アノテーターの負担は約 70% (1-1,006/2,996) 軽減されたとみなすことがで景を説明することが多いからだと考えられる．またエンコーダーモデル3

きる．111 本中 7 本の論文については agreement を本研究では提案するタスクを解くために，イン計算するためにアノテーター全員でアノテーショトロダクション中の貢献を説明する文をクエリ，ンを行った．7 本の論文に対するアノテーションの本文のパラグラフをキーとみなし paragprah retrieval

Free-marginal multirater kappa [13] は 0.43 であり，こを 行 う エ ン コ ー ダ ー モ デ ル を 学 習 さ せ る．エ ン

れは moderate agreement である．GPT-4 によってイコ ー ダ ー モ デ ル を 学 習 さ せ る 方 法 と し て，本 研

ントロダクション中の貢献を説明している文だと判定された文のうち，アノテーターによって実際に究では supervised contrastive learning [10] を用いた．
Contrastive learning [14] は同じ意味を持つ embedding

貢献を説明している文だと判定された文は 782 文のペアである正例よりも違う意味を持つ embedding― 1854 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

モデル
BERT
SciBERT
RoBERTaALBERT
DistilBERTDeBERTa

hit@1 (%)
25.93(±1.53)
38.47(±0.78)
25.08(±2.25)
26.44(±1.73)
24.07(±1.83)
5.42(±1.27)

hit@5 (%)
56.10(±1.77)
70.85(±1.27)
62.37(±1.83)
46.61(±2.04)
55.93(±2.27)
23.05(±1.89)

表 2 10 回の試行における平均性能．太字と下線 はそれ
ぞれ 1 位，2 位のスコアを示す．

図 2 イントロダクションの文と本文のパラグラフの位置のヒートマップのペアである負例のスコアが低くなるようにモデルを学習させる．提案するタスクにおいて，正例はイントロダクション中の貢献を説明する文と対応する本文のパラグラフのペアである．また負例はイ

図 3 正しいパラグラフと誤って選択されたパラグラフの位置の差

ントロダクション中の貢献を説明する文と対応し

図 3 に SciBERT が誤って選択したパラグラフとない本文のパラグラフのペアである．本研究にお正解のパラグラフの位置の差の頻度をヒストグラ

ける supervised contrastive learning の詳細を付録 A にムで示す．図 2 と同じく位置は論文における 5 パー示す．

セント刻みの百分率で表現されている．またヒスト

4グラムは合計が 1 になるように正規化されている．

実験

誤って選択したパラグラフの方が後ろにある場合は

エ ン コ ー ダ ー モ デ ル と し て BERT [9],位置の差は正となり，前にある場合は負となる．図SciBERT [11], RoBERTa [15], ALBERT [16], Distil-を見ると，正解のパラグラフよりも後ろに位置する

BERT [16], DeBERTa [17] と い っ た BERT の 派 生

パラグラフを誤って選択する傾向があることがわか形モデルを用いた．エンコーダーモデルが出力する

る．これは提案するタスクがイントロダクション中embedding として，最終層の hidden states の平均ベクの貢献を説明する文に対応する本文の最初のパラグトルを用いた．

ラフを選択するタスクであり，そのパラグラフ以降

評 価 指 標 と し て，hit@k (k = 1 or 5) を 用 い た．
hit@k は，イントロダクション中の貢献を説明する文に対応する本文のパラグラフがエンコーダーモデ
ルが貢献を説明する文と類似度が高いと判定した上でより意味的に近い具体的な内容を説明している場合があるためだと考えられる．

おわりに5

位 k 位以内のパラグラフに含まれている割合であ

本研究では論文中の同じ貢献を説明しているインる．hit@1 は precision に等しい．アノテーションした 111 本の論文のうちランダムに選択した 10 本ず

トロダクションの文と本文のパラグラフを判定す

つを検証データ，テストデータとして用い，残りのくモデルを実装するために，自然言語処理分野の論91 本の論文を学習データとして用いた．実験に用

文 111 本を含むデータセットを構築した．このデーいる各モデルのパラメータは，検証データにおけるタセット収集の際には，GPT-4 による自動アノテー損失関数の値が最小のものを使用した．実験はモデションを活用することでアノテーターの負担を約ルごとに 10 回試行した．

70%軽減した．収集したデータセットを用いて，イるという新しいタスクを提案した．このタスクを解

各エンコーダーモデルの評価結果を表 2 に示す．

ントロダクション中の貢献を説明する文をクエリ，SciBERT が hit@1 (precision), hit@5 ともに最も高い

本文のパラグラフをキーとみなすエンコーダーモデ性能を示していることがわかる．これは SciBERTが科学ドメインのデータという，本研究で取り扱うルを構築した．実験結果より，科学ドメインデータで事前学習を行った SciBERT が最も高い性能を示

論文データに最も近いデータで事前学習されているすことがわかった．

ためだと考えられる．

― 1855 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
本研究は，JST【ムーンショット型研究開発事業】【JPMJMS2236】の支援を受けたものです．

[10] Prannay Khosla, Piotr Teterwak, Chen Wang, Aaron Sarna,
Yonglong Tian, Phillip Isola, Aaron Maschinot, Ce Liu,and Dilip Krishnan. Supervised contrastive learning, 2021.
[11] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientiﬁc text. In Proceedingsof the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International
Joint Conference on Natural Language Processing(EMNLP-IJCNLP), pp. 3615–3620, Hong Kong, China,

参考文献[1] Grobid.
https://github.com/kermitt2/grobid,2008–2023.
[2] Federico Ruggeri, Mohsen Mesgar, and Iryna Gurevych. A
dataset of argumentative dialogues on scientiﬁc papers. In
Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1:Long Papers), pp. 7684–7699, Toronto, Canada, July2023. Association for Computational Linguistics.
[3] Isabelle Augenstein, Mrinal Das, Sebastian Riedel, Lakshmi Vikraman, and Andrew McCallum. SemEval 2017
task 10: ScienceIE - extracting keyphrases and relations
from scientiﬁc publications. In Proceedings of the11th International Workshop on Semantic Evaluation(SemEval-2017), pp. 546–555, Vancouver, Canada, Au-gust 2017. Association for Computational Linguistics.
[4] Kata Gábor, Davide Buscaldi, Anne-Kathrin Schumann,Behrang QasemiZadeh, Haı̈fa Zargayouna, and ThierryCharnois. SemEval-2018 task 7: Semantic relation extraction and classiﬁcation in scientiﬁc papers. In Proceedings of the 12th International Workshop on SemanticEvaluation, pp. 679–688, New Orleans, Louisiana, June2018. Association for Computational Linguistics.
[5] Kevin Heﬀernan and Simone Teufel. Problem-solving
recognition in scientiﬁc text. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 6045–6058, Marseille, France, June 2022. Eu-ropean Language Resources Association.
[6] Jennifer D’Souza, Sören Auer, and Ted Pedersen.
SemEval-2021 task 11: NLPContributionGraph - structuring scholarly NLP contributions for a research knowledge graph. In Proceedings of the 15th International
Workshop on Semantic Evaluation (SemEval-2021),
pp. 364–376, Online, August 2021. Association for Computational Linguistics.
[7] Elad Ben Zaken, Yoav Goldberg, and Shauli Ravfogel. BitFit: Simple parameter-eﬃcient ﬁne-tuning for transformerbased masked language-models. In Proceedings of theNovember 2019. Association for Computational Linguistics.
[12] Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki,editors. Proceedings of the 61st Annual Meeting ofthe Association for Computational Linguistics (Volume 1: Long Papers), Toronto, Canada, July 2023. As-sociation for Computational Linguistics.
[13] Justus Randolph. Free-marginal multirater kappa (multirater κ free): An alternative to ﬂeiss ﬁxed-marginal
multirater kappa. 第 4 巻, 01 2010.
[14] Ting Chen, Simon Kornblith, Mohammad Norouzi,and Geoﬀrey Hinton. A simple framework for contrastive learning of visual representations. arXiv preprint
arXiv:2002.05709, 2020.
[15] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke
Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly
optimized bert pretraining approach, 2019.
[16] Zhenzhong Lan, Mingda Chen, Sebastian Goodman,Kevin Gimpel, Piyush Sharma, and Radu Soricut. Albert: A lite bert for self-supervised learning of language
representations, 2020.
[17] Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu
Chen. Deberta: Decoding-enhanced bert with disentangled attention, 2021.

60th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 1–9, Dublin, Ireland, May 2022. Association for Computational Linguistics.
[8] OpenAI. Gpt-4 technical report, 2023.
[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova. BERT: Pre-training of deep bidirectionaltransformers for language understanding. In Proceedings of the 2019 Conference of the North American
Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1(Long and Short Papers), pp. 4171–4186, Minneapo-lis, Minnesota, June 2019. Association for ComputationalLinguistics.

― 1856 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

A

学習方法の詳細

実験設定の詳細

B論 文 𝐷 𝑖 (1 ≤ 𝑖 ≤ 𝑁 𝐷 ) の イ ン ト ロ ダ ク シ ョ ン 中

モ デ ル の 実 装 に は PyTorch, HuggingFace, Deep-の貢献を説明する文を 𝑞 𝑗 (1 ≤ 𝑗 ≤ 𝑁𝑄𝑖 ), 本文のパSpeed を用いた．モデルの学習には V100 16GB x 4

ラグ ラフ を 𝑝 𝑘 (1 ≤ 𝑘 ≤ 𝑁 𝑃𝑖 ) と定 義 する．こ こで枚を用いた．モデルの最適化には Adam を用い，学𝑁 𝐷 , 𝑁𝑄𝑖 , 𝑁 𝑃𝑖 はデータセットに含まれる論文の数，習率は 1e − 5 とした．

論文 𝐷 𝑖 に含まれるイントロダクション中の貢献を説明する文の数，論文 𝐷 𝑖 に含まれる本文のパラグ

倫理的配慮Cラフの数である．またイントロダクション中の貢献データセットを構築するために使用した論を説明する文 𝑞 𝑗 に対応する本文のパラグラフのイ文はすべて ACL Anthology1）上で Creative Commons

ンデックスを 𝑘 + として定義し，対応しないパラグ

Attribution 4.0 International License を付与されたもの

ラフのインデックスを 𝑘 − (1 ≤ 𝑘 ≤ 𝑁 𝑃𝑖 , 𝑘 − ≠ 𝑘 + ) とを使用している．本研究で構築したデータセットに定義する．エンコーダーモデルはイントロダクショ
ン中の貢献を説明する一文 𝑞 𝑗 をクエリとして与えはアノテーターの個人情報は一切含まれていない．

られたとき，これを embedding qj へと変換する．また本文のすべてのパラグラフ 𝑝 𝑘 (1 ≤ 𝑘 ≤ 𝑁 𝑃𝑖 ) もそ

論文の限界

D

本研究では自然言語処理分野の 111 本の論文を対れぞれ pk へと変換する．そして qj と最もコサイン象として，イントロダクション中の貢献を説明して類似度が高い embedding qk を持つパラグラフがインいる文と対応する本文のパラグラフのペアを含む

トロダクション中の貢献を説明する文に対応するデータセットを構築した．しかし本研究で構築した本文のパラグラフとして選択される．𝑘 = 𝑘 + であれ

データセットは少数データセットであり，それにば，貢献を説明している文に対応する正しいパラグ伴ってモデルの精度も最大 38%程度に留まっていラフが選択されたとみなされる．

る．大規模データセットの収集や少数データセットエンコーダーモデルを学習させる方法として，におけるモデル学習方法の改善など，精度を向上さ

本研究では supervised contrastive learning [10] を用いせるための方法を模索する必要がある．また GPT-4

る．Contrastive learning [14] はエンコーダーモデルによる自動アノテーションではイントロダクションの学習において広く用いられている手法であり，同中の貢献を説明している文を見落としている可能性

じ意味を持つ embedding のペアよりも違う意味を持がある．10 本の論文を用いた予備実験では GPT-4

つ embedding のペアのスコアが低くなるようにモデルを学習させる．同じ意味を持つ embedding のペアによるイントロダクション中の貢献を説明している文の選択の再現率は 73.32% であったが，本研究は正例, 違う意味を持つ embedding のペアは負例とではアノテーターの負担を軽減することを優先しして定義される．提案するタスクにおいて，正例た．また科学論文には有機化学やロボット工学など

はイントロダクション中の貢献を説明する文 𝑞 𝑗 と様々な研究ドメインがあり，本研究で使用したデー対応する本文のパラグラフ 𝑝 𝑘+ のペアである．まタセット構築方法やモデルがほかのドメインでも有た負例はイントロダクション中の貢献を説明する効であるかは不明である．今後は本研究で構築した

文 𝑞 𝑗 と対応しない本文のパラグラフ 𝑝 𝑘− のペアでデータセットを自然言語処理分野以外の論文も含めある．ペアのスコアとしては文とパラグラフを表たデータセットへと拡張していき，様々なドメインす embedding のコサイン類似度を用いる．これらのにおけるモデルの性能を評価していく必要がある．

定義を用いて，本研究における supervised contrastivelearning の loss を下記の通り定義する．

()
𝐿𝑜𝑠𝑠 = max 0, −𝑠𝑖𝑚(qj , pk+ ) + 𝑠𝑖𝑚(qj , pk− ) + 𝑚 ,(1)

ここで 𝑠𝑖𝑚 はコサイン類似度であり，𝑚 はマージンである．本研究では 𝑚 = 1 とした．

1） https://aclanthology.org/― 1857 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).