言語処理学会 第30回年次大会 発表論文集（2024年3月）

サーベイ論文で引用すべき論文の推薦
柴 克樹 笹野 遼平 武田 浩一
名古屋大学大学院情報学研究科
shiba.katsuki.c5@s.mail.nagoya-u.ac.jp

概要
サーベイ論文の自動生成は新たな研究分野に取り組もうとする研究者にとって、分野全体の俯瞰を助ける重要な役割を持つ技術である。しかし、既存のサーベイ論文自動生成に関する研究では、サーベイ論文が引用する論文の情報から、サーベイ論文を生成するタスクに焦点が当てられており、引用すべき論文をどのようにして見つけるかについては十分な検討がなされてこなかった。本研究では、サーベイ論文で引用すべき論文の推薦システムの構築に取り組む。具体的には、生成したいサーベイ論文に関するキーワードが与えられたとき、キーワード検索と論文の引用関係に基づき候補論文集合を作成し、そこから引用推薦の枠組みを用いてサーベイ論文が引用すべき論文を推薦するシステムを構築する。

1

はじめに大規模言語モデル (LLM) をはじめとする人工知能技術の急速な発展に伴い、新たな研究分野が生まれている。新たな分野に取り組もうとする研究者にとって、対象の研究分野を俯瞰するサーベイ論文は非常に有益であることから、サーベイ論文の自動生成技術の重要性は高まっていると言える。既存のサーベイ論文自動生成の研究 [1, 2] では、サーベイ論文が引用する論文の情報から、サーベイ論文を生成するタスクに焦点が当てられており、引用論文は実験に使用するサーベイ論文が引用している論文をそのまま利用するか、引用論文をもとにヒューリスティックに収集されたものが使われている。しかし、実際にサーベイ論文を生成することを考えると、引用すべき論文を見つける技術は必要不可欠であることから、本研究ではサーベイ論文が引用すべき論文を推薦するタスクに取り組む。
既 存 の 引 用 推 薦（citation recommendation）の 研
究 [3–6] は論文のタイトル、概要、引用関係、著者{sasano,takedasu}@i.nagoya-u.ac.jp
LLMによる
擬似タイトル
概要生成キーワード
候補論文収集
候補論文集合類似度計算

1. キーワード検索で収集した論文
2. 1が引用している論文
3. 1を引用している論文
4. 2を引用している論文

擬似タイトル
概要との類似度
ランキングモデル
引用すべき論文
図1

対象論文から得られる特徴量候補集合から得られる特徴量

提案する引用論文推薦システム概要情報などが与えられ、それをもとに推薦を行う設定で行われてきた [7]。近年では SciBERT [8] をベースにタイトル、概要、引用関係から学習を行なった
SPECTER [9] が広く利用されている。一方で、20 万本程度の中規模な論文プールに対する引用推薦では SPECTER のような TAE（Transformer-based ArticleEncoders）は高い性能を示すが、200 万本程度の大規模なデータセットでは BM25 に性能が劣るという指摘もある [10]。サーベイ論文の自動生成においては、通常の引用推薦と異なり論文のタイトルや概要は存在していないため、対象分野のキーワード等のみから推薦を行う必要があり、また、サーベイ論文と通常論文では引用傾向が異なっていると考えられるが、サーベイ論文を対象とした引用推薦の研究は行われていない。
そこで、本研究ではキーワードを入力とするサーベイ論文の引用推薦のシステムを構築に取り組む。
システムの概要図を図 1 に示す。提案システムではキーワードをもとに Web 上から候補論文集合を収集し、ランキングモデルにより候補論文集合の順位付けを行うことで引用すべき論文の推薦を行う。

― 2378 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

サーベイ論文における引用の分析

2

引用推薦システムの構築に先立ち、サーベイ論文が引用する論文の傾向について分析する。

2.1

データセット

既存研究で広く利用されてきたデータセットである DBLP-Citation-network (v14) データセット1）、および、ACL Antholgy Network Corpus2）における論文の平均引用本数を調べた結果、いずれも 5.25 本と、引図2

サーベイ論文と通常論文の引用論文の出版経過日数

図3

サーベイ論文と通常論文の引用論文の被引用数回数

用論文情報の欠落が多く存在していた。このため本研究では、2022 年 8 月までに ACL anthology に掲載された 80,013 本の論文の全文コーパスである ACLOCL Corpus [11] と、Semantic Scholar3）を利用して、分析に使用する論文データセットを作成した。
まず、分析対象のサーベイ論文として ACL OCL
Corpus から、以下の 3 つの条件を満たす 60 本の論文を抽出した。
1. タイトルに “survey”、“literature review”、“a review”のいずれかのフレーズを含む
2. 引用文献数が 15 以上である
3. ACL、EMNLP、NAACL、AACL、CL のいずれかで発表されている
続いて、比較対象とする通常論文として、ACL OCL

日数については 1 年単位の周期性があることが確認

Corpus から無作為に 900 本の論文を抽出した。各論文が引用する論文の一覧は ACL OCL Corpus から獲できた。これは、通常論文は毎年近い時期に開催される同じ学会に投稿された論文を多く引用する傾向得し、引用先の論文が出版された年月と被引用数のがあるためだと考えられる。一方、サーベイ論文は情報は Semantic Scholar から収集した。

多くの学会やジャーナルを横断的に引用するため、

2.2

このような傾向は確認できなかった。

サーベイ論文における引用の特徴

続いて、通常論文とサーベイ論文、それぞれにつまず、平均引用論文数を調査した。その結果、通いて、引用している論文の被引用回数を調査した。

常論文の平均引用論文数は約 30 本であるのに対し、被引用回数の中央値をまとめた結果を図 3 に示す。

サーベイ論文の平均引用論文数は約 85 本と、通常論サーベイ論文は引用論文の出版経過年数に依らず、文の 3 倍近い論文を引用していることが分かった。

通常論文よりも被引用回数の少ない論文を引用する

次に、通常論文とサーベイ論文、それぞれについ傾向が確認できた。これは、通常論文は各分野の代て、引用している論文の出版経過日数を調査した。

表的な論文のみ引用する傾向が強いのに対し、サー結果を図 2 に示す。出版経過日数を 3 ヶ月ごとにまベイ論文では対象とする分野の論文を広く引用するとめた結果で、縦軸は各グループに属する論文の割ためであると考えられる。

合を表す。図 2 から、サーベイ論文は通常論文より3も新しい論文を引用する傾向があり、その傾向は出サーベイ論文のための引用推薦

版経過日数が 1 年以内の論文において顕著であるこ本研究で構築するサーベイ論文に対する引用推薦とが分かる。また、通常論文の引用論文の出版経過システムでは、まずキーワードをもとに推薦候補論文集合を収集する。続いて、集まった候補論文をラ1） https://www.aminer.cn/citation2） https://clair.eecs.umich.edu/aan/index.php3） https://www.semanticscholar.org/

ンキングモデルに入力し、得られたランキング結果をもとに引用すべき論文を推薦する。

― 2379 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

キーワード検索

表 1 LightGBM に入力する特徴量

引用関係

対象論文のみから得られる特徴量 (𝐹対象論文 )

SB
キーワード

図43.1

• 出版経過年数・日数• 会議・論文誌名

SFB
SF

候補論文集合から得られる特徴量 (𝐹候補集合 )SB• 𝑆0 または 𝑆 𝐹 中の論文から引用された回数• 対象論文が含まれる候補論文集合

論文集合間の引用関係のイメージ

擬似論文を用いて算出される特徴量 (𝐹擬似論文 )候補論文収集• 擬似サーベイ論文との類似度

候補論文集合として、以下で規定される 4 つの論文集合 𝑆0 (初期集合)、𝑆 𝐹 (前向き)、𝑆 𝐵 (後向き)、
𝑆 𝐹𝐵 (前向き+後向き) を収集する。

いる場合、そのタイトルと概要を用いて SPCETER2のベクトルを生成できるが、本研究の設定では存在していない。このため、LLM を用いてキーワード• 𝑆0 : 与えられたキーワードで Semantic Scholar をから疑似的なタイトルと概要を生成し、生成された検索した結果得られた上位 𝑛 件の論文タイトル、概要から SPECTER2 のベクトルを生成• 𝑆 𝐹 : 𝑆0 中の論文が (前向き) 引用している論文

し、候補論文集合中の論文の論文ベクトルとの類似• 𝑆 𝐵 : 𝑆0 中の論文を (後向き) 引用している論文度を算出し、素性として利用する。疑似的なタイト• 𝑆 𝐹𝐵 : 𝑆 𝐵 中の論文を (後向き) 引用している論文

ルと概要の生成に使用した LLM とプロンプト、生収集された論文集合間の引用関係のイメージを成例は付録 A に示す。

図 4 に示す。以降では論文集合 𝑆0 と 𝑆 𝐹 の和集合を𝑆0+𝐹 などのように記載するものとする。また、1 本実験

4の論文の引用論文数は多くとも数百程度である一2.1 節で述べたサーベイ論文 60 本を対象に、収集方、一部の論文の被引用数は 1 万を超えるため、前された候補論文集合の評価、および、最終的な引用向き収集と比較して後向き収集では候補論文集合の論文推薦結果の評価を行った。

爆発的な増加が発生しうる。そのため、後向き収集は引用回数が 300 回未満の論文のみを対象とする。

4.1

3.2

候補論文集合の収集と評価

まず、評価対象とするサーベイ論文 60 本それぞ候補論文のランキングれについてキーワードを人手で付与した。具体的

本研究ではランキングモデルとして LightGBM をには、タイトルに含まれる単語列から、サーベイ利用する。LightGBM に入力する特徴量を表 1 に示のトピックを適切に表現できる 2 つ、または、3 つす。特徴量は大きく、対象論文のみから得られるの単語列を人手で抽出した。続いて、付与された

特徴量 (𝐹対象論文 )、候補論文集合から得られる特徴キーワードをもとに候補論文集合を作成した。論

量 (𝐹候補集合 )、擬似論文を用いて算出される特徴量文集合 𝑆0 および 𝑆 𝐹 は Semantic Scholar を用いて収(𝐹擬似論文 ) の 3 タイプに分けられる。
𝐹候補集合 のうち “𝑆0 または 𝑆 𝐹 中の論文から引用さ集し、全 60 論文に対して収集された結果をまとめた論文プールを構築した。一方、論文集合 𝑆 𝐹 およれた回数” は、キーワード検索で上位となった論文

び 𝑆 𝐹𝐵 の収集には、後向きに引用を辿る必要がある(𝑆0 )、または、それらの論文が引用している論文 (𝑆 𝐹 )が、Semantic Scholar の引用検索機能では 1%程度しから多く引用されている論文はサーベイ論文を作成か収集できなかったため、構築した論文プールを対する際に引用すべき論文である可能性が高いという考えに基づく特徴量である。また、𝐹擬似論文 は引用象に引用情報を利用し、疑似的に論文収集した。ただし、実際にサーベイ論文が引用している論文につ推薦において広く利用されている SPECTER2 [9] にいては、論文プールに含まれていない場合も、𝑆 𝐹 ま基づく特徴量である。SPECTER2 では、引用関係にたは 𝑆 𝐹𝐵 の条件を満たすか調査し、条件を満たす場ある論文同士のベクトルの類似度が相対的に大きく合は候補論文集合に追加した4）。

なるような論文ベクトルを、論文のタイトルと概要から作成する。生成対象のサーベイ論文が存在して4） 後向きに引用を辿れば追加可能な論文であり、非現実的な設定ではない。

― 2380 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 2 論文収集カバー率のマクロ平均 (括弧中の数値はサーベイ論文 1 本あたりの収集した論文数)

表 3 候補論文集合ごとの引用推薦性能 (𝑟 = 1)

𝑛𝑆0

𝑆0+𝐵

𝑆0+𝐹

𝑆0+𝐹+𝐵

𝑆0+𝐹+𝐵+𝐹𝐵

𝑛𝑆0

𝑆0+𝐵

𝑆0+𝐹

𝑆0+𝐹+𝐵

𝑆0+𝐹+𝐵+𝐹𝐵

100

9.7

20.0

30.8

31.6

31.8

100

10.31

26.12

60.20

64.81

81.51

(100)

(401)

(2191)(2316)(7477)

200

12.0

21.1

30.3

30.7

30.8

200

13.44

30.34

65.20

70.07

85.15

(188)

(508)

(4269)(4487)(12772)

300
500

14.9
14.9

22.3
22.3

29.5
29.5

29.7
29.7

29.9
29.3

300

16.23

35.74

68.65

74.75

88.76

(268)

(1044)(5780)(6356)(21330)500

表 4 引用推薦の比較実験結果

38.52

71.06

76.27

89.15(431)(1372)(9219)(9866)(28379)

提案システム 20.5 31.8 42.5 48.6 55.6

値 𝑛 として 100, 200, 300, 500 の 4 つの値に対する結1235w/o 𝐹擬似論文 19.1 28.4 37.4 42.4 49.4

果を記載している。𝑛 = 10000 まで増やした実験も行ったが、カバー率は 31.92 に留まったことから、引用関係を用いて候補論文集合を収集する有効性が確認できる。

0.5w/o 𝐹論文情報 19.3 28.9 39.6 45.8 53.5
w/o 𝐹候補集合 12.3 19.0 27.7 33.7 41.6

論文収集の結果を表 2 に示す。𝑆0 収集の際の閾

4.2\𝑟18.40

手法BM255.1 11.4 18.4 24.3 33.7

SPECTER212.2 20.2 30.9 38.6 48.1

特徴量 𝐹対象論文 、𝐹候補集合 、𝐹擬似論文 はいずれも有効に機能していることが確認できる。特に 𝐹候補集合 を引用論文推薦の評価除いた場合の性能低下の度合いが大きいことから、引用論文推薦の評価は、実際の引用文献のうち、順位付けされた論文候補集合の上位 𝑘 件に含まれる割合を、全 60 論文で平均したスコアにより行った。𝑘 の値は、実際の引用文献数を 𝑟 倍した値とした。また、5 分割交差検証を実施し、LightGBM で使用する損失関数は binary log loss、学習率は 5e-3、対象論文がどの候補論文集合に含まれるかや候補論文集合から何回引用されているかの情報は重要な手掛かりであると言える。また、𝐹擬似論文 が性能の向上に寄与していることから、LLM を用いて疑似的に生成したタイトル、概要が有効に機能していることが確認できる。

num leaves は 46 とした。

大 規 模 な デ ー タ セ ッ ト に お い て は、SPECTER2

まず、𝑟 = 1 とする設定において、候補論文集合ベースのモデルは、BM25 ベースのモデルに性能がの違いによる性能の違いを検証した。結果を表 3 に劣ると指摘 [10] されていたが、本実験では引用関係示す。収集対象とする論文集合の種類が少ない場合(𝑆0 , 𝑆0+𝐵 ) は、𝑛 を大きくした場合の方が高い性能となる一方で、論文集合 𝑆 𝐵 や 𝑆 𝐹𝐵 まで収集対象とした場合は、𝑛 が小さい方が高い性能となった。全体でもっとも高い性能となったのは、𝑛 = 100 としすを利用することでカバー率が高く比較的小さな候補論文集合を収集したため、Semantic Scholar 上の全論文 (約 2 億本) を推薦対象としながらも、SPECTER2ベースのモデルが BM25 ベースのモデルの性能を大幅に上回った。

べての論文集合を収集対象とした場合であった。
続いて、提案手法の有効性を確認するための比較おわりに5実験を行った。まず、提案手法における LightGBM

本研究ではサーベイ論文に対する引用推薦タスクの特徴量から、𝐹対象論文 、𝐹候補集合 、𝐹擬似論文 を 1 つに取り組み、キーワードを入力とするサーベイ論文ずつ除いたモデルとの比較を行った。さらに、疑似的な論文タイトルおよび概要に基づく BM25 ベーの引用推薦システムの構築と評価を行った。また、スのモデル、SPECTER2 ベースのモデルとの比較も論文は新しい論文を引用する傾向があること、引用行った5）。実験は、𝑆0 収集の際の閾値 𝑛 を 100、論文収集対象を 𝑆0+𝐹+𝐵+𝐹𝐵 とする設定で実施し、𝑟 の値として 0.5, 1, 2, 3, 5 の 5 つの値に対して評価を実サーベイ論文における引用の分析を行い、サーベイ数の小さな論文も引用する傾向があることを明らかにした。今後の課題としては、分析によって得られ施した。結果を表 4 に示す。𝑟 の値に依らず提案手たサーベイ論文における引用の特徴を捉えたモデルの構築、引用論文情報からの論文生成モデルの利用法がもっとも高い性能を達成した。この結果から、によるサーベイ論文自動生成システムの構築が考え

5） BM25、SPECTER2 ベースのモデルの詳細は付録 B に示す。

られる。

― 2381 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

参考文献[1] Rahul Jha, Reed Coke, and Dragomir Radev. Surveyor: Asystem for generating coherent survey articles for scientiﬁctopics. In Proceedings of the AAAI Conference on
Artiﬁcial Intelligence, Vol. 29, 2015.
[2] Huiyan Xu, Zhongqing Wang, Yifei Zhang, Xiaolan Weng,
Zhijian Wang, and Guodong Zhou. Document structure
model for survey generation using neural network. Frontiers of Computer Science, Vol. 15, pp. 1–10, 2021.
[3] Zafar Ali, Guilin Qi, Khan Muhammad, Siddhartha Bhattacharyya, Irfan Ullah, and Waheed Abro. Citation recommendation employing heterogeneous bibliographic network embedding. Neural Computing and Applications,Vol. 34, No. 13, pp. 10229–10242, 2022.
[4] Xiao Ma and Ranran Wang. Personalized scientiﬁc paper
recommendation based on heterogeneous graph representation. IEEE Access, Vol. 7, pp. 79887–79894, 2019.
[5] Chanathip Pornprasit, Xin Liu, Pattararat Kiattipadungkul, Natthawut Kertkeidkachorn, Kyoung-SookKim, Thanapon Noraset, Saeed-Ul Hassan, and Suppawong Tuarob. Enhancing citation recommendation using
citation network embedding. Scientometrics, pp. 1–32,2022.
[6] Zafar Ali, Guilin Qi, Pavlos Kefalas, Shah Khusro, Inayat Khan, and Khan Muhammad. SPR-SMN: Scientiﬁcpaper recommendation employing specter with memory
network. Scientometrics, Vol. 127, No. 11, pp. 6763–6785, 2022.
[7] Zafar Ali, Pavlos Kefalas, Khan Muhammad, Bahadar Ali,and Muhammad Imran. Deep learning in citation recommendation models survey. Expert Systems with Applications, Vol. 162, p. 113790, 2020.
[8] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientiﬁc text. In Proceedingsof the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International
Joint Conference on Natural Language Processing(EMNLP-IJCNLP), pp. 3615–3620, 2019.

[9] Arman Cohan, Sergey Feldman, Iz Beltagy, Doug Downey,and Daniel Weld. SPECTER: Document-level representation learning using citation-informed transformers. In
Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 2270–2282.

Association for Computational Linguistics, 2020.
[10] Zoran Medić and Jan Snajder. Large-scale evaluation oftransformer-based article encoders on the task of citation
recommendation. In Proceedings of the Third Workshop on Scholarly Document Processing, pp. 19–31.
Association for Computational Linguistics, October 2022.
[11] Shaurya Rohatgi, Yanxia Qin, Benjamin Aw, Niranjana
Unnithan, and Min-Yen Kan. The ACL OCL corpus: Advancing open science in computational linguistics. In
Proceedings of the 2023 Conference on Empirical
Methods in Natural Language Processing, pp. 10348–10361. Association for Computational Linguistics, December 2023.

― 2382 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

A

擬似タイトル、概要生成の詳細
本研究では LLM として gpt-3.5-turbo-0613 を使用

BM25、SPECTER2 モデルの詳細

B

BM25 ベースモデル

サーベイ論文の擬似タイトした。また、擬似タイトル、および、概要の生成にルと擬似概要をクエリとして、候補論文のタイトル利用したプロンプトを表 5 に示す。[keywords] の部と概要に対する BM25 スコアを算出し、順位づけし分に人手で与えられたキーワードを入力して使用て推薦する手法。

した。

SPECTER2 ベースモデル

サーベイ論文の擬似実際にキーワードとして “Bias” と “NLP” を与えタイトルと概要から SPECTER2 のベクトルを作成た場合に生成された擬似論文タイトルと概要を表 6

し、候補論文の論文ベクトルとの類似度をユークに示す。参考のため、本キーワード抽出の際に利用リッド距離により算出し、順位づけして推薦する手した実際の論文のタイトルと概要を表 7 に示す。

法。SPECTER2 は huggingfac 上で公開されているモデル6）を利用した。

表 5 疑似タイトル、概要生成のためのプロンプト
表 7 実際のタイトル・概要

Please generate an appropriate title andabstract for a survey paper focus on theタイトル

keywords ‘‘[keywords]’’ within 100 words.

Language (Technology) is Power: A Critical Survey of“Bias” in NLP

表6

擬似的に生成されたタイトルと概要

概要

擬似タイトルWe survey 146 papers analyzing “bias” in NLP systems,

A Comprehensive Survey on Bias in Natural Language

ﬁnding that their motivations are often vague, inconsis-Processing

tent, and lacking in normative reasoning, despite the fact

擬似概要

that analyzing “bias” is an inherently normative process.

With the rapid growth of natural language processing(NLP) applications, it has become increasingly crucial

We further ﬁnd that these papers

proposed quantita-to address the issue of bias present in these systems. This

tive techniques for measuring or mitigating “bias” arepoorly matched to their motivations and do not engage

survey paper aims to provide an extensive overview ofwith the relevant literature outside of NLP. Based on

bias in NLP, covering various dimensions such as gen-these ﬁndings, we describe the beginnings of a path for-der, race, and socio-economic status. We explore theward by proposing three recommendations that should

diﬀerent sources of bias, including data collection, pre-guide work analyzing “bias” in NLP systems. These

processing, and algorithmic decision-making processes.

recommendations rest on a greater recognition of theAdditionally, we discuss the impacts of biased NLP

relationships between language and social hierarchies,systems on society, including perpetuating stereotypes

encouraging researchers and practitioners to articulate

and discrimination. Furthermore, we present recent ad-

their conceptualizations of “bias”― i.e., what kinds ofvancements in bias mitigation techniques and highlightsystem behaviors are harmful, in what ways, to whom,

the challenges and future directions in this ﬁeld. Thisand why, as well as the normative reasoning underly-

survey paper serves as a valuable resource for researchers

ing these statements― and to center work around theand practitioners interested in understanding and mitigating bias in NLP.

lived experiences of members of communities aﬀectedby NLP systems, while interrogating and reimagining
the power relations between technologists and such communities.

6） https://huggingface.co/allenai/specter2― 2383 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).