# 直近 1 年の動向を考慮した最新論文のインパクト予測

平子潤笹野遼平武田浩一
名古屋大学大学院情報学研究科
hirako.jun.e5@s.mail.nagoya-u.ac.jp \{sasano, takedasu\}@i.nagoya-u.ac.jp

## 概要

発表される論文の増加に伴い，新たに発表された論文の将来的なインパクトを自動で予測する技術の重要性は増している. 本研究では，論文のインパク卜予測を発表から 1 年後の被引用数予測として定式化し，学習データとしてそのまま用いることができない，発表から 1 年未満の論文から得られる情報を活用する手法を提案する。また， arXiv から収集した約 17,000 の論文を用いた実験を通して，直近 1 年以内の論文を活用することの有効性を示す.

## 1 はじめに

近年，自然言語処理を含む人工知能分野の論文数は大きく増加しており，興味があるトピックに絞ったとしても全ての論文に目を通すことは困難になっている。このため，同時期に発表された論文の中から，将来的なインパクトが大きくなる重要性の高い論文を選択的に自動提示する技術が求められている. 本研究では，このようなインパクトの指標として発表から 1 年後の被引用数を採用し, 新たに発表された論文の 1 年後の被引用数予測に取り組む.

発表から 1 年後の被引用数予測において，学習データとしてそのまま使用できるのは 1 年後の被引用数が既知の論文，すなわち，発表から 1 年以上経過した論文のみである. しかし，人工知能分野の技術革新の速度は増しており，直近 1 年以内に発表された論文から得られる情報を用い，最新の動向を捉えることが重要であると考えられる。そこで本研究では， 1 年後の被引用数予測において，直近 1 年以内に発表された論文を活用する 2 つ手法を提案する. 1 つ目の被引用数補完では，過去の論文の被引用数の経過月数ごとの推移を利用し, 発表から 1 年未満の論文の 1 年後の被引用数を予測することで，発表から 1 年未満の論文を学習データとして利用する. 2 つ目の早期導入度の利用では, 被引用数予測対象の論文が，直近 1 年以内に発表された被引用数
の高い論文を引用しているかどうかの情報 (早期導入度) を利用する.これは発表後，短期間で多く引用されている論文は重要な研究成果を報告している可能性が高く，そのような重要な研究成果をいち早く取り込んでいる研究も，新規性が高く技術的貢献が大きい可能性が高いという直観に基づいている.

被引用数予測に取り組んだ研究はすでに多く存在する. 初期の研究として Fu ら [1] は，被引用数予測を分類と回帰で定式化し，論文のアブストラクトやジャーナルのインパクトファクターなどの被引用数予測において有効な特徴量を調査した. Li ら [2] は，論文に対応した複数の査読テキストを被引用数予測に活用した. Dongen ら [3] は，より大規模なデータセットを使いつつ，BERTを用いて効率的に論文の本文をエンコードし，被引用数予測を行った.しかし，これらの研究では，予測対象の論文が発表された時点では利用できない情報，具体的にはその論文と近い時期に発表された論文の将来的な被引用数を利用しており，発表されてから間もない論文の将来的な被引用数予測には適用できない設定が採用されている。これに対し，本研究では被引用数予測の対象論文が発表された時点の情報だけを利用するという設定を採用し，そのような設定における直近 1 年以内の論文の活用方法を提案する.

## 2 最新論文を活用した被引用数予測

## 2.1 問題設定

本研究では，論文の著者情報とタイトル，アブストラクトから，その論文の発表から 1 年後の被引用スコアを予測するタスクに取り組む。被引用スコアは, Wenniger ら [4] に倣い, 被引用数の対数, すなわち論文の発表から 1 年後の被引用数 $c$ に対し, $\log (c+1)$ と定義する.

学習に使用できる情報は，被引用数予測の対象論文が発表された時点で入手可能な情報に限定する. すなわち，本研究で予測対象とする 1 年後の被引用
表 $1 \mathrm{n}$ ケ月以内に発表された被引用数が上位 $k_{1} \sim k_{2} \%$ の論文を引用している論文の発表 1 年後の被引用数の平均.「引用なし」は， $\mathrm{n}$ ヶ以以に発表された論文を引用していない論文，括弧内の数字は各グループに属する論文の割合を示す.

数情報が利用できるのは，それより 1 年以上前に発表された論文のみであり，直近 1 年に発表された論文についてはその時点の被引用数のみを利用する。

## 2.2 ベースライン手法

Transformer [5] ベースの事前学習済みモデルである BERT [6] を fine-tuning することで，被引用数予測を行う，入力に用いる情報は，著者情報，タイトル，アブストラクトとし，1文目として著者情報とタイトルを繋げたもの，2 文目としてアブストラクトを入力する．ただし，著者情報には著者名ではなく, 以下の手順で生成する特殊トークンを用いる. まず，論文の各著者がその論文発表時から見て 1 年以上前かつ 5 年以内に発表した論文の発表 1 年後の被引用数を収集する，続いて，各著者ごとに平均被引用数を算出し, さらにその值を全著者で平均した値をその論文の著者スコアとする。このような著者スコアを学習用論文すべてに対し算出し，スコ

上位 10\%のグループであれば [著者 $0 \sim 10 \%] ， 50 \% \sim$ 60\%のグループであれば［著者 50 60\%］といった特殊トークンを生成する。

BERT の出力として, 特殊トークンである [CLS] に対応するべクトルを利用し，CLS ベクトルを線形変換することで，被引用スコアの予測值を得る. 学習中には CLS ベクトルにドロップアウト [7]を適用し, 予測値と被引用スコアの平均二乗誤差 (MSE) が最小になるように学習を行う.

## 2.3 被引用数補完

予測対象である 1 年後の被引用数情報が利用できるのは，発表から 1 年以上経過した論文のみであるが，最新の動向を反映したモデルを構築するためには，発表から 1 年未満の論文も考慮することが重要であると考えられる. そこで，過去の論文の被引用数の経過月数ごとの推移を利用し, 発表から 1 年未満の論文の 1 年後の被引用数を予測することで，被引用数の補完を行い, 発表から 1 年未満の論文を学習データとして利用する．被引用数の補完には次の事例ベースの手法と比率べースの手法を併用する.

事例ベース学習用論文において，発表から $n$ ヶ月後に被引用数が $c$ の論文の 1 年後の被引用数を全て抽出し，その中央值を利用

比率ベース発表から $n$ ケ月後の被引用数の平均と発表から 1 年後の被引用数の平均の比を計算し, 被引用数 $c$ に掛けた值を利用

事例ベースの補完は，同じ被引用数をもつ論文が多数存在しうる “被引用が少ない論文” に対しては正確な補完が期待できる一方で，同じ被引用数をもつ論文がない，または，少ないと考えられる“被引用が多い論文”には適していないと考えられる。 そのため本研究では，発表から $n$ ヶ月後の被引用数の中で，被引用数 $c$ が上位 $10 \%$ に属する場合は比率べー スの手法で補完を行い，下位 90\%に属する場合は事例ベースの手法で補完を行う1).

## 2.4 早期導入度

発表から短い期間に多く引用されている論文は重要な研究成果を報告している可能性が高く，そのような重要な研究成果をいち早く取り达んでいる研究も，新規性が高く技術的貢献が大きい可能性が高いと考えられる。この仮説を検証するため，“ $n$ ケ月以内に発表された被引用数が上位 $k_{1} \sim k_{2} \%$ の論文”を引用している論文の，発表から 1 年後の被引用数の平均を調査した。

調査には，3.1 節で述べる学習用の論文集合の 1 つである 2015 年 6 月から 2020 年 5 月に $\operatorname{arXiv}^{2)}$ 上で発表された 15,962 論文を用い，上位 $k \%$ の計算には，発表から $m$ ヶ月後の論文の場合，論文集合から発表から $m$ ヶ月後時点の被引用数の分布を作成し，その分布内での順位を用いた。また， $n$ ヶ月以内に発表された論文を複数引用している場合，その中でもっとも被引用数の順位が高い論文の順位を利用した.

調査結果を表 1 に示す. 全体的な傾向として，よ
$ を参照.

2) https://arxiv.org/
}

り被引用数が高い論文を，より早期に引用しているほど，平均的な被引用数が高いことが確認できる。 たとえば，発表から３ ヶ月以内に，被引用数が上位 $1 \%$ 以内の論文を引用している論文の平均被引用数は 15.5 であり，これは全論文の平均被引用数 6.5 の約 2.4 倍であった.

以上の調査結果を踏まえ，本研究では，論文が早期に被引用数が高い論文を引用しているという情報 (早期導入度)を被引用数予測に利用する。 入力方法としては，著者情報と同様に，早期導入度を特殊トークン化して 1 文目の先頭に挿入する. 本研究では, 「上位 $0 \sim 1 \% 」$, 「上位 $1 \sim 2.5 \% 」$, 「上位 2.5 5\%」,「上位 5 10\%」,「上位 10 25\%」,「上位 25 100\%」，「引用なし」をそれぞれ表す 7 つの特殊トークンを作成し, 予測対象の論文がそれぞれ 3 , 6，9，12 ヶ月以内に引用している論文の中で最も被引用数の順位が高い論文に対応する特殊トークン 4 つを 1 文目の先頭に挿入することにより早期導入度を考慮する．たとえば，ある論文が 3 ヶ月以内に発表された論文を引用しておらず，6，9ヶ月以内に発表された被引用数が上位 5 10\%の論文を引用しており，12 ヶ月以内に発表された被引用数が上位 $0 \sim 1 \%$ の論文を引用している場合に入力する特殊トークン列は，“[引用なし][上位 5 10\%][上位 5 10\%][上位 0 1\%]”となる.

## 3 実験

## 3.1 データセット

被引用数予測において直近 1 年以内の論文を活用することの有効性を確認するため，arXiv で発表された論文を対象とした評価実験を行った． arXiv の論文を対象としたのは，大量の論文が発表される一方で，無査読であり品質が保証されていないことから，論文の質の自動推定技術の重要性が極めて高い論文集合であると考えたためである.

本研究では，2019 年 7 月 2020 年 6 月の各月に arXiv 上で cs.CL (計算言語学) カテゴリで発表された論文集合をそれぞれ評価セットとする 12 個のデー タセットを用いて実験を行った. 各データセットにおいて, 評価対象の論文の発表から過去 5 年間に発表された論文を学習用論文として用いた。たとえば，2019 年 7 月に発表された論文集合を評価セットとする場合，2014 年 7 月 2019 年 6 月に発表された論文が学習用論文となる. 学習用論文数の平均, 学習用論文のうち 1 年以上経過した論文数の平均，評価用論文数の平均はそれぞれ $13,457 ， 8,714 ， 490$ であった ${ }^{3)}$. 発表時期は月単位で扱い，過去のある時点における被引用数を算出するための引用情報は, Semantic Scholar ${ }^{4}$ から収集した。

## 3.2 比較手法

本研究では以下の 5 つのモデルを比較する.

全 1 年後被引用数使用過去 5 年間に発表された全論文の発表から 1 年後の被引用数を用いベースライン手法で学習したモデル

直近 1 年論文不使用発表から 1 年以内のものを除く過去 5 年間に発表された論文を用いベースライン手法で学習したモデル

+被引用数補完被引用数補完を行うことで過去 5 年間に発表された全論文を用いべースライン手法で学習したモデル

+早期導入度直近 1 年論文不使用モデルに早期導入度を追加したモデル

+補完+早期導入度被引用数補完モデルに早期導入度を追加した提案手法

このうち，全 1 年後被引用数使用モデルは，評価用論文の発表時に取得不可能な情報を用いており，最新論文の被引用数予測には利用できない.

## 3.3 評価方法

評価指標には大きく分けて2つの指標を用いる. まず，全体的な被引用数予測性能を評価するため， スピアマンの順位相関係数 $(\rho)$ を用いる. さらに，将来的にインパクトが大きくなる論文を上位にランキングできているか評価するため，実際の被引用数が上位 $\mathrm{n} \%$ となる論文が，予測值の上位 $\mathrm{k} \%$ にどのくらい含まれるかという指標 ( $\mathrm{n} \%$ @ $\mathrm{k} \%$ ) を用いる.

また， 3.1 節で述べた通り，データセットごとの評価用論文の平均論文数は 490 と小さいことから， データセットごとに評価した場合，スコアが安定しない可能性が考えられる. そこで，より大規模な論文集合で評価を行えるように，評価値の算出は全データセットの評価用論文を用いて月横断的に行う. 具体的には，各データセットで学習を行い，評価用論文の被引用数スコアの予測値を出力し, 全 12 か月分の予測値を合わせて評価値を算出する ${ }^{5)}$.

3）データセットごとの論文数は付録 B を参照

4) https://www.semanticscholar.org/

5）データセットごとの実験結果は付録 C を参照.
表 2 被引用数予測の実験結果 (評価値 $\times 100)$

## 3.4 実験設定

BERT の初期重みには, Transformers [8] で公開されている, Wikipedia などの一般ドメインのコーパスで事前学習を行なった BERT (bert-baseuncased) と，大規模な論文で構築された科学分野のコーパスで事前学習を行なった SciBERT [9] (allenai/scibert_scivocab_uncased)を用いた. 全ての手法において，エポック数は 3 , バッチサイズは 32 ,最適化関数は AdamW [10] を用い, 全体の学習ステップの $10 \%$ で warm-up し, 残りのステップで線形に減衰する学習率スケジューリングを行った. 学習率は，2019 年 6 月に発表された論文を評価用論文として作成したデータセットを用いて，Devlin ら [6] に倣い，2e-5, 3e-5, 5e-5 で探索を行い，全ての手法において最も順位相関係数が高くなった 2e-5を使用した.また，各手法でランダムシードで 3 回実験を行って評価値の平均と標準偏差を算出した.

## 3.5 実験結果

実験結果を表 2 に示す. 全体的に SciBERT の性能が BERT の性能を上回っており，科学分野のコーパスでの事前学習が，被引用数予測タスクにおいて有効であることが確認できる。また，被引用数補完，早期導入度をそれぞれ用いることで，性能が向上する傾向が確認できる. 特に, 被引用数補完と早期導入度を組み合わせた提案手法は，予測対象の論文の発表時に利用可能な情報しか用いていないにも関わらず，全 1 年後被引用数使用モデルと同等以上の性能となった. 被引用数補完は, 全 1 年後被引用数使用モデルで使用している情報を近似的に再現しているに過ぎないことから，性能向上は主に，早期導入度を考慮することで，最新の技術動向をいち早く取り込んでいる研究を評価できるようになったためであると考えられる．実際の予測性能に着目すると，被引用数補完と早期導入度の両方を用いた SciBERT ベースのモデルは，5\%@25\%で 78.3 という值であった.これは，与えられた論文集合のうち $25 \%$ を読むことで，将来の被引用数が上位 $5 \%$ となる論文の $78.3 \%$ をバーできるということであり，実用面において有用性の高い手法であるといえる.

## 4 おわりに

本論文では，与えられた論文の発表 1 年後の被引用数予測タスクにおいて，最新の動向を捉えることの重要性に着目し， 1 年後の被引用数が未知であることからそのままでは学習データとして使用できない直近 1 年以内に発表された論文の活用法を提案した. 具体的には，過去の論文の被引用数の推移から 1 年後の被引用数を推定し学習データとして利用する手法と，より被引用数が高い論文をより早期に引用している論文は平均的な被引用数が高くなるという傾向に着目した早期導入度を利用する手法の 2 つ手法を提案した。 $\operatorname{arXiv}$ から収集した約 17,000 の論文を用いて行った実験の結果，直近 1 年以内に発表された論文を活用することで，被引用数予測の性能が向上することが確認できた。特に，早期導入度を用いて，最新の技術動向をいち早く取り込んでいる研究を評価することで，論文発表時点では取得不可能な未来の被引用数を利用した手法と同等以上の性能が達成できた．今後の課題としては，自然言語処理以外の人工知能分野の論文を含めた評価や，提案手法では活用していない本文や図，表などを考慮したモデルの構築が挙げられる.

## 参考文献

[1] Lawrence D. Fu and Constantin F. Aliferis. Models for predicting and explaining citation count of biomedical articles. In AMIA Annual Symposium Proceedings, pp. 222-226, 2008.

[2] Siqing Li, Wayne Xin Zhao, Eddy Jing Yin, and Ji-Rong Wen. A neural citation count prediction model based on peer review text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 49144924, 2019.

[3] Thomas van Dongen, Gideon Maillette de Buy Wenniger, and Lambert Schomaker. SChuBERT: Scholarly document chunks with BERT-encoding boost citation count prediction. In Proceedings of the First Workshop on Scholarly Document Processing (SDP), pp. 148-157, 2020.

[4] Gideon Maillette de Buy Wenniger, Thomas van Dongen, Eleri Aedmaa, Herbert Teun Kruitbosch, Edwin A. Valentijn, and Lambert Schomaker. Structure-tags improve text classification for scholarly document quality prediction. In Proceedings of the First Workshop on Scholarly Document Processing (SDP), pp. 158-167, 2020.

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems (NeurIPS), Vol. 30, 2017.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (NAACL), pp. 41714186, 2019.

[7] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Dropout: A simple way to prevent neural networks from overfitting. Journal of Machine Learning Research (JMLR), Vol. 15, No. 56, pp. 1929-1958, 2014.

[8] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP): System Demonstrations, pp. 38-45, 2020.

[9] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientific text. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Process- ing (EMNLP-IJCNLP), pp. 3615-3620, 2019.

[10] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations (ICLR), 2019.

## A 被引用数補完の性能

被引用数補完性能の評価結果を表 3 に示す。評価は，被引用数補完前，被引用数補完後のデータセットごとに，全論文の 1 年後の被引用数を正解データセットした場合の，被引用数のスピアマンの順位相関係数 $(\rho)$ ，および，正解データにおいて上位 $10 \%$ に含まれる論文がどのくらい上位 $10 \%$ に含まれるかの値 $(10 \% @ 10 \%)$ により行った．評価データには 3.1 節で述べた， 12 個のデータセットを用い，各評価指標の平均値と標準偏差を算出した。

表 3 被引用数補完の評価結果 (評価値 $\times 100$ )

## B 各データセットのサイズ

2019 年 7 月 2020 年 6 月の各月に arXiv 上で cs.CL カテゴリで発表された論文集合をそれぞれ評価セットとする 12 個のデータセットの統計値を表 4 に示す.

表 4 各データセットの論文数

## Ｃ各データセットにおける実験結果

3 節で行った実験の，各データセットごとの実験結果を示す。各評価指標のうち，表 5 にはスピアマンの順位相関係数，表 6 には $10 \%$ @10\%の結果を示す.

表 5 各データセットにおける実験結果 (スピアマンの順位相関係数 $\times 100$ )

表 6 各データセットにおける実験結果 $(10 \% @ 10 \% \times 100)$