DEIM Forum 2015 B3-2

サーベイ論文作成支援のための引用論文推薦
飯沼 俊平†

難波 英嗣†

竹澤 寿幸†† 広島市立大学大学院 情報科学研究科 〒 731–3194 広島市安佐南区大塚東三丁目 4 番 1 号
E-mail: †{iinuma,nanba,takezawa}@ls.info.hiroshima-cu.ac.jp
あらまし

学術情報量が爆発的に増加している今日，研究者が関連論文全てに目を通し，利用することが困難になっている．このような状況から，特定の研究分野に関連したサーベイ論文や専門書籍の必要性が高まっている．先行研
究では，論文間の引用関係に着目し，引用論文データベースからサーベイ論文を自動的に検出する手法が提案されている．しかし，研究者が知りたい分野のサーベイ論文を見つけても，その論文が何年も前に執筆されたものであった
場合，最新の研究動向を把握することができない．本研究では，既存サーベイ論文をもとに，そこに加えるべき新しい論文の推薦を試みる．
キーワード

情報推薦，学術論文，サーベイ論文作成支援

1. は じ め に象となる複数のテキストから重要と思われる個所を抽出し，それらを並べて出力するという手法が一般的であった．しかし，研究者数の増加，学問分野の專門分化と共に学術情報量が爆

この方法では，サーベイ論文のような非常に長い文書を自動生発的に増加している今日，研究者が入手できる論文の量も増え成するのは困難である．その理由は，現在の自然言語処理技術る一方で，人間の処理能力の限界から，入手した論文全てに目は，文間の結束性などの局所的な情報を考慮してボトムアップを通し利用することが益々困難になっている．このような状況に文脈を生成することは可能でも，大域的な観点から非常に長にあって，特定の研究分野に関連したサーベイ論文や専門書籍

い文書の文脈をするまでには至っていないからである．これにの必要性は高まる一方である．例えば，医学分野ではコクラン

対し，我々が目指している手法では，大域的な観点については共同計画のもと，サーベイ論文の作成と更新が定期的に行われサーベイ論文の著者の視点を利用することで文書全体の構造をている．しかし，それ以外の研究領域では同様の仕組みが整備維持しつつ，局所的な文脈解析および文脈生成技術を用いて既されていないため，研究者が知りたい分野のサーベイ論文を見存のサーベイ論文に最新研究の情報を追加することで，従来のつけても，その論文が何年も前に執筆されていて，最新の研究複数テキスト要約手法よりも非常に長い文書の生成が可能とな動向を含んでいない，あるいは，該当分野のサーベイ論文自体ると考えている．

が存在しないことがある．

本研究では，上述したサーベイ論文の自動作成に必要な要素

このような状況を改善するため，これまでに，研究者が行技術である，既存サーベイ論文に追加すべき新しい論文の検索うサーベイ論文の執筆を支援するシステムを開発する研究を試みる．すなわち，既存サーベイ論文や専門図書をもとに，や [6], [7]，サーベイ論文そのものを複数の論文から自動生成すそこに追加すべき新しい論文を検索する．サーベイ論文の自動る研究 [5] が行われてきている．Nanba らは，論文間の引用関作成には至らずとも，新しい関連論文を示すことで，さまざま係に着目し，引用論文データベースからサーベイ論文を自動的な研究分野のサーベイの効率化につながると考えられる．に検出する手法を提案している [7]．この手法により，もし研究者が必要とする分野のサーベイ論文が検出されれば，その2. 関 連 研 究分野の効率的なサーベイが可能となるが，上述のとおり，検出サーベイ論文は，複数論文の要約と捉えることができ，実際されたサーベイが最新の研究動向を含んでいるとは限らない．に，一般的な複数テキスト要約手法を用いてサーベイ論文を自Mohammad らは，論文間の引用関係などを利用して，サーベ動作成する試みがなされている [5]．また，特定の論文に対し関イ論文の自動作成を試みている．この手法は，要約対象となる連研究の要約を自動生成するなど [2]，学術論文に特化した複数複数のテキストから重要文を抽出し，抽出された文間の結束性テキスト要約手法が提案されている．Hoang らは，トピック木を考慮して並べることにより要約作成を行う，一般的な複数テを要約を構成する際の補助的なデータとして用い，複数論文かキスト要約の手法に基づくものである．しかしながら，現状でら関連研究の要約を自動作成している．Jaidka らは，学術論文は数文程度の非常に短い分野の概要を生成する程度にとどまっ中の関連研究の要約が持つ，先行研究との比較や研究の位置づている．

けを示すなどの修辞的な役割に着目し，複数論文要約のための我々は，Nanba らの研究を発展させ，検出されたサーベイ枠組みを考案している [3]．要約を作成する際，どのような観点論文に新しい研究を追加することにより，最新の研究動向を含から情報をまとめるか，ということが非常に重要であり，我々んだサーベイ論文の自動作成を目指している．Mohammad ら

は既存サーベイ論文が持つ構造を，要約を構成する際の手がかの研究に代表される従来の複数テキスト要約技術では，要約対りとして用いることができると考えている．

サーベイ論文自動作成には，自動要約技術に加え，要約対象•

text-sim(text(s), N ): 入力された本文 text(s) と，全文とする論文検索技術が必要である．研究者に対し，過去に執筆との類似度が高い論文を上位 |ref({s})| × N 件取得する．ここ

した論文やそれらの引用関係をもとに学術論文を推薦する研究

では，text(s) に高頻度で出現する名詞句，上位 50 件を用いる．

が行われている．Sugiyama らは，協調フィルタリングを学術•

meta-sim(ref({s}), N ): 入力が引用している論文と，著論文の引用ネットワークに適用して潜在的引用論文（potential

者名，タイトル，出典 (会議名，ジャーナル名) が類似する論

citation paper; 明示的な引用はなされていないが，関係性が高文を上位 |ref({s})| × N 件取得する．ここでは，ref({s}) に含い論文）を検出し，引用ネットワークに加えて利用することで，まれる論文の著者名，タイトル，出典に出現する単語を頻度で高い推薦精度が得られることを示している [9]．He らは，ノン重み付けして，フィールドごとに類似度を算出し，その和を用パラメトリックな確率モデルにもとづく引用文献推薦システムいる．

（注 1）

を CiteSeer

にて構築しており [1]，論文のタイトル，概要，•

citance-sim(citances(s), N ): 入 力 に 含 ま れ る 引 用 文

引用が必要なコンテキストを入力とし，その論文が全体としてcitances(s) と 類 似 す る 引 用 文 で 言 及 さ れ て い る 論 文 を ，引用すべき論文と，入力されたコンテキストで引用すべき論文

p ∈ ref({s}) ごとに上位 N 件ずつ取得する．

を推薦する．コンテキストを入力として論文を検索するという

3. 2 ランキング

意味では本研究と類似しているが，本研究では，入力では直接本節では，3. 1 節で説明した手法により得られた論文をラン言及されていない新しい論文の検索を目的としている．

3. 追加すべき論文の検索キングし，追加すべき論文を決定する手法について述べる．3. 1
節で説明したように，ある論文を新しいサーベイ論文に含めるか否かは，引用関係や内容の類似度，メタ情報 (e.g. 著者名，問題設定会議名) など，様々な観点から評価することができる．本研究

特定の研究分野に関するサーベイ論文または専門書籍の本文，で用いる指標を次に示す．

および，そこで言及されている論文集合 (書誌情報のみ) を入力として，そこに追加すべき新しい論文集合を出力する．引用論
文データベースを検索対象とし，それらから抽出された引用文が利用可能であると仮定する．

3. 1 追加すべき論文の候補•

text-sim: 入力サーベイ論文の本文と，対象論文の本文(全文) との類似度．候補の取得に用いる text-sim() と同様．
•citance-sim: 入力サーベイ論文に含まれる引用文と，引用文データベースに存在する対象論文に関する引用文との類似度の最大値．

既存サーベイ論文に追加すべき論文の候補を取得する手法に•

cite-count: 対象論文の被引用数．

ついて，引用関係，入力サーベイや引用論文の書誌情報との類•

cocite-count: 対象論文が，入力サーベイ論文で言及さ似度に基づく手法を説明する．なお，得られた論文集合は，適れている論文と共引用された回数．被引用数から分かる重要度

合文書の網羅率および集合のサイズを基に評価を行う．

だけでなく，入力サーベイとの関連度を表すことが期待できる．

論文間の引用ネットワークは，著者が，無数に存在する関連•

meta-sim (author-sim，title-sim，venue-sim): 候補の論文の中から選択した論文から成り，特に関連性の高い論文が取得に用いる meta-sim() では著者名，タイトル，出典の類似取得出来ることが期待できる．ここで，入力サーベイ論文を s，度の和を用いていたが，ここでは，それぞれを一つの指標とし論文集合 P のいずれかを引用している論文集合を cite(P )，論て扱う．著者や会議，ジャーナルのオーソリティを表すことが文集合 P のいずれかが引用している被引用論文集合を ref(P )期待できる．と表記する．

•cite(ref({s})): 入力サーベイ論文が引用している論文集

合 ref({s}) の内，いずれかを引用している論文集合．

•cite(cite(ref({s}))): cite(ref({s})) のいずれかを引用している論文集合．

•ref(cite(ref({s}))): cite(ref({s})) のいずれかが引用している論文集合．すなわち，入力サーベイ論文が引用している論文 ref({s}) のいずれかと共引用の関係にある論文．

•cite(ref(cite(ref({s})))): ref(cite(ref({s}))) のいずれかを引用している論文集合．

以上で説明した指標で得られたスコアの重み付き線形和を対象論文のスコアとし，ランキングを行う．本研究では，Ranking

SVM を用いて指標の重みを学習する．

4. 実

験

4. 1 実 験 方 法
改訂版が出版されている専門書籍を用いて，旧版をもとに，新版で追加された論文を検索することで手法の有効性を検証する．例えば，特定分野に関する専門書籍の第 1 版と，そこで引用されている文献集合をシステムへの入力とし，新しい論文をある論文に関連性の高い論文が多数存在していても，実際に検索する．第 2 版で追加された論文を適合文書とし，検索結果引用される論文数はページ数の制限などにより，非常に限られを評価する．ただし，専門書すべてを入力とすると，内容が広たものになる．入力された本文や，そこで引用されている論文範囲になってしまうため，特定の分野に関する一章を入力とし，の書誌情報との類似性を基に候補を取得する．なお，テキスト対応する新版の章で追加された論文を適合文書とする．

間の類似性尺度には，Okapi BM25 [8] を用いる．

4. 2 データセット
表 1 に評価データとして用いる専門書籍を示す．書籍は OCR（注 1）：http://citeseerx.ist.psu.edu/によリテキスト化し，人手でテキストと引用文献リストが章単位で利用可能な xml 形式に整形した．

5. 結

表 1 評価に用いる専門書籍（括弧内の数値は出版年を表す．
）
書籍タイトル“Information Retrieval”（注 2）“Modern Information Retrieval”（注 3）“Speech and Language Processing”（注 4）“Modern Operating Systems”（注 5）

旧版
1st ed.
(1998)
1st ed.
(1999)
1st ed.
(2000)
2nd ed.
(2001)

新版
2nd ed.
(2004)
2nd ed.
(2011)
2nd ed.
(2009)
3rd ed.
(2007)

果

5. 1 追加すべき論文の候補
表 2 に，取得した論文集合に関して，適合文書の網羅率およびサイズを示す．引用関係で論文を取得した場合，単体ではref(cite(ref({s}))) (入力サーベイ論文が引用している論文のいずれかと共引用の関係にある論文) が，比較的小さいサイズで高い網羅率を得ている．cite(ref(cite(ref({s})))) (入力サーベ
イ論文が引用している論文と共引用関係にある論文のいずれかを引用している論文集合) の網羅率が 0.618 と最も高いが，適4. 1 節で説明したように，章単位での実験を行う．例えば，“Modern Information Retrieval” 第 1 版 の 3 章（RetrievalEvaluation）および，そこで参照している文献リストをシステムへの入力とし，第 2 版の 4 章（Retrieval Evaluation）で新たに追加された論文を検索する．このように，タイトルが同一，または類似する旧版と新版の章のペアを 36 組作成し，評価データとした．なお，新版で追加された文献には Web ページや技術仕様書なども含まれているが，本研究では学術論文のみを検索対象とする．適合文書数はトピック平均 36.7 件である．検索対象としては，CiteSeer の全文データ 2,133,683 件と合文書数が 36.7 件であることを考慮すると，候補のサイズが76,303 件と非常に大きい．
本文や書誌情報の類似を用いても 6 割程度収集できるが，引用関係を複数回辿った場合と同様，サイズが大きくなってしまう (text-sim(text(s), 300)，meta-sim(ref({s}), 300))．引用文の類似性を利用した場合も同様で (citance-sim)，取得件数を増加させても，網羅率に大きな改善は見られない．サイズが10,000 件前後に収まるように，和集合をとって網羅率を調査した結果 ref(cite(ref({s}))) ∪ meta-sim(ref({s}), 100) (共引用の関係にある論文と書誌情報が似ている論文) が最も高い網羅率

そこから抽出した引用文 49,440,114 件を補助的なデータとしを得た．よって，以降のランキングの実験はこれらの論文集合て用いる．適合文書のうち CiteSeer に含まれていない論文は，を対象に行なった．

人手で Google Scholar で検索し，データベースに追加した．なお，引用文は ParsCit（注 6） によって抽出された引用箇所のうち，表 2 候補セットの比較（サイズはトピック平均）

文中に “Nanba 2010” や “[2]” のように，引用が明示されてい候補セット網羅率

サイズる文のみを用いる．

cite(ref({s}))

0.329

3,567

4. 3 比 較 手 法

ref(cite(ref({s})))

0.569

8,248

提案手法の有効性を検証するために，次に示す手法でランキcite(cite(ref({s})))0.462 12,736

cite(ref(cite(ref({s}))))

0.618 76,303

all-feature (提案手法): 3. 2 節で説明した指標すべてをtext-sim(text(s), 100)0.477用いてスコアを算出する．ここでは，各スコアを [0, 1] に正規

text-sim(text(s), 200)

0.578 12,272

化し，重みは設定せずに足し合わせる．

text-sim(text(s), 300)

0.627 18,389

meta-sim(ref({s}), 100)0.468meta-sim(ref({s}), 200)0.557 10,575ングを行い，結果を比較する．

••

RankSVM (提案手法): 指標の重みを Ranking SVM [4]を用いて学習し，スコア算出の際に用いる．実験の際は，表 1

6,142

5,265

meta-sim(ref({s}), 300)

0.598 15,895のデータを用いて 4 分割交叉検定を行う．訓練データに関して

citance-sim(citances(s), 100)

0.262

1,938

は，取得した候補のうち正解以外はすべて負例として Pairwisecitance-sim(citances(s), 200)

0.339

3,626

学習を行う．

citance-sim(citances(s), 300)

0.387

5,210

•

PageRank: 得られた論文の候補に対して PageRank を適用し，スコアを算出する．

•HITS: PageRank と同様，リンク構造からスコアを算出

ref(cite(ref({s}))) ∪ cite(ref({s}))0.663 10,979

ref(cite(ref({s}))) ∪ text-sim(text(s), 100)0.726 13,638

ref(cite(ref({s}))) ∪ meta-sim(ref({s}), 100)0.746 12,795する手法である．ランキングにはオーソリティスコアを用いる．
この他，指標を単体で用いた場合とも比較を行う．評価尺度には，再現率および MRR (Mean reciprocal rank) を用いて評価する．

5. 2 ランキング
5. 1 節で比較的高い網羅率を得た論文集合 ref(cite(ref({s})))∪
meta-sim(ref({s}), 100) を対象にランキングを行なった．上位
k 件の再現率を図 1，MRR による評価結果を表 3 に示す．なお，（注 2）：by David A. Grossman and Ophir Frieder. Springer.

PageRank，HITS，引用数により算出したスコアをもとにラン（注 3）：by Ricardo Baeza-Yates and Berthier Ribeiro-Neto. Addison

キングした結果，上位 300 件での再現率がそれぞれ，0.00491，Wesley.

0.0279，0.0694 と非常に低い値であったため，図 1 からは省略（注 4）：by Daniel Jurafsky and James H. Martin. Prentice Hall
（注 5）：by Andrew S. Tanenbaum. Prentice Hall
（注 6）：http://aye.comp.nus.edu.sg/parsCit/

している．図 1 より，すべての指標を用いた RankSVM が最も高い再現率を得ることができた．一方 MRR による評価では，指標の重みを考慮しない all-feature により最も高い値を得た．

度であり，実際に取得できた適合文書は非常に少ない．しかし，指標単体で見ると，共引用数 (cocite-count) が最も有効な指標取得した論文を確認したところ，非常に関連性の高い論文を取であることがわかる．

得できていることがわかった．表 4，5 に取得した論文の例を示す．いずれも，新版には追加されなかったが，入力と関連性が高く被引用数も多い論文を含んでおり，提案手法が有効であることがわかる．ランキングを困難にしている原因は，関連論文の多さにあると考えている．特に，複数の分野に関わりのあるテーマの場合は難しくなる．たとえば，表 5 の “Deadlock”
は，複数のプロセスが動作するシステムで発生しうる問題であり，オペレーティングシステムだけでなく，データベースやプログラミング言語処理系など，関係のある分野が多数存在する．
表 4 “Distributed Information Retrieval” (In Information Re-trieval, 1st ed.) を入力として得られた論文
順位 書誌情報

1 Kleinberg. 1999. “Authoritative sources in a

適合性

true

hyperlinked environment.” J. ACM
図 1 上位 k 件の再現率

2 Xu. 1999. “Cluster-based language models

false

for distributed retrieval.” SIGIR ’99.
表 3 MRR による評価
ランキング手法

3 Callan. 2001. “Query-based sampling of text

MRR

all-feature (our method)

0.447

RankSVM (our method)

0.385

cocite-count

0.316

meta-sim

0.236

citance-sim

0.193

text-sim

0.106

1 Subramonian. 2004. “Middleware specializa-

cite-count

0.047

tion for memory-constrained networked em-PageRank

0.022

HITS (authority)

false

databases.” ACM Trans. Inf. Syst.

0.018

表 5 “Deadlocks” (In Modern Operating Systems, 2nd ed.) を入力として得られた論文
順位 書誌情報

適合性

falsebedded systems.” RTAS ’04.
2 Azougagh. 2005. “Resource co-allocation: afalse

complementary technique that enhances performance in Grid computing environment.”

6. 考察

候補を取得する実験では，共引用関係，論文の出典情報が比ICPADS ’05.
3 Damron. 2006. “Hybrid transactional mem-falseory.” ASPLOS XII.

較的有用であることがわかった．また，ランキングの実験では，特に共引用数が有効であることがわかった．入力サーベイ論文が引用している論文と共引用された回数が多いということは，

7. お わ り にもともと引用されている論文との関連性が高く，さらに，引用本研究では，既存サーベイをもとに，そこに追加すべき新し数が多ければ重要であると考えることができる．しかし，すべい論文の検索を試みた．実験では，特に共引用関係が重要な指ての論文からの引用数や PageRank，HITS をランキングに利標であることがわかり，リンク構造を利用した PageRank や用した場合，再現率，MRR ともに非常に低い値となった．実HITS などと比べ，高い再現率を得ることが出来た．しかし，験に用いた書籍は，旧版が出版されてから新版が出版されるま共引用数をもとにした場合，入力で言及されている論文が古くで，平均約 8 年経過している．そのため，追加すべき論文の候なるにつれて単位時間あたりの被引用数は減少するため，最新補の数も，適合文書数と比較すると非常に大きくなる．実験での論文を取得することは難しくなる．今回，ランキングの対象は，適合文書の 7 割を網羅するためには 1 万件以上の論文を収とした論文集合にも，一度も共引用されていない論文が含まれ集する必要があった．候補が増加と共に，引用数が多いが入力ていた．一度にすべての論文を取得しようとするのではなく，との関連性が低い論文も増加したため，単純な引用関係のみで，検索対象を年代で区切り，見つかった論文を入力に追加・再検

入力サーベイ論文との関連性を十分に捉えることが困難になっ索を繰り返すことで，改善されるのではないかと考えている．

たと考えられる．
最も高い再現率を得た RankSVM でも，上位 100 件で 0.2 程参考文

献[1] Qi He, Jian Pei, Daniel Kifer, Prasenjit Mitra, and Lee
Giles. Context-aware Citation Recommendation. In Proceedings of the 19th International Conference on World
Wide Web, WWW ’10, pp. 421–430, 2010.
[2] Cong Duy Vu Hoang and Min-Yen Kan. Towards Automated Related Work Summarization. In Proceedings of the23rd International Conference on Computational Linguistics: Posters, COLING ’10, pp. 427–435, 2010.
[3] Kokil Jaidka, Christopher Khoo, and Jin-Cheon Na. Deconstructing Human Literature Reviews - A Framework forMulti-Document Summarization. In Proceedings of the 14thEuropean Workshop on Natural Language Generation, pp.
125–135, August 2013.
[4] Thorsten Joachims. Training Linear SVMs in Linear Time.
In Proceedings of the 12th ACM SIGKDD international
conference on Knowledge discovery and data mining, KDD’06, p. 217, New York, New York, USA, 2006. ACM Press.
[5] Saif Mohammad, Bonnie Dorr, Melissa Egan, Ahmed Hassan, Pradeep Muthukrishan, Vahed Qazvinian, DragomirRadev, and David Zajic. Using Citations to Generate Surveys of Scientific Paradigms. In Proceedings of Human Language Technologies: The 2009 Annual Conference of theNorth American Chapter of the Association for Computational Linguistics, NAACL ’09, pp. 584–592, 2009.
[6] Hidetsugu Nanba, Atsushi Fujii, Mokoto Iwayama, and Taiichi Hashimoto. Overview of the Patent Mining Task atthe NTCIR-8 Workshop. In Proceedings of the 8th NTCIR
Workshop Meeting on Evaluation of Information AccessTechnologies: Information Retrieval, Question Answeringand Cross-lingual Information Access, pp. 293–302, 2010.
[7] Hidetsugu Nanba and Manabu Okumura. Automatic Detection of Survey Articles. In Proceedings of the 9th European
Conference on Research and Advanced Technology for Digital Libraries, ECDL’05, pp. 391–401, 2005.
[8] Stephen Robertson and Stephen Walker. Some Simple Effective Approximations to the 2-poisson Model for Probabilistic Weighted Retrieval. In Proceedings of the 17th
Annual International ACM SIGIR Conference on Researchand Development in Information Retrieval, SIGIR ’94, pp.
232–241, 1994.
[9] Kazunari Sugiyama and Min-Yen Kan. Exploiting Potential Citation Papers in Scholarly Paper Recommendation.
In Proceedings of the 13th ACM/IEEE-CS Joint Conference on Digital Libraries, JCDL ’13, pp. 153–162, 2013.