新情報の追加によるサーベイ論文の作成支援
飯沼 俊平 †

難波 英嗣 ‡†‡

広島市立大学情報科学部

竹澤 寿幸 ‡

広島市立大学大学院情報科学研究科{iinuma,nanba,takezawa}@ls.info.hiroshima-cu.ac.jp

1 はじめに観点から情報をまとめるか，ということが非常に重要であり，我々は既存サーベイ論文が持つ構造を，要約を構

研究者数の増加，学問分野の専門分化と共に学術情報成する際の手がかりとして用いることができると考えて量が爆発的に増加している今日，研究者が入手できる論いる．TAC*1 では，更新情報の要約を自動作成するタス文の量も増える一方で，人間の処理能力の限界から，入クが提起されている [Dang 08]．ユーザが古い文書集合手した論文全てに目を通し利用することが困難になってB を読んでいると仮定し，新しい文書集合 U から更新情いる. このような状況にあって，特定の研究分野に関連報の要約を作成することがタスクの目的である．ニューしたサーベイ論文や専門書籍の必要性は高まる一方であス記事に対してさまざまな実験が行われているが，B をる．Nanba らは，論文間の引用関係に着目し，引用論文既存サーベイ論文，U をそこに追加すべき新しい論文集データベースからサーベイ論文を自動的に検出する手法

合とすれば，このタスクでの研究成果をサーベイ論文自を提案している [Nanba 05]．しかし，この手法により検動作成に応用可能であると考えられる．

出されたサーベイが何年も前に執筆されたものであった

サーベイ論文自動作成には，自動要約技術に加え，要約場合，最新の研究動向を把握することができない．我々対象とする論文検索技術が必要である．研究者に対し，は，Nanba らの研究を発展させ，検出されたサーベイ論過去に執筆した論文やそれらの引用関係をもとに学術論文に新しい研究を追加することにより，最新の研究動向文を推薦する研究が行われている．Sugiyama らは，協を含んだサーベイ論文の自動作成を目指している．その調フィルタリングを学術論文の引用ネットワークに適ための第一歩として，本研究では既存サーベイ論文をも用して潜在的引用論文（potential citation paper; 明示とに，そこでは言及されていない新しい論文の検索を試的な引用はなされていないが，関係性が高い論文）を検みる．

出し，引用ネットワークに加えて利用することで，高い2 関連研究推薦精度が得られることを示している [Sugiyama 13]．

He らは，ノンパラメトリックな確率モデルにもとづくサーベイ論文は，複数論文の要約と捉えることがで

引用文献推薦システムを CiteSeer*2 にて構築しており

き ，実 際 に ，一 般 的 な 複 数 テ キ ス ト 要 約 手 法 を 用 い[He 10]，論文のタイトル，概要，引用が必要なコンテキてサーベイ論文を自動作成する試みがなされている

ストを入力とし，その論文が全体として引用すべき論文[Mohammad 09]．また，特定の論文に対し関連研究のと，入力されたコンテキストで引用すべき論文を推薦す要約を自動生成するなど [Hoang 10]，学術論文に特化しる．コンテキストを入力として論文を検索するという意た複数テキスト要約手法が提案されている．Hoang ら味では本研究と類似しているが，我々が目指しているのは，トピック木を要約を構成する際の補助的なデータとはサーベイ論文自動作成であり，入力では言及されていして用い，複数論文から関連研究の要約を自動作成してない新しい関連論文の検索を目的としている．

いる．Jaidka らは，学術論文中の関連研究の要約が持つ，先行研究との比較や研究の位置づけを示すなどの修辞的な役割に着目し，複数論文要約のための枠組みを考案している [Jaidka 13]．要約を作成する際，どのような*1 http://www.nist.gov/tac/*2 http://citeseerx.ist.psu.edu/

3 追加すべき論文の検索

実験方法
情報分野の専門書籍 4 冊の旧版の一章と，そこで言及

本節では，既存サーベイ論文に追加すべき論文の検索されている文献を入力，対応する新版の章で追加された手法について説明する．引用論文データーベース P を論文を適合文書とみなし，正解データを 43 トピック作

検索対象とし，それらから抽出された引用箇所（citation

成した．CiteSeer の全文テキストを含む書誌情報デーcontext; 引用文献に関して言及している箇所）C が利用

タ 2,000,380 件を検索対象 P とし，それらから抽出さ可能であると仮定する．

れた引用箇所 18,028,360 件を C として用いる．なお，c入力として，サーベイ論文または専門書籍の特定のト(∈ C) は参照部分から前後 200 文字ずつ抽出されたテキピックに関する一部（節，章）s と，そこで言及されていストである．正解データとして用いる専門書籍を表 1 にる論文集合 D が与えられ，これらをもとに論文 p (∈ P )示す．たとえば，“Modern Information Retrieval” 第 1のスコアを算出する．被引用数が多い論文ほど重要度が版の 3 章（Retrieval Evaluation）および，そこで言及高いと考えられるが，特に，d (∈ D) との共引用関係をされている文献集合をシステムへの入力とし，第 2 版の利用することで，特定分野内での重要度を測ることがで4 章（Retrieval Evaluation）で新たに追加された論文きると考えらる．また，ある論文に関する引用箇所は，を検索する．適合文書数はトピック平均 17.5 件である．

他の研究者がその論文に見出した関連性や新規性などのなお，新版の内容を最新の動向情報と仮定するため，検注目すべき点を示しており，引用箇所間の類似性が高け索を行う際，新版の出版年よりも後に発表された論文はれば，対応する論文対の類似性，関連性が高いと考えら検索対象としない．また，引用関係を用いる場合も新版れる．上記の考えに基づき，次の 2 つの評価尺度を提案の出版年以前の論文のみを用いる．検索結果は再現率おする．なお，テキスト間の類似性尺度として BM25 を用よび MRR で評価する．

いる．

co-count (co-citation count): d (∈ D) との共引用
数を被引用半減期*3 で割った値を co-count1，共引用関係にある D 内の文書数を co-count2．2 つを統合したも*4のを co-count とする．

l-sim (local similarity): s 中の D に関する引用箇所
Cs と，論文 p に関するすべての引用箇所 cp (∈ C) との類似度を算出し，その最大値を論文 p の l-sim1 とする．引用箇所が他の研究者の観点からの要約であるのに

表1

正解データとして用いる専門書籍（括弧内の数

値は出版年を表す．）
書籍タイトル“Information Retrieval”*5“Modern Information Retrieval”*6“Speech and Language Processing”*7“Modern Operating Systems”*8

旧版

新版

1st ed.
(1998)
1st ed.
(1999)
1st ed.
(2000)
2nd ed.
(2001)

2nd ed.
(2004)
2nd ed.
(2011)
2nd ed.
(2009)
3rd ed.
(2007)

対し，概要は著者自身の観点からの要約である．引用箇所を概要で代用し，Cs と p の概要との類似度を l-sim2追加すべき論文の候補とする．2 つを統合したものを l-sim とする．なお，大予備実験により D と共引用の関係にある論文集合域的な類似性も必要であるため，l-sim は，入力 s と p

Dco に適合文書の約 7 割が含まれることがわかっておの全文との類似度 g-sim と統合して使用する．

り，それらに対して順位付けを行う．なお，Dco の論文

4 実験
3 節で提案した共引用関係に基づく手法 co-count，引用箇所間の類似性に基づく手法 l-sim の有効性を検証す

数は約 1 万件（トピック平均）である．
比較手法
次に挙げる手法を用いた場合と比較することで，提案手法の有効性を検証する．

るために実験を行った．
*5 by David A. Grossman and Ophir Frieder. Springer.
*3 論文の被引用数の各年毎の累計が，引用された総数の 50% に至るまでの現在から過去への年数*4 スコアを統合する際は，1 位のスコアが 1 になるように正規化したうえで足し合わせる．

*6 by Ricardo Baeza-Yates and Berthier Ribeiro-Neto. Ad-dison Wesley.
*7 by Daniel Jurafsky and James H. Martin. Prentice Hall
*8 by Andrew S. Tanenbaum. Prentice Hall

PageRank: Dco ∪ Dcite *9 の引用ネットワークに対し

表 2 引用関係に基づく順位付け結果：MRR による評価て PageRank を適用しスコアを算出する．
PageRank-bi: 引用関係にある論文対に，双方向にリンクを持たせて，PageRank を適用する．
HITS: PageRank と同様に，リンク構造からスコアを算出する手法である．オーソリティスコアを用いる．
g-count (global citation count): 被引用数を被引用半順位付け手法MRR

PageRank
PageRank-bi
HITS
g-count
l-count
co-count1 (Our method)co-count2 (Our method)

0.083
0.142
0.115
0.053
0.152
0.196
0.239

減期で割った値をスコアとする．
l-count (local citation count): Dco ∪ Dcite からの被引用数を被引用半減期で割った値をスコアとする．
g-sim (global similarity): 入力サーベイ s と論文 p の全文との類似度．

引用箇所間の類似性に基づく手法 l-sim と，g-sim による結果を図 2，表 3 に示す．入力サーベイと全文との類似度 g-sim に，引用箇所間の類似度 l-sim1，および，引用箇所と概要との類似度 l-sim2 を加えた場合に MRR

5 結果および考察共引用関係に基づく手法 co-count と，その他の引用関係に基づく手法による結果を図 1，表 2 に示す．Dとの共引用回数 co-count1，共引用された D 内の文書が最大になっている．引用箇所は，他の研究者が捉えた論文の特徴と考えることができ，これらの類似性を考慮することで，より関連性の高い論文が取得可能であることを示している．

数 co-count2 が比較的高い再現率を得ており，MRR は0.40が最も高くなっている．g-count は再現率，MRR 共に0.35最も低く，Dco ∪ Dcite からの被引用数である l-count が0.30比較的高い再現率を得た．すなわち，ある論文集合内で0.25の被引用数が多ければ，その分野に限定して特に重要な

recallco-count2 が最も高く，k = 25 の時 co-count2 の再現率0.20論文であるといえる．また，共引用関係を利用すること0.15で，さらに分野を限定した重要度の評価を行うことがで0.10きたと考えられる．

0.00
25

PageRank
PageRank-biHITS
g-count
l-count
co-count1 (Our method)co-count2 (Our method)

0.35
0.30

recall

0.25
0.20

g-sim
g-sim + l-sim1 (Our method)g-sim + l-sim2 (Our method)g-sim + l-sim (Our method)

0.05

図25075100 125 150 175 200 225 250 275 300
top k

内容の類似性に基づく順位付け結果：上位 k 件の再現率

表3

内容の類似性に基づく順位付け結果：MRR による評価

0.15
0.10
0.05
0.00
25

図15075100 125 150 175 200 225 250 275 300
top k

引用関係に基づく順位付け結果：上位 k 件の再現率

順位付け手法MRR

g-sim
g-sim + l-sim1 (Our method)g-sim + l-sim2 (Our method)g-sim + l-sim (Our method)

0.149
0.271
0.221
0.333

co-count と l-sim を組み合わて実験を行った．なお，
l-count + g-sim，PageRank-bi + g-sim は共引用関係および引用箇所を用いない場合の比較手法として挙げた．

*9 Dcite は D を引用している論文集合

結果を図 3，表 4 に示す，l-count + g-sim，PageRank-bi

+ g-sim と比べ，co-count，l-sim を用いた手法での再現率，MRR が高く，提案手法が有効であることがわかった．

既存サーベイ論文をもとに，そこに追加すべき新しい論文の検索を試みた．共引用関係をもとに重要度を評価

0.40

し，既存サーベイ論文との類似性に加え，引用箇所間の0.35類似性を考慮することで，特に関連性の高い論文を取得

0.30可能であることを示した．今後の課題として，追加すべ

recall0.25

き論文の候補全体にどのような研究課題があり，年度別0.20に見てどのような技術要素が注目を集めているか，など，

0.15

l-count + g-sim
PageRank-bi + g-sim
co-count1 + g-sim + l-sim1 (Our method)co-count1 + g-sim + l-sim (Our method)co-count + g-sim + l-sim1 (Our method)co-count + g-sim + l-sim (Our method)

0.10
0.05
0.0025

図35075100 125 150 175 200 225 250 275 300
top k

引用関係および内容の類似性に基づく順位付け

結果：上位 k 件の再現率

表46 おわりに引用関係および内容の類似性に基づく順位付け

結果：MRR による評価
順位付け手法MRR

l-count + g-sim
PageRank-bi + g-sim
co-count1 + g-sim + l-sim1 (Our method)co-count1 + g-sim + l-sim (Our method)co-count + g-sim + l-sim1 (Our method)co-count + g-sim + l-sim (Our method)

0.216
0.185
0.323
0.356
0.321
0.373

トピックごとの分析

co-count + g-sim + l-sim を用いた検索結果上位 50件での再現率をトピックごとに調査した．再現率が高いトピックと低いトピックを比較すると，順位付けに用いた Dco の文書数に顕著な差が見られた．統計的構文解
析に関するトピックでは，再現率 0.56（正解数：20/36）に対して Dco の文書数は 4,372 件であり，インデクシン
グ（情報検索）に関するトピックでは再現率 0.64（正解数：9/14）に対して 7,173 件であった．マルチメディア
情報検索に関するトピックでは，再現率 0.07（正解数：1/14）に対し 24,532 件．マルチプロセッサに関するトピックでは，再現率 0.11（正解数：4/35）に対し 20,124件であり，候補の文書数が多い場合に再現率（上位 50 件の）が低くなる傾向にある．

d1 (∈ D) と d2 (∈ Dco ) を共引用している論文 d(∈ Dcite ) の中での d1 ，d2 の関係性（引用されている位置など）を考慮し，候補を絞る必要があるといえる．

候補全体に対して詳細な分析を行い， 順位付けの手がかりとする必要があると考えている．

参考文献[Dang 08] Dang, H. T. and Owczarzak, K.: Overview of
the TAC 2008 update summarization task, in Proceedings of Text Analysis Conference, pp. 1–16 (2008)[He 10] He, Q., Pei, J., Kifer, D., Mitra, P., and Giles, L.:Context-aware citation recommendation, in Proceedingsof the 19th International Conference on World WideWeb, WWW ’10, pp. 421–430 (2010)[Hoang 10] Hoang, C. D. V. and Kan, M.-Y.: Towards
automated related work summarization, in Proceedingsof the 23rd International Conference on ComputationalLinguistics: Posters, COLING ’10, pp. 427–435 (2010)[Jaidka 13] Jaidka, K., Khoo, C., and Na, J.-C.: Deconstructing Human Literature Reviews – A Framework forMulti-Document Summarization, in Proceedings of the14th European Workshop on Natural Language Generation, pp. 125–135 (2013)[Mohammad 09] Mohammad, S., Dorr, B., Egan, M., Hassan, A., Muthukrishan, P., Qazvinian, V., Radev, D.,
and Zajic, D.: Using Citations to Generate Surveysof Scientific Paradigms, in Proceedings of Human Language Technologies: The 2009 Annual Conference of theNorth American Chapter of the Association for Computational Linguistics, NAACL ’09, pp. 584–592 (2009)[Nanba 05] Nanba, H. and Okumura, M.: Automatic Detection of Survey Articles, in Proceedings of the 9th European Conference on Research and Advanced Technology for Digital Libraries, ECDL’05, pp. 391–401 (2005)[Sugiyama 13] Sugiyama, K. and Kan, M.-Y.: Exploiting
Potential Citation Papers in Scholarly Paper Recommendation, in Proceedings of the 13th ACM/IEEE-CS
Joint Conference on Digital Libraries, JCDL ’13, pp.
153–162 (2013)