研究内容の類似性に基づく科学技術
マップの開発Development of content-based map of science

国立研究開発法人科学技術振興機構

情報企画部主任調査員

川村隆浩

株式会社東芝研究開発センター、カーネギーメロン大学客員研究員等を経て 2015 年より現職。電気通信大学客員准教授、大阪大学非常勤講師、法政大学非常勤講師を兼任。主にデータ分析、機械学習に従事。博士（工学）

国立研究開発法人科学技術振興機構

情報企画部システムエンジニア

江上周作

2017 年より現職派遣。電気通信大学博士課程在籍。2018 年より日本学術振興会特別研究員（DC2）。ウェブ情報学の研究に従事。修士（工学）

国立研究開発法人科学技術振興機構

渡邊

戦略研究推進部主査

勝太郎

同機構情報企画部情報分析室を経て 2018 年より現職。修士（学際情報学）

1 はじめに性を導く手法では、ファンディングプロジェクト情報や被引用情報が十分でない最新の論文や特許等をマップ上

1965 年、Price らが科学的な手法による科学技術

216に表すことが難しかった。

、科学技術論文や特許

そこで本論文では内容的な類似性に基づく科学技術等の関係性を把握するべく、さまざまな科学技術マップ

マップの開発を目的とし、ニューラルネットワークを用（Map of Science）が作られてきた。これら科学技術

いてテキスト情報を多次元ベクトルに変換してベクトル

マップは、科学技術政策やファンディングに関する検討

間の距離から内容的な類似性を算出する手法を提案し、において、既になくてはならないツールとなっている。

既存手法よりも精度が良いことを示す。尚、本論文ではさまざまな指標と共にマップを精査することによって、先行発表［2, 3］ に対して、クラスタリング手法の詳細や科学技術に関係する企業は今後予想される変化に気づく

マップ分析機能の説明に加え、提案手法の有効性を検証ことができるかもしれない。また、既存の研究分野に基するため既存の内容ベース手法との詳細な比較を行っていて組織された研究所や大学は研究環境の変化を知るこいる。

の調査・研究を提唱して以来［1］とができる。さらに、ファンディング機関や政策決定者

以下、2 章にて関連研究を示し、3 章にて独自の文

はマップから定性的、定量的なメトリクスを得て、さま

書ベクトル化手法とその評価について説明する。さらにざまな分析を行い、知見を得ることができるだろう。し4 章にて開発した科学技術マップを紹介する。最後に 5

かしながら、引用・被引用分析に基づいて論文間の関係

章にてまとめと今後の課題を示す。

2 関連研究

これらの手法により、異なる機関・出版社間での論文比

SmallらによるMaps of Science（http://mapofscience.

論文間の類似性や関係性は測ることができなかった。こcom/）は、もっともよく知られた科学技術マップであの問題に対して、NIH Visual Browser［9, 10］では、カる。また、Borner らは Sci2 Tool［4］ においてさまざ

ルバック・ライブラー情報量［11］を用いて pLSA によっ

まな分析ツールを提供している［5］。国内では、NISTEPて各トピックへの分類確率を融合し、プロジェクト間のによるサイエンスマップ（http://www.nistep.go.jp/

類似性を計算している。しかしながら、この類似度はresearch/science-and-technology-indicators-

一定の規則に基づくトピック確率の融合であり、文のand-scientometrics/sciencemap） が し ば し ば 活

コンテキスト（文脈や語順）に基いて計算されたもの

用されている。これらのサイト、ツールでは論文や特とは言えない。他の研究も、いずれも TF-IDF（Term

許間の類似性は主に引用・被引用情報を用いた共引用

Frequency-Inverse Document Frequency）など論

分析や直接引用分析、または書誌結合などに基いて計

文内に含まれる語の集合（Bag-of-Words）間の類似性算されており、分野間の融合や協働をよく表すことがに基づく手法であり、文のコンテキストを考慮した手法

できるが、被引用数が十分でない論文や、引用（参考ではなかった。Boyack らは内容的類似性に関して包文献）情報が付いていない（または十分ではない）プ

括的な調査をしており［12］、大規模な医療文献セットを

ロジェクト情報や特許等には適用が難しい（但し、プクラスタリングするために 9 つの類似性判定手法を比ロジェクト情報にはいずれ成果論文が登録され、そ較している。その結果、タイトルと抄録文を対象とした

れ ら が 引 用 さ れ る こ と で 対 象 と な り 得 る だ ろ う ）。

BM25 手法［13］が他の TF-IDF や LSA、LDA に比べて一方、ファンディング機関や出版社はそれぞれ独自の優れていると結論づけている（但し、PubMed 固有の分類体系を構築し、論文の内容に基いてタグ付けを行っ

関連論文情報を使った手法を除く）。また、Waltmanてきた。一般に、1 論文に複数のタグが付けられるたらもまた論文をクラスタリングする際の関連性を測る指め、分野融合的な研究はそれらを見ることで判別でき標について比較を行っており［14］、やはり BM25 が他る。しかし、同じタグが付けられた論文同士であってその内容ベースの関連性指標よりも正確であることを示し

れらの類似性や関係性は測ることができない。ましてやている。そこで以下 3.2 節では提案手法と BM25 手法

複数のタグが付けられた分野融合的な論文が、既存のどとの比較を実施した。

較は可能となったが、依然として同じタグが付けられたこれに対して、近年、自然言語処理研究においては単

た、ファンディング機関や学術出版社、また特許におけ語および文書の分散表現として単語ベクトル、文書ベク

る分類体系はそれぞれ異なるため、異なる機関・出版

トルが注目を集めている。Firth による単語の意味はコ社の論文や特許間を比較することはできない。例えば、

ンテキストによって決定されるとする仮定［15］によれば、

ACM（Association for Computing Machinery）タ同様のコンテキストに現れる単語は同様の意味を持つとク ソ ノ ミ ー（https://www.acm.org/publications/

考えられる。そこで一般に、単語ベクトルはコーパス内

class-2012） が 付 与 さ れ た 論 文 を、Springerのある単語 w の前後 c 語内に出現する語との共起頻度

Nature 社の Springer Nature classification と比較の行列として表される。その 1 つが Mikolov らによっするには別途対応付けが必要である。

て提案された word2vec［16, 17］である。Word2vec とそ こ で、 論 文 の 内 容 的 類 似 性 に 基 づ く マ ッ プがこは、Skip-gram や Negative sampling によって改良

れ ま で も い く つ か 提 案 さ れ て い る。 例 え ば、pLSA

された 2 層のニューラルネットワークであり、具体的やには式（1）における目的関数 L（Likelihood）を最尤推定

LDA（Latent Dirichlet Allocation） を用いた自動することによって求められる。T は単語の総数を表す。

トピック抽出（分類）などが挙げられる。Griffiths らWord2vec では、ベクトル空間内で類似の意味を持つ

は、LDA を用いてあるトピックを表す 5 つの単語を抽単語は近い位置に配置される。

（probabilistic Latent Semantic Analysis）

［6］

［7］

出し、1 論文を複数のトピックの融合として表した［8］。

YEAR BOOK 2O18 217

特許情報の高度な情報処理技術の論文とどの程度似ているのかなどは判定できない。ま

3

【式1】

に以下のように設定した。対象は最低 5 回以上出現し式（1）た単語とし、次元数は 500、前後の単語巾 c は 10 とし、学習率と最低学習率はそれぞれ 0.025 と 0.0001 と一方で、Mikolov らは同様のニューラルネットワー

した。また、学習には Adaptive Gradient algorithm

クを用いて任意の長さの文書をベクトル化した文書ベクを使用し、モデルは階層的ソフトマックスを用いた

トルも提案している。単語ベクトルがコーパス全体

［18］

【式2】

Distributed Memory を用いた。

を通して共通であるのに対して、文書ベクトルは文書毎

しかしながら、既存の文書ベクトル化手法ではベクトに固有の仮想的な単語の単語ベクトルである。文書ベク

ル空間内でプロジェクト情報が散らばってしまい、何ら

トルのコンテキストは、当該文書内で一定の前後巾 c のかのテーマや分野によって意味のあるまとまりを構成し語をスライディングさせることで求められる。

にくいことが分かった。多くのプロジェクトは少数のプ
ロジェクトと僅かに類似性を見出すのみであり、例えば



式（2）

既存の分野と比較することで傾向を掴むことなどは難しかった。ベクトル空間内を詳細に見ていくと、このいわ式（2）において、di が単語 wt を含む文書 i の文書ベク

ば unclustered 問題の原因としては、わずかな言葉遣

トルである。このため、文書ベクトルは文書毎に固有のいの違いによって同じ内容の文書であっても異なる文書

トピックを表すと考えられ、コンテキストを考慮していベクトルが生成されてしまうケースや、反対に技術的なることから LDA や pLSA などの Bag-of-Words モデ

観点では異なる内容の文書でも科学技術用語ではない一

ルよりも文の内容をよく表すことができる。また、ベク

般語の共通性によって近しい文書ベクトルが生成されてトル化された文書は機械学習や統計解析パッケージに入しまうケースが散見された。事実、Mikolov ら［18］によ

力するのにも利便性が高く、異なる機関や出版社を跨いれば多分類問題における分類精度は 50% 以下であったで論文やプロジェクト間の類似性を定量的に判定するのことが報告されている。

に役立つ。そこで、我々はプロジェクト情報や論文抄録

そこで、我々は文書ベクトルを構築する前に単語ベクなどの自然文を文書ベクトルに変換することを試みた。

トルを情報エントロピー［19］に基いてクラスタリングする手法を考案した。ベクトル空間内で類義語の単語ベク

3

情報エントロピーを用いた文書ベク
トル化

トルが集まり易いという性質は、単語の意味が一定の距離を持って空間内に広がっているということを意味している。この観測は、他の関連研究でも指摘されている［20］。

本章では、情報エントロピーを用いて改良した文書ベ

そこで技術的な用語以外を排除しつつ、かつ、技術的にクトル化手法を紹介した後、文書間の内容的な類似性が同義な概念を表す同義語を集約するため、科学技術用語

正しくベクトル間の類似性として表されているかどうか

シソーラス内の各概念の意味的な多様性に沿って単語ベについて評価する。

クトルのクラスタを構成した。まず、JST 科学技術用語シソーラスおよび大規模辞書の Linked Data 版［21］3.1

文書ベクトル化手法の提案

提案手法の導入に先立って、既存の文書ベクトル化

つ上位語 19,685 語を抽出した。JST シソーラスは、をファンディングプロジェクト情報に適用しJST が 1975 年より収集・管理してきた約 3600 万た。本研究では深層学習ライブラリ DL4J（https://

文献の索引語が階層的に整備されたものであり、計算機

deeplearning4j.org） を 用 い て 文 書 ベ ク ト ル を 作 成

科学からバイオや土木工学まで 14 のカテゴリーに渡っした。データセットは、次章にて後述する米国 NSFて 276,179 語の日英単語を含んでいる。また、Web（National Science Foundation）によるプロジェク

技術に関する国際標準化団体 W3C が規定する Simple

ト情報（およそ 10～20 行からなるプロジェクト提案

Knowledge Organization System（skos） ス キ ー文）、約 3 万件である。各ハイパーパラメータは実験的マ に 従 っ て、 概 念 間 の 意 味 関 係 が skos:broader、

手法

［18］

218

（以下、JST シソーラス）から 1 つ以上の下位語を持【図1】JSTシソーラス・大規模辞書
各概念（赤）毎にエントロピー
H(c) を計算する概念は１つの上位語と１階層下の下位語から構成されるクラスタベクトル

NeuralNetwork
Model

データ
セット

クラスタ内で最も大きな２つのエントロピーの比率に応じてクラスタを分割．重心をクラスタベクトルとする

単語ベクトル
Semicon.

(Mikolov, 2013)

Web

図1

PJ2
PJ9

MobileCompt.
Smart
phone(Le, 2014)
Web
HTML

PJ3
PJ13

3

統計処理や
機械学習へ

クラスタベクトルからの文書ベクトルの構築

skos:narrower、skos:related などで定義されている。

語 T0 とその下位語 T1…Tn の出現頻度を事象発生確率と上位下位関係は主に包摂関係 is-a を表しているが、地して計算される。用語 Ti の同義語 Si0...Sim の出現頻度は、

理、体組織など一部においては部分全体関係 part-of を対応する概念に集約される。尚、同義語 Sij は、用語 Ti表している。JST シソーラスは、J-GLOBAL（http://の統制語を含むものとする。

【式3】

jglobal.jst.go.jp/）サイトにて Web API で公開している。また、可視化ツールとしてシソーラスマップも公開されている。次に、データセット内における各概念の

情報エントロピーを求めた。Shannon の情報エントロ式（3）において、p（Sij | C）は、概念 C、用語 Ti におピーはある事象の情報量を表している。我々は先行研ける同義語 Sij の確率を表す。シソーラス内の各概念にらを参考に概念の意味的な多様性を表す指標とし

ついて、データセットからエントロピー H（C）を計算てエントロピーを用いた。そして、エントロピーの大きした。エントロピーは事象確率が等しくなればなるほどさに沿って単語ベクトルのクラスタを構成し、同一クラ上昇し、反対に特定の事象のみが発生する場合に情報量

スタ内の全ての単語ベクトルを 1 つのクラスタベクトは低くなりエントロピーは減少する。したがって、概念ルに集約し、これらに基いて文書ベクトルを構築した。

のエントロピーは、その概念を構成する上位語や下位語一連の処理の流れを図 1 に示す。

などがデータセット内でいずれも一定頻度をもって出現

究

［22］

【図2】

式（3）

以下、単語とはデータセット内の単語を、用語とはしていれば上昇する。このことから、エントロピーのシソーラス内の語を指し、用語は上位語、下位語、およ

大きさは、概念の意味的な多様性を表している。さらび同義語の 3 つに分類される。また、概念とは上述のに、エントロピーの大きさとその概念の単語ベクトル空通り、1 つ以上の下位語を持つ上位語であり、図 2 中、間内での空間的大きさが一定程度比例していることを仮

赤で囲まれた範囲を指す。用語 Ti から構成されるシソー

定し（予備実験では、概念のエントロピーは少なくともラスが与えられた場合、概念 C のエントロピーは上位

エントロピーが高い範囲においては概念内の用語間の最concept C

Hyponyms

A hypernym

T0 S01, S02, S03

T1 S11, S12

T2 S21T3 S31, S32

大ユークリッド距離と高い相関 R ＝ 0.602 を示した）、【式4】

我々は単語ベクトル空間を複数のクラスタに分割した。
具体的には、式（4）に示した条件が満たされるように空間の分割を繰り返した。



図2

シソーラス内における概念の定義

式（4）

この条件は、単語ベクトル w0...wT は 1 クラスタ内の

YEAR BOOK 2O18 219

特許情報の高度な情報処理技術

PJや論文の
タイトルと
概要・抄録

PJ1

PJ4

Phone
HTML

文書ベクトル
PJ5

PV

PV

Phone
MobileCompt.
Smart
phone

GaN

SoftwareEng.

GaN

Software
Eng.

title
description

NeuralNetwork
Model

Semicon.

もっとも高い 2 つの概念エントロピー H（C（wi））、H（C3.2

文書ベクトルの類似性に関する評価（wj））の比に応じて 2 つのクラスタに分割されること

次に、以下のデータセットから実際に構築したマッを意味している。初期クラスタは空間全体とする。C（wi）

プを対象に文書ベクトルの評価を行う。今回データと C（wj）は、それぞれ単語 wi と wj が属する概念を表す。

セ ッ ト と し て、2012 年 か ら 2016 年 に 発 行 さ れ

単語 wi、wj は、その基底形がシソーラス内の用語と合た Scopus 収 録 の IEEE 国 際 会 議 論 文 266,772

致したデータセット内の単語である。シソーラス用語に編 の タ イ ト ル と 抄 録 2,290,743 文、 お よ び 同 期該当しない単語のエントロピーは考慮されないが、全て

間 の NSF プ ロ ジ ェ ク ト 34,192 件 の タ イ ト ル との単語はいずれかの概念クラスタの要素となるため、タ

概 要 730,563 文 を 用 い た。 但 し、IEEE に お い てイトルや抄録内の単語がシソーラス用語に合致しない場

journal, transaction, symposium, workshops は

合でも文書ベクトルは生成される。また、Cl（w）は単含めていない。また、NSF の分野は IEEE に合わせて

語 w のベクトルが分類されるべきクラスタを意味する。

Computer & Information Science & Engineering、ベクトル空間はエントロピーの上位 1.5% に相当す

Mathematical & Physical Sciences、 お よ び

る 0.25 を下回るか、クラスタ内の単語数が 10 を下Engineering とした。

回るまで分割を行った。これらのパラメータは実験を通

まず、上述の unclustered 問題について、提案手法

して設定した。結果として、66,830 の単語ベクトル

によるベクトル群は既存の文書ベクトル［18］に比べて複から 1,260 のクラスタが生成され、クラスタ毎に全ベ数のまとまりを形成していることを確認した。図 3 に、【式5】クトルの重心をクラスタベクトルに設定した。式（5）にノード（論文またはプロジェクト）間の cosine 類似度示す通り、文書ベクトルは、単語ベクトルからではなく、と該当するエッジ数の関係、および cosine 類似度 0.35

これらクラスタベクトルから構築した。

以上に限定した場合の各ノードの次数中心性（degree
centrality）と該当するノード数の関係の比較を示す。
結果として、提案手法はより高い cosine 類似度を持つ



式（5）

エッジが多く、より高い次数中心性を持つノードも多い

pv
pv with entropy

1000000

log(# of edges)

ことが確認できた。これは科学技術的な観点から意義のある高エントロピー概念を文書ベクトルの主な構成要素としつつ、同時にシソーラスに定義されていない新規または未知の概念や同義語はもっとも近しいクラスタベク
トルに集約させることで、文書ベクトルがよりまとまり、共通性が増したことが理由と思われる。いわば科学技術
1000

的な類似性を強調した文書ベクトルとなっている。また、0.35 0.4 0.45 0.5 0.55 0.6 0.65 0.7 0.75 0.8 0.85 0.9 0.95

cosine similarity

クラスタ内の重心をクラスタベクトルとすることは、ベクトル空間内で互いの違いを明確にするため各クラスタ
ベクトルをできる限り分離する効果がある。

2500

また、文書ベクトルの cosine 類似度が元文書の内容的類似性を正しく表しているかどうかを 2 つの方法

# of nodes

2000

で確認した。著者らの知る限り、科学技術文書間の類

1500

似性を評価するための Gold Standard データは見つ

1000

かっていない。そこで、まずサンプリング手法を用い

500
0

図3

220

て人手で評価した。cosine 類似度 0.5 以上の全ペア（2 つの論文またはプロジェクトのタイトルと抄録から
5

505

1005

degree centrality

1505

文書ベクトルにおけるクラスタ形成度合いの比較

なる）の中から 10、全体の分布におよそ等しくなる
ようにランダムに 100 ペアを抽出し、類似度を weak（0.5≦cos.<0.67）、middle（0.67≦cos.<0.84）、

2, 1, 0｝に変換して Ebel の級内相関係数を求めたと

strong（0.84≦cos.）の 3 段階に分けた。その上で、ころ、一致度 0.59、95% 信頼区間でも下限 0.49 でJST のメンバー 3 名によって各ペアの類似度を評価しあり、moderate agreement であった。

た。メンバーには、事前にマップの用途や評価例につい

但し、本手法は利用するシソーラスの正しさや更新ての説明を与えている。また、各メンバーの専門知識は頻度に依存する点に留意が必要である。今回利用した

バイオサイエンスから認知科学、情報工学とさまざまでJST シソーラスは少なくとも四半期に一度は更新されあるが、同じ評価セットを与え、正解は 3 名の多数決ており、維持更新等の継続的運営に対する信頼度や収録で選んだ。

範囲からも科学技術用語シソーラスとして現状ではもっとも適したリソースと考えられる。更新にあたっては、との比較を行った。BM25 は TF-IDF に似た Bag-of-

一定期間毎に区切った論文集合から特徴語句を抽出し、【式6】

Words モデルの一種であり、検索エンジンにおいて検それらの経時変化から追加すべき語句を自動的に抽出す索語に近い文書をランク付けするために広く用いられてるといった作業者に依存しないプロセスでも運用されている。単語 wi と文書 dj の類似度は以下の式（6）で計算いる。しかし、シソーラスとしての正しさや十分性の検される。

証［23］は十分ではなく、今後の課題としたい。また、本手法は科学技術シソーラスを活用しているため、対象が



式（6）

科学技術文献に限定される点も留意が必要である。
最後に、一定割合を別のプロジェクト情報に置き換え

fij は文書 dj 内の単語 wi の頻度であり、Fj は文書 dj のた人工データを作成し、元のプロジェクト情報の文書ベ

単語数、Favg は全文書セットにおける平均文書長、| D |クトルとの cosine 類似度を測った。ランダムに抽出しは全文書セットにおける文書数、| Di | は単語 wi を含む

た 1,000 の論文またはプロジェクトを対象に、その内文書の数、k1 と b は定数であり、経験的にそれぞれ 2.0、の 10, 20, ..., 100% をランダムに選択、やはりラン0.75 と設定されている。式の後半は単語 wi の IDF にダムに選んだ別の論文またはプロジェクトの中からラン相当している。提案手法と比較するため、JST シソー

ダムに選んだ同量の文で置換した。そして、元文書からラスに含まれる用語の BM25 値を並べたベクトルを構生成したベクトルと置換した文書から生成したベクトル成した。全文書セット内で頻度 0 の単語の次元は削減との cosine 類似度を測った。図 4 に置換した文数のし、次元数は 3722 であった。

割合と cosine 類似度の関係を示す。結果として、文書評価結果を表 1 に示す。提案手法における F1 値のの相違度と文書ベクトルの cosine 類似度の間には明ら

平均は 78% であった。誤判定された例としては、異かな相関（R ＝0.88）があることを確認できた。一方で、なる意味を持つ同じ略語を持つ無関係のペアや、まだBM25 手法は R ＝0.76 に留まった。これは、BM25

数は少ないが近年注目されている単語を含むより関係

手法では類似度の範囲が狭くなり、提案手法よりも解像

【図4】

2

2

性の強いペアなどが存在した。尚、BM25 手法による
F1 値の平均は 20% に留まった。既存の文書ベクトル化手法による F1 値の平均は 21% であった。また、メン バ ー 3 名 の 一 致 度 は Fleiss' Kappa で 0.29（fairagreement）であった。更に、評価結果が順序尺度であることから｛強、中、弱、関係なし｝の 4 段階を｛3,
表1

サンプリングによる類似度評価（%）

cosine similarity【表1】

R² = 0.8809

10

20

30

40

50

60

70

80

90

100

ratio of random replacement

図4

文書の相違度と cosine 類似度との関係

YEAR BOOK 2O18 221

3

特許情報の高度な情報処理技術

さらに、関連研究で述べた BM25 手法と提案手法

度が低くなることを意味している。また、ばらつき、特5 分野に分けたものである。円の大きさは含まれる論文・に置換割合が低い場合のばらつきが提案手法よりも大きプロジェクトの数に対応している。

く、置換割合 10-50% の標準偏差の平均は、提案手法

領域ビューはポートフォリオビューにおけるいずれが σ＝0.08 であったのに対して、BM25 手法では σ＝かの分野をクリックすると開くビューであり、当該分野

0.12 であった。既存の文書ベクトル化手法に関しても内に含まれる全論文・プロジェクトをクラスタリング

同様の傾向を持ち、R ＝0.87, σ＝0.09 であった。

した結果である。レイアウト方法の詳細は次節にて述

2

べる。NISTEP サイエンスマップに相当するビューで

4 科学技術マップの開発

あり、分野内の技術を概観するためのものである。尚、本章では、実際に開発した内容ベースの科学技術マッリングしている。詳細ビューは領域ビューにおけるいずについて説明する。初めにインターフェ

れかの領域をクリックすると開くビューであり、1 ノーイスの概要について紹介した後、マップ上における論

ドが 1 論文または 1 プロジェクトに相当する。ノード

文・プロジェクトのレイアウト方法、およびマップが間の距離は可能な範囲で cosine 類似度に比例してい提供する分析機能について説明する。なお、本マップる。更に、論文間の直接引用関係（citing→cited）
をエッ

は Web 上 で 公 開 し て い る（https://jipsti.jst.go.jp/

ジとして表し、BM25 で抽出した 2 論文間の特徴語を

foresight/）。

エッジラベルとして表示している。尚、ノードをクリップ［24, 25, 26］

BM25 を用いて領域毎に特徴語 10 語を抽出し、ラベ

クすると該当する論文・プロジェクトの詳細情報を画面

4.1

インターフェイスの概要

下部に表示する。

図 5 にマップの画面イメージを示す。インターフェ

それぞれのビューでは、左上の検索ボックスから現在

イスは大きくポートフォリオビュー、領域ビュー、詳細のビューに含まれる論文またはプロジェクト情報を全文

ビューの 3 つに分かれている。
【図5】

検索し、該当するノードをハイライト表示することがでポートフォリオビューは事前に設定した検索式にきる。更に、詳細ビューにおいては発行年毎の論文、プ沿って対象データセットを全文検索し、Information、

ロジェクトの累積的な増加をアニメーション表示で確認

Mathematics & Physics、Communication、することもできる。

Electronics & Mechatronics、Power & Energy のポートフォリオビュー
詳細ビュー

領域ビュー

複数領域にクラスタリング
領域毎に特徴語をラベルリング

拡大図
ノード間の距離は
文書類似度に相当

全文検索機能発行年毎のアニメーション機能
特定キーワードを含む論文群
で再構成も可能！
図5

222

論文
プロジェクト
直接引用（ラベルは２論文間の共通語）
科学技術マップの画面イメージ

4.2

論文・プロジェクトのレイアウト方法

は他クラスタから取り込まれたノードの多くは独立した

本節では、ポートフォリオビューから詳細ビュー作成

集合を形成するため、実際上の問題はないものと考えた。

までについて述べる。ポートフォリオ内の 1 分野に絞っ

また、領域ビューではこの single linkage clusteringても前節のデータセットにおいては、その中には最大の距離をクラスタ間の類似度（距離）として描画してい16 万ものノード（論文またはプロジェクト）が含まれ、る。

この中から特定のトピックを見つけ出すのは容易ではな

詳 細 ビ ュ ー の レ イ ア ウ ト 計 算 に は、 ノ ー ド 間 のい。そこで、事前にこれらをクラスタリングすることでcosine 類似度を距離として、他の科学技術マップでも意味のあるまとまりを構成し、クラスタ単位でユーザがしばしば用いられる力学的（force-directed）ネット

各種分析を行うことを想定している。

ワークレイアウトアルゴリズムである OpenOrd［29］を用いた。なお、インターフェイス上はパラメータおよびとしては、500 次元空間内のノードからの 2 次元ネッ

レイアウトアルゴリズムを変更する機能を設け、利用者

トワークの作成（次元削減）が挙げられる。クラスタリ

が状況に合わせてマップを変更できるようにした。

ングあるいは次元削減に関してはこれまでさまざまな手法が提案されているが、例えば多次元尺度法（multi-

4.3

マップが提供する分析機能

dimensional scaling, MDS）では予め任意の 2 ノー

本マップでは 4.1 章で述べた基本的な機能に加えて、ド間の全ての距離を計算しておく必要があるなど、ノー（1）論文抄録／プロジェクト概要の翻訳機能、（2）統計

ド数の 3 乗オーダー O（n ）で計算量が増加していくた

情報表示機能、（3）特徴語サマリー機能、（4）SPARQL

め計算コストが高いことが知られている。そこで本研究検索機能とエクスポート機能、（5）レイアウト変更機能、では現実的な計算時間に収めるために、各ノードの近傍（6）カスタムマップ生成機能などを備えている。以下に（cosine 類似度が大きい）30 ノード、かつ、cosine

各機能について説明する。

類似度 0.5 以上のエッジのみからマップを作成するこ

1．論文抄録／プロジェクト概要の翻訳機能

3においても、各ノー

詳細ビューでは、ノード（論文／プロジェクト）の詳

ドの近傍 15 ノードのみを用いてマップを作成してお細情報（タイトル、抄録／概要、著者／提案者、発行年

り、意味のある特徴が失われていないことが確認されて／提案年）を画面下部に表示することが可能である。表いる。

示される情報の内、論文抄録およびプロジェクト概要にととした。前述した Sci2 Tool［5］

領域ビューで表示されるクラスタ（詳細ビューの表

ついては文尾に付いている Translate ボタンで日本語をに翻訳することが可能である。日本語で流し読みする際用いる手法の 1 つ、infomap 法［28］ を用いて構成されに有用であり、元の英文も併記しているため誤訳が疑わている。モジュラリティが大きくなるようにネットワー

れる場合に確認することも容易である。

クを分割することで、クラスタ内では各ノードが密に結

2．統計情報表示機能

示単位）は、分割評価関数としてモジュラリティ

［27］

合し、クラスタ間では疎に結合するように分割される。

詳細ビューで表示している IEEE 論文の統計情報をそのため、分割されたクラスタはノード間の cosine

視覚的に確認することが可能である（図 6）。表示可能類似度が高い、特定の意味を持つ集団として形成さな統計情報は、引用評価指標（Impact Factor, SJR,

れ る。 し か し、infomap 法 の 単 純 な 適 応 で は 1 分 野

CiteScore）、出版年別の論文数の推移、出版年別の被（information や communication）毎に最大約 2800

引用数の推移、論文数トップ 5 ヶ国であり、それぞれものクラスタに分割されてしまい、領域ビューとしてはウィジェットとして表示する。また、ノード集合を矩形数が多すぎると判断した。そこで、ノード数が 50 未満

選択して該当部分のみの統計情報を表示することも可能のクラスタについては類似度が最も高いペアを含むクラである。国別の統計情報は上段が整数カウント法、下段

スタと結合する（single linkage clustering）ことでが分数カウント法［30］を用いて集計したものである。整クラスタ数を減少させた。これにより分割精度は落ちる

数カウント法は国単位での論文への関与の有無の集計で（モジュラリティは低下する）が、詳細ビュー表示時にあり、例えばある共著論文の著者所属機関が A 国、B 国、

YEAR BOOK 2O18 223

3

特許情報の高度な情報処理技術

クラスタリングからマップレイアウト作成までの課題

図6】

【図8】

図6

統計情報の表示（左から、引用評価指標、出版年別
論文数、年別引用数、論文数トップ 5）

B 国の場合に A 国 1 件、B 国 1 件として数える。分数
カウント法は重み付けを用いた集計であり、先の例では

図8

SPARQL 検索ウィジェット

A 国 1/3 件、B 国 2/3 件として数える。

論文に cosine 値 0.9 以上で類似した論文（広く知ら3．特徴語サマリー機能れていないが有用な論文である可能性が高い）」といっ

クラスタ単位での特徴語表示に加えて、矩形選択された検索を実行することが可能である。検索結果として表たノード集合内に頻出する特徴語をワードクラウドで表示されたテーブル内のノード ID をクリックすると、自示することも可能である（図 7）。ワードクラウド表示

動的にビューを視点移動し、ノードをハイライトする。

のために、予め BM25 を用いてクラスタ毎に全ノード

さらに、ユーザが作成した SPARQL クエリーをマクロの特徴語を最大 10 語まで算出している。矩形選択さとして登録することも可能である。登録されたマクロはれたノード群の特徴語集合の内、出現回数の多い語ほどワンクリックで実行できる。これにより、SPARQL に

ワードクラウド上で中心に大きく表示される仕組みであ精通したユーザが作成した分析用クエリーを他のユーザる。これらの機能を用いて、詳細ビュー内に出現する島も利用することができる。

（ノードが密集した場所）の特徴理解に役立てることができる。

尚、マップで表示されている情報を手元に保存して
Excel 等のツールで確認したいというニーズに応える
ため、クラスタ内の全ノードや矩形選択したノードの詳細情報を CSV 形式でエクスポートする機能も備えている。SPARQL 検索の結果を CSV 形式でエクスポート
することも可能である。
5．レイアウト変更機能
前 章 で 述 べ た 通 り、 詳 細 ビ ュ ー の レ イ ア ウ ト はOpenOrd、エッジカット値 0.91 を用いて事前に計算されているが、ユーザが他のレイアウトを指定して

図7

224

選択ノード集合の特徴語表示

再描画することも可能である。現状、OpenOrd アル

4．SPARQL 検索機能とエクスポート機能

ゴリズムでエッジカット値を 0.94、0.88 にした場

マップ上に表示されているデータは、W3C が規定す合、および Large Graph Layout［31］、Fruchterman-

る RDF（Resource Description Framework） 形 式

Raingold［32］、Kamada-Kawai［33］ の計 5 種類のレイ（https://www.w3.org/RDF/）の Linked Data としアウトで再描画が可能である。ユーザがレイアウトを指てグラフ DB に格納されている。詳細ビューでは、こ定すると、既に計算済みの場合は即座に表示され、未計のグラフ DB に対して直接、クエリー言語 SPARQL

算の場合はリアルタイムにレイアウト計算が実行され、を用いて高度な検索を実行し、検索結果をビュー上で確結果が保存されて表示可能となる。尚、レイアウト計算

認できる機能も有している（図 8）。例えば、「Impact

時間はノード数とアルゴリズムにより異なるが、数秒かFactor10 以上の論文から 100 回以上引用されている

ら数分程度である。

6．カスタムマップ生成機能のファンディング情報と海外のファンディング情報を重ね合わせ、国内外のファンディング傾向の違いなどを明れたクラスタ毎に用意されているが、ユーザが任意のらかにしていきたい。さらには、研究領域のネットワー

キーワードを指定してクラスタを新たに構成することもク構造の時間的変化を数値的に捉えることを試みたい。

できる。ポートフォリオビューで専用ウィジェットから既に、米国情報高等開発活動（Intelligence Advance

キーワードを指定すると 5 分野に含まれる全ノードかResearch Projects Activity, IAPRA）では、2011

ら全文検索を行い、ヒットしたノードの cosine 類似度

年から 2015 年に渡って実施された FUSE（Foresight

情報から OpenOrd でレイアウト計算を行い、カスタムand Understand from Scientific Exposition）プロ

詳細ビューを構成する。例えば、複数分野に跨っているグラム（D11PC20152）において、複数の科学技術

で あ ろ う Neural Network や Artificial Intelligence

マップから得られた指標に基づいて新技術の急速な出現［AND］［NOT］Neural Network といった条件式でカを予測する研究を進めている。4.3 節 SPARQL 検索機

スタム詳細ビューを作成し、目的に応じて分野横断的な能とエクスポート機能を用いることで既にマップからは分析を行うことができる。レイアウト変更と同様に計算

さまざまな特徴量を抽出することができる。今後、JST

時間はノード数により異なり、完了までは数秒から数分

も統計処理や機械学習技術を適用して、新しい科学技術程度である。一度作成されたカスタム詳細ビューのレイ

コンセプトの出現を早期に検出することを目指していき

アウト情報は保存されるため、2 回目以降はレイアウ

たい。

ト計算を行わずに表示できる。カスタム詳細ビューでは
通常の詳細ビューと同様に、ノード検索、統計表示、時間遷移アニメーション表示やレイアウト変更が可能である。

謝辞
本稿の執筆にあたり有益なご助言を戴いた文部科学省
科学技術・学術政策研究所 治部 眞里様、（株）ジー・サー
チ 松本 尚也様に感謝いたします．

5 まとめと今後の課題
本研究では、引用・被引用分析の適用が難しいファンディングプロジェクト情報や最新の論文、特許等を対

参考文献［1］Price, D.: Networks of Scientific Papers.
Science, 149, 510-515（1965）

象とした内容の類似性に基づく科学技術マップを開発し［2］川村隆浩，渡邊勝太郎，松本尚也，江上周作，治た。本論文では、まず JST シソーラス内の概念毎に情部眞里 : Mapping Science─飛躍が期待される科報エントロピーを求め、単語ベクトルを概念に集約する

学技術領域の抽出─．In: 第 14 回情報プロフェッ

ことで科学技術観点での類似性を強化した文書ベクトル

ショナルシンポジウム（INFOPRO2017）予稿集，化技術を提案した。その上で複数の関連研究において最119-124（2017）もよいとされる BM25 を用いた内容ベース手法との比［3］川村隆浩，渡邊勝太郎，松本尚也，江上周作，治部較を行い、提案手法が文書間類似度の精度においてより

眞里 : Mapping Science─文書ベクトルを用いた優れていることをサンプリング実験および人工データを

科学技術マップの作成と萌芽領域の抽出─．In: 研

用いた実験を通じて示した。加えて、一連のマップ開発

究・イノベーション学会 第 32 回年次学術大会予において欠かせない論文・プロジェクト群のクラスタリ

稿集（2017）

ング手法、2 次元レイアウト手法、およびマップが提供［4］Borner, K.: Sci2: A Tool of Science of Science

する分析機能についても技術的透明性、および分析作業

Research and Practice. In: Tutorial ofの再現性を保証するために詳述した。

the 10th International Conference on

今後は、まず引用分析に基づくマップとの比較や、デー
タセットへの特許情報の追加などを行っていきたい。また、日英 JST シソーラスと文書ベクトルを介して日本

Scientometrics and Informetrics （ISSI
2011）（2011）［5］Boyack, K., Klavans, R., Borner, K.: Mapping

YEAR BOOK 2O18 225

3

特許情報の高度な情報処理技術

最後に前述の通り詳細ビューは infomap 法で構成さthe Backbone of Science. Scientometrics,

clustering publications. In: Proceedings

64（3）, 351-74（2005）of the 16th International Conference on［6］Steyvers, M., Griffiths, T.: Probabilistic Topic
Models. Laurence Erlbaum（2007）

691-702（2017）［7］Blei, D., Ng, A., Jordan, M.: Latent Dirichlet［15］Firth, J.R.: A Synopsis of Linguistic Theory

Allocation. Journal of Machine Learning

1930-1955. Studies in Linguistic Analysis,

Research, 3, 993-1022（2003）

1952-59, 1-32（1957）［8］Griffiths, T., Steyvers, M.: Finding Scientific［16］Mikolov, T., Chen, K., Corrado, G., Dean, J.:

Topics. In: Proceedings of the National

Efficient Estimation ofWord Representations

Academy of Sciences, vol. 101（suppl. 1）,

in Vector Space. In: Proceedings of Workshop

5228-5235（2004）

at the International Conference on Learning［9］Talley, E., Newman, D., Mimno, D., Herr II,

Representations（ICLR 2013）（2013）

B., Wallach, H., Burns, G., Leenders, A.,［17］Mikolov, T., Sutskever, I., Chen, K., Corrado,

McCallum, A.: Database of NIH Grants Using

G.S., Dean, J.: Distributed Representations of

Machine-learned Categories and GraphicalWords and Phrases and Their Compositionality.

Clustering. Nature Methods, 8, 443-444

In: Proceedings of the 26th International（2011）

Conference on Neural Information Processing［10］ Herr II, B., Talley, E., Burns, G., Newman,
D., LaRowe, G.: The NIH Visual Browser:

Systems - Volume 2 （NIPS 13）, 31113119（2013）

An Interactive Visualization of Biomedical［18］Le, Q., Mikolov, T.: Distributed Representations

Research. In: Proceedings of 13th Internationalof Sentences and Documents. In:

Conference on Information Visualisation

Proceedings of the 31st International（ICIV 2009）, 505-509（2009）

Conference on Machine Learning （ICML［11］ Kullback, S., Leibler, R.: On Informationand Sufficiency. Annals of Mathematical
Statistics, 22, 79-86（1951）［12］ Boyack, K.W., Newman, D., Duhon, R.,2014）, vol. 32（2）, 1188-1196（2014）［19］ Shannon, C.: A Mathematical Theory ofCommunication. Bell System Technical
Journal, 27, 379-423, 623-656（1948）

Klavans, R., Patek, M., Biberstine, J.,［20］Vilnis, L., McCallum, A.: Word Representations

Schijvenaars, B., A., S., Ma, N., Borner, K.:

via Gaussian Embedding. In: Proceedings

Clustering More Than Two Million Biomedicalof International Conference on Learning

Publications: Comparing the Accuracies

R e p r e s e n t a t i o n s （ I C L R 2 0 1 5 ）, 1 - 1 2of Nine Text-based Similarity Approaches.

（2015）PLoS ONE, 6（3）, 1-11（2011）［21］ Kimura, T., Kawamura, T., Watanabe,［13］Jones, K.S., Walker, S., Robertson, S.E.: A

K., Matsumoto, N., Sato, T., Kushida, T.,

Probabilistic Model of Information Retrieval:

Matsumura, K.: J-GLOBAL knowledge:

Development and Comparative Experiments.

Japan’s Largest Linked Data for Science

Information Processing and Management,

and Technology. In: Proceedings of the 14th

36（6）, 779-808（2000）

International Semantic Web Conference［14］ Waltman, L., Boyack, K.W., Colavizza, G.,

226

Scientometrics & Informetrics（ISSI 2017）,（ISWC 2015）（2015）

Van Eck, N.J.: A principled methodology［22］ Santus, E., Lenci, A., Lu, Q., Walde, S.:

for comparing relatedness measures for

Chasing Hypernyms in Vector Spaces

with Entropy. In: Proceedings of the 14th

［29］ Martin, S., Brown, W.M., Klavans, R.,

Conference of the European Chapter of theBoyack, K.: OpenOrd: An Open-Source

Association for Computational Linguistics

Toolbox for Large Graph Layout. In: Proceedings（EACL 2014）, 38-42（2014）

of SPIE, Visualization and Data Analysis［23］ Klavans, R., Boyack, K.W.: Which type（VDA）, 786806（2011）of citation analysis generates the most［30］ 村上昭義、伊神正貫 : 科学研究のベンチマーキ

accurate taxonomy of scientific and technical

ング 2017─論文分析でみる世界の研究活動の変

knowledge?. Journal of the Association for

化と日本の状況─．科学技術・学術政策研究所、

Information Science and Technology, 68（4）,http://hdl.handle.net/11035/3177（2017）［31］Adai, A.T., Date, S.V., Wieland, S., Marcotte,［24］Kawamura, T., Watanabe, K., Matsumoto,

E.M.: LGL: creating a map of protein functionN., Egami, S., Jibu, M.: Funding Map forwith an algorithm for visualizing very large

Research Project Relationships using

biological networks. Journal of molecularParagraph Vectors. In: Proceedings of

biology, 340（1）, 179-190（2004）

the 16th International Conference on［32］Fruchterman, T.M.J., Reingold, E.M.: Graph

Scientometrics & Informetrics（ISSI 2017）,

Drawing by Force-directed Placement.

1107-1117（2017）

Software - Practice and Experience, 21（11）,［25］Kawamura, T., Watanabe, K., Matsumoto,1129-1164（1991）

N., Egami, S., Jibu, M.: Science Graph［33］ Kamada, T., Kawai, S., An algorithm

for characterizing the recent scientificfor drawing general undirected graphs.

landscape using Paragraph Vectors. In:

Information Processing Letters, 31（1）,Proceedings of the 9th ACM International

7-15（1989）

Conference on Knowledge Capture（K-Cap
2017）, 9-16（2017）［26］T. Kawamura, K. Watanabe, N. Matsumoto,S. Egami, M. Jibu: Funding Map using
Paragraph Embedding based on Semantic
Diversity, Scientometrics, Springer, 116（ 2 ）, p p . 9 4 1 - 9 5 8 , 2 0 1 8 . h t t p s : / / d o i .
org/10.1007/s11192-018-2783-x［27］Newman, M.E.J.: Modularity and community
structure in networks. In: Proceedings of the
National Academy of Sciences of the UnitedStates of America（PNAS 2006）, 103（23）,8577-8582（2006）［28］ Rosvall, M., Bergstrom, C.T.: Maps ofrandom walks on complex networks reveal
community structure. In: Proceedings of the
National Academy of Sciences of the UnitedStates of America（PNAS 2008）, 105（4）,1118-01123（2008）

YEAR BOOK 2O18 2273特許情報の高度な情報処理技術

984-998（2017）