http://doi.org/10.15108/stih.00050

2016 Vol.2 No.4

ほらいずん

研究計量に関するライデン声明について
科学技術・学術基盤調査研究室 客員研究官 小野寺 夏生、室長 伊神 正貫【概要】

論文の被引用数等の計量データは、適切に利用されれば専門家（ピア）による評定をより妥当、公正にするための補完となり得るが、データに主導された評価や、指標の意味・性質の不十分な理解による誤用がしばしば見られる。このような状況に対して、研究評価における計量データの利用についてのベストプラクティスを示した「研究計量に関するライデン声明」（ The Leiden Manifesto for research metrics ）が、2015 年に Nature 誌上で公表された。本稿では、このマニフェストの成立の経緯を述べた後、10 項目の原則の全訳を紹介する。このマニフェストは、研究者、管理者、評価者の全てにとって、計量データに立脚した研究評価のガイドラインとなるものと考えられる。

これまでもしばしば警告を発し、計量データの適切

1. はじめにな利用の在り方を論じてきた4〜7）が、それらが結ICT 技術の発展とネットワーク環境の進展によ実した形で、2015 年に「研究計量に関するライデり、多くの研究評価において、論文の被引用数等のン 声 明 」（ The Leiden Manifesto for research

計量データ利用が加速している。Web of Sciencemetrics ）（以下「ライデン声明」という）が公表さCore Collection（以下 Web of Science という）れた8）。ライデン声明は 10 項目の原則（principles）

や Scopus など引用索引を備えたデータベース、そから成り、研究評価における計量データの利用につして、それらのデータ群を組み合わせた InCites やいてのベストプラクティスや注意点を示したもので

SciVal などの情報分析ツールの発展により、かつてあり、研究者、管理者、評価者の全てに対する、計は専門家が手間をかけて行っていた計量データの量データに立脚した研究評価のガイドラインと考え利用は比較的容易になった。一方、ツールやデータられる。

ベースの利用が適切であれば、計量データは、専門家（ピア）による評定をより妥当、公正にするための補完となり得る1）。しかしながら、現実には、デー

2. ライデン声明ができるまでタを補完材料として利用するのではなく、データに

ラ イ デ ン 声 明 の 基 礎 と な っ た の は、2014 年 9主導され、引きずられた評価が往々にして行われて

月 に オ ラ ン ダ の ラ イ デ ン 大 学 で 開 催 さ れ た 19th

いる。データや、それに基づいて計算される種々のInternational Conference on Science and

計量的指標の意味・性質が十分理解されないまま、Technology Indicators（STI 2014）9）に お い て、誤って利用される例もしばしばである。また、幾つ

Dr. Diana Hicks（Georgia Institute ofかの機関から出される大学ランキングには、用いらTechnology）が行った基調講演である。ここで彼女

2、3）には、研究者、研究機関、研究プログラムの評価へのもかかわらず、多くの大学や関係機関が毎年この順

計量データの使用に関して次の七つの原則を示し、位の変動に極めて敏感になっている。

Nature や Science のようなトップレベルの雑誌でれている指標が恣意的である等の指摘がある

このような状況に対し、科学計量学の研究者はこれを公表することを提案した10、11）。

（2016.11.25 web 先行公開、2016.12.20 公開）

P35̲ほらいずん̲研究計量̲8校.indd 35

STI Horizon

2 0 1 6 Vol .2 No.4

35

2016/12/08 15:20

①

計量は評定の代替物ではない。

原則 2② 高品質のデータを得るために時間と金を費やせ。
③

計量は透明かつ受け入れやすいものでなければならない。

機関、グループ又は研究者の研究目的に照らして業績を測定せよ。

プログラムの目標はその開始時に明示されるべきであり、また、業績を評価する指標は、それらの目④

データは被評価者により確認される必要がある。

標と明確に関係付けるべきである。指標の選択やそ⑤

研究分野による違いに敏感であれ。の活用に際しては、より幅広い社会経済的及び文化⑥

分野と時期による違いを考慮してデータを規的な状況を考慮すべきである。科学者の研究目的は様々である。学術的知識の最前線を進める研究と、社格化せよ。
⑦

計量は戦略的目標と連携すべきである。

会的問題の解決を目指す研究とは目標が異なる。学

このスピーチに対して活発な議論がなされた。計術的なアイディアの卓越性よりも、政策、産業、あ量データ・指標の責任ある利用のガイドラインとなるいは公衆への貢献に基づく評価もある。全ての状る原則を科学計量学コミュニティが共同して発表す況に適用できる単一の評価モデルはない。

べきであるという多くの意見があり、研究評価のための計量データの適正な利用のために科学計量学の原則 3

優れた地域的研究を保護せよ。

研究者は積極的役割を果たすべきという声も上がっ

世界の多くの地域で、優れた研究は英語で発表さた。その結果、この Hicks の 7 原則を基にして、ライれると見なされている。例えば、スペインの法律は、デン大学科学技術研究センター（CWTS）の Dr. Paul

同国の学者が高インパクトの雑誌に発表することをWouters が中心となって、このコミュニティが合意望ましいとしている。インパクトファクターは、米できるマニフェストをまとめることとなった。

国中心で、いまだにほとんどが英語である Web of

こうしてまとめられたのが、Nature 誌で Hicks、Science 収録の雑誌を対象に計算されている。こうWouters ら 5 名の著者により発表されたライデン

したバイアスは、国・地域についての研究が多い人

8）

声明 である。以下の 3. は、参考文献 8）の記事か文・社会科学において特に問題が大きい。他の多く

らマニフェストの部分（ TEN PRINCIPLES ）を日の分野でも、国・地域という側面を持つ。例えば、本語訳したものである（注 1 参照）。

サハラ以南アフリカにおける HIV の疫学などの例

なお、ライデン声明自体のホームページ

12）から、Nature 記事へのほか、各国語への翻訳記事やビデオへのリンクが張られている。

がある。
しかし、このような多元性や社会的関連性は、高インパクトのゲートキーパーたる英語雑誌の関心を得るような論文を創出するために抑制される傾向がある。Web of Science で高引用を得ているスペイ

3. ライデン声明−10 の原則
原則 1

ンの社会学者たちは、抽象モデルに長年取り組んで定量的評価は、専門家による定性的評定のいるか、米国のデータの研究を行っている。高イン
パクトのスペイン語論文では、地域の労働法、高齢者支援に用いるべきである。
定量的計量は、ピアレビューで生じやすいバイアのための家族健康管理、移民の雇用などのトピックスについて異なる見方を提示し、考察を深めるのにについての社会学者の独自性が失われているa）。優役立つ。同業研究者について判定することは広範なれた地域的研究の発見・それらへの報奨の付与のた関連情報なしには難しいので、これによりピアレめには、高品質の非英語文献に基づいた計量が有用ビューは強化されるはずである。しかしながら、評であろう。

定者は意思決定を数字に任せてはならない。指標は情報に基づく判定を代替してはならない。評定者はそれぞれが行う評定に責任を保持している。

原則 4

データ収集と分析のプロセスをオープン、透明、かつ単純に保て。

注 1 本レポートの和訳は著者が独自で行ったものであり、和訳に当たっての原文の解釈に対する全責任を有する。原文では「評価」の概念に含まれる語としてevaluation 、 assessment 、 review 、 judgementが使われているが、本稿ではそれぞれに対して「評価」、「評定」、「レビュー」、「判定」という訳語を当てた（それらの派生語についても同様）。
metricsの訳は ｢ 計量 ｣ に統一した。また、［］で示したのは著者による補足である。和訳に際しては、可能な範囲で正確を期しているが、和訳が定まっていない表現も多いことから、より正確な表現については元となる論文を参照願いたい。
36

P35̲ほらいずん̲研究計量̲8校.indd 36

2016/12/08 15:20

研究計量に関するライデン声明について評価のために要求されるデータベースの構成は、

グ ル ー プ が、Web of Science に 収 録 さ れ る 雑 誌

明確に表現された規則に従い、研究が終了する前によりもむしろ図書に成果を発表しているためであっ設定されるべきである。これは、数十年にわたり計た。この歴史学者は不運なことに心理学の学科に属量書誌学的評価の方法論を確立してきた学術グルーしていた［歴史学者が心理学の学科に属していたた

プと商業グループに共通の経験である。これらのグめ、雑誌論文によってピアレビュー評定がなされた

ループは、査読論文に公表されたプロトコルを参考という意味だと思われる］。歴史学者や社会科学者としてきた。この透明性は精密な検討を可能とした。

は、成果のカウントに際して図書や自国語の論文が例えば、2010 年に、我々のグループの一つ（ライ含まれることを要求するし、計算科学者は会議論文デン大学の科学技術研究センター（CWTS））が用いがカウントされることを要求する。

ていた重要な指標の技術的性質について公開の討論分野により引用傾向は異なる。トップにランクさが行われ、この指標の計算法の改訂に結び付いたb）。

れる雑誌のインパクトファクターは、数学ではおよ

最近参入している商業グループも同様な標準に従う

そ 3、細胞生物学ではおよそ 30 である。［この差をべきである。また、ブラックボックスの評価マシン埋めるための］規格化した指標が必要である。最もを受け入れるべきではない。

頑健な規格化法はパーセンタイルに基づくものであ指標が単純であることは、その透明性を増すことり、各論文は、それが属する分野の被引用数分布中であり長所である。しかし、単純化した計量は記録のパーセンタイル位置（例えばトップ 1%、10%、をゆがめることもある（原則 7 参照）。評価者は、バ20%）に従って重み付けされる。非常によく引用さランス（研究過程の複雑性に忠実である単純な指標）れる論文 1 件は、パーセンタイル指標に基づくランを得ることに努めなければならない。

キングでは、大学の位置を僅かに上げる程度だが、平均被引用数に基づくランキングでは、中位から一

原則 5

被評価者がデータと分析過程を確認できる挙にトップまで押し上げることがあり得るc）。

ようにすべきである。
データの品質を確かなものにするため、計量書誌

原則 7

個々の研究者の評定は、そのポートフォリ学的調査の対象となる全ての研究者が、自分の成果オの定性的判定に基づくべきである。

が正確に同定されていることをチェックできるよう

h 指数注 2 は、新しい論文がなくても年齢を重ねるにすべきである。評価過程の指揮・管理者は全て、ほど高くなる。h 指数は分野によっても異なる。トッ

自己確認又は第三者の検査によりデータの正確性をプレベルの研究者の場合、生物学では 200、物理学保証すべきである。大学は、その研究情報システム

では 100、社会科学では 20 30 程度であるd）。この中にこれを実装することができるだろうし、それの値は、［h 指数の計算に使う］データベースにも依は、これらのシステムの提供者の選択の指針である存する。計算科学分野では、Web of Science ではべきである。正確で高品質なデータの照合・処理にh 指数が 10 前後であるが、Google Scholar ではは時間と資金を要する。そのための予算を惜しんで20 30 である研究者がいるe)。研究者の成果物を読はならない。

んで判定する方が、一つの数字に頼るよりもずっと適切である。多数の研究者を比較する場合でも、個々

原則 6

分野により発表と引用の慣行は異なることに留意せよ。の専門性、経験、活動及び影響に関するより多くの情報を考慮するやり方が最良である。

ベストプラクティスは、一揃いの指標候補を選び、分野によってその中から選択できるようにすること

原則 8

不適切な具体性や誤った精緻性を避けよ。

である。数年前のことだが、欧州のある歴史学者の科学技術指標は、その概念が曖昧で不確かになりグループが、その国のピアレビュー評定において比がちであり、また、普遍的には受け入れられない強較的低い評点を得たことがあったが、それは、このい仮定に立っていることがある。例えば、被引用数の

注 2 h 指数は、2005 年に J. E. Hirsch によって提案された研究者の業績を示す指標で、ある研究者の発表論文中 h 回以上引用された論文が h 件以上あることを満たす最大の h を、その研究者の h 指数とする。例えば、10 回以上引用された論文が 10 件以上あるが 11 回以上引用された論文は 11 件未満なら、h 指数は 10 である。研究の生産性（論文数）とインパクト（被引用数）を一つの数値で表すことが特徴である。当初は研究者に対する指標として提案されたが、研究グループや雑誌に対しても使われている。
STI Horizon

P35̲ほらいずん̲研究計量̲8校.indd 37

2 0 1 6 Vol .2 No.437

2016/12/08 15:20

意味も長らく論争されてきている。したがって、ベ原則 10

指標を定期的に吟味し、改善せよ。

ストプラクティスは、より頑健で複眼的な描像を与研究の目的と評定の目標は変化し、それに伴ってえるように複数の指標を用いることである。もし不研究システム自体も共進化する。かつて有用であっ確かさや誤差が定量化できるのであれば（例えばエた計量が不適切になり、新しいものが現れる。指標ラーバーの形で）、その情報を公表される指標値ととのシステムも見直しが必要であり、適時修正しなけもに示すべきである。それができない場合、指標のればならない。［原則 9 で述べた］単純な数式の影

作成者は少なくとも誤った精緻性を避けるべきであ響に気付いて、オーストラリアは 2010 年に、よりる。例えば、［Journal Citation Reports では］イ

複雑で質の面を強調した Excellence in Research

ンパクトファクターを小数点以下 3 桁まで表示しfor Australia イニシアティブを導入した。て同点の雑誌の出現を避けるようにしている。しかし、被引用数の概念上の曖昧さやランダムな変動性を考慮すれば、このような僅かなインパクトファク

4. おわりにターの差によって雑誌を区別する意味はない。誤っライデン声明が念頭に置いているのは、主に雑誌た精緻性は避けよ。小数点以下 1 桁で十分である。

論文の引用に基づくデータや指標であると思われる。しかし最近、論文のインパクトを測る別のデータ

原則 9

評定と指標のシステム全体への効果を認識として、種々のソーシャルネットワークサイトにおける論文の利用や言及によるオルトメトリクス13）せよ。
指標は、それがもたらすインセンティブによってデータも注目されつつある。Bornmann は、ライデシステムを変化させる。これらの効果を予期しなけ

ン声明はオルトメトリクスにも適用可能であり、オればならない。このことは、一揃いの指標を用いる

ルトメトリクスの利用者はこれらの原則を十分考慮ことが常に望ましいことを意味する。単一の指標すべきであると論じている14）。この 10 原則が、科は、ゲーム化や目標の取り違えを招く（指標の測定学計量学関係者のみならず、多くの研究者、研究機自体が目標になる）。例えば、1990 年代のオースト

関の管理者、研究行政担当者の注意を引くことを期

ラリアでは、機関からの発表論文数に大きく依拠す待したい。

る数式を使って大学の研究への資金配分を行った。
大学は査読制雑誌の 1 論文あたりの「価値」を計算することができた。2000 年時点でのその価値は謝辞

800 豪ドル（当時のレートで約 480 米ドル）の研本レポートをまとめるに当たって、第 1 研究グ究資金に相当した。予想されたように、オーストラループ客員総括主任研究官の伊地知寛博氏から貴重リアの研究者が発表する論文数は増加したが、それな助言を頂いた。また、原論文について和訳の許可らは被引用数の低い雑誌に集中し、論文の質の低下を下さった、Diana Hicks 氏、Nature 誌に感謝申を示唆した f）。

し上げる。

参考文献a）〜f）は、文献8）に挙げられている参考文献である。
1） Waltman, L. A review of the literature on citation impact indicators. J. Informetrics, 2016, 10(2), 365‒
391.
2） van Raan, A. F. J. Fatal attraction: Conceptual and methodological problems in the ranking of universities
by bibliometric methods. Scientometrics, 2005, 62(1), 133‒143.
3） 小野寺夏生．大学ランキングは信頼に値するか？

化学と工業，2010, 63(10), 810‒811.

4） Seglen, P. O. Causal relationship between article citedness and journal impact. J. Am. Soc. Inf. Sci., 1994,
45(1), 1‒11.
5） Garﬁeld, E. The history and meaning of the journal impact factor. J. Am. Med. Assoc., 2006, 295(1), 90‒
93.
6） Leydesdorﬀ, L. Caveats for the use of citation indicators in research and journal evaluations. J. Am. Soc.
38

P35̲ほらいずん̲研究計量̲8校.indd 38

2016/12/08 15:20

研究計量に関するライデン声明について

Inf. Sci. Technol., 2008, 59(2), 278‒287.
7） Glänzel, W and Moed, H. F. Opinion paper: thoughts and facts on bibliometric indicators. Scientometrics,
2013, 96(1), 381‒394.
8） Hicks, D., Wouters, P., Waltman, L., de Rijcke, S. and Rafols, I. The Leiden Manifesto for research metrics.
Nature, 2015, 520(7548), 429‒431 (23 April 2015).
http://www.nature.com/news/bibliometrics-the-leiden-manifesto-for-research-metrics-1.17351
9） STI 2014 Leiden. http://sti2014.cwts.nl/Home
10）Halevi, G. Reporting Back: STI 2014 Leiden, The Netherlands. Research Trends, 2014, (39), https://www.
researchtrends.com/issue-39-december-2014/reporting-back-sti-2014-leiden-the-netherlands/
11）de Rijcke, S. The Leiden manifesto in the making: proposal of a set of principles on the use of assessment
metrics in the S&T indicators conference. 2014, (Sep), https://citationculture.wordpress.com/2014/09/15/
the-leiden-manifesto-in-the-making-proposal-of-a-set-of-principles-on-the-use-of-assessment-metrics-in-the-stindicators-conference/
12) Leiden manifesto for research Metrics. http://www.leidenmanifesto.org/
13）林和弘．研究論文の影響度を測定する新しい動き−論文単位で即時かつ多面的な測定を可能とする Altmetrics −，科学技術動向，2013，134，20‒29. http://hdl.handle.net/11035/2357
14）Bornmann, L. and Haunschild, R. To what extent does the Leiden manifesto also apply to altmetrics? A
discussion of the manifesto against the background of research into altmetrics. Online Inf. Rev., 2016, 40(4),529‒543.
a)López Piñeiro, C. & Hicks, D. Reception of Spanish sociology by domestic and foreign audiences diﬀers
and has consequences for evaluation. Res. Eval., 2015, 24(1), 78‒89.

b)van Raan, A. F. J., van Leeuwen, T. N., Visser, M. S., van Eck, N. J. & Waltman, L. Rivals for the crown:
Reply to Opthof and Leydesdorﬀ. J. Informetrics, 2010, 4(3), 431‒435.

c)Waltman, L. et al. The Leiden ranking 2011/2012: Data collection, indicators, and interpretation. J. Am.
Soc. Inf. Sci. Technol., 2012, 63(12), 2419‒2432.

d)

Hirsch, J. E. An index to quantify an individualʼs scientific research output. Proc. Natl Acad. Sci. USA,2005, 102(46), 16569‒16572.

e)

Bar-Ilan, J. Which h-index? ̶ A comparison of WoS, Scopus and Google Scholar. Scientometrics, 2008,
74(2), 257‒271.

f)

Butler, L. Explaining Australiaʼs increased share of ISI publications̶the eﬀects of a funding formula basedon publication counts. Res. Policy, 2003, 32(1), 143‒155.

STI Horizon

P35̲ほらいずん̲研究計量̲8校.indd 39

2 0 1 6 Vol .2 No.4

39

2016/12/08 15:20