オープンアクセス時代にかわる
研究評価の在り⽅：現状と未来
⾃然科学研究機構
東北⼤学附属図書館
⼩泉 周

神経⽣理学者として⾼IFの雑誌に良い論⽂をかき、被引⽤数を得ること

最初のOA経験（2007年）
The new methods wehave developed should
be made widely known
to a variety of people.

Dick Masland
Harvard Med School32015年12⽉1⽇
読売新聞

13面[論点]指標に研究力低下の兆候
小泉周氏（寄稿）の新聞記事

かつて、⽇本の研究評価（特に研究者の評価）はどうであったか？
●●⼤学・⼤学
院出⾝●●学会の委員●●教授のお弟⼦さん

論⽂の数をたくさん出している・がんばっているかつて、⽇本の研究評価（特に研究者の評価）はどうであったか？
●●⼤学・⼤学院出⾝●●教授のお弟⼦さん

研究の「質」的評価が⻑年の課題●●学会の委員

論⽂の数をたくさん出している・がんばっている専⾨家の知⾒にもとづく判断

⾝⻑
体重脈拍⾎圧
⼼電図
ＭＲＩ
ＣＴ
Ｘ線
⾎液検査

7

「量」から「質」へ

量質

では、「質」ってなによ？！
そもそも、「質」でいいの？（「厚み」を提案）

世界的な潮流「量」から「質」へ• DORA（2012）• ヨーロッパの考え⽅
Research Excellence
研究評価の新たな考え
⽅ CoARA（2022）• REF2029（英国）研究評価に関するサンフランシスコ宣⾔（DORA）（2012）• 個々の科学者の貢献を査定する、すなわち雇⽤、昇進や助成の決定をおこなう際に、個々の研究論⽂の質をはかる代替⽅法として、インパクトファクターのような雑誌ベースの数量的指標を⽤いないこと。
• インパクトファクターに不適切に依存している研究評
価の慣例を批判し、個別の研究成果の価値や影響に注⽬するベストプラクティスを推進し、振興すること。
LXXTWWJHSVESVKVIEHVIEHXLIHIGPEVEXMSRNETERIWI
⼩泉注：-*は、雑誌評価。個々の論⽂の“被引⽤数”と雑誌の“-*”を混同すると(36%の宣⾔の議論の本質を⾒間違える。

Agreement on Reforming ResearchAssessment (2022)(CoARA)• Base research assessment primarily on qualitativeevaluation for which peer review is central,
supported by responsible use of quantitativeindicators• Abandon inappropriate uses in research assessmentof journal- and publication-based metrics, inparticular inappropriate uses of Journal Impact Factor(JIF) and h-index• Avoid the use of rankings of research organisations inresearch assessment
https://coara.eu/

「研究⼒は⼭である」

⼭の⼤きさ、⾼さ、急峻さ、知りたい！
どのように測るか？

量

• 論⽂数
ArticleReview
Proceedings/Conference paper• 本／本の章BookBook Chapter
英語が基本
⽇本語は？
※ただし、それぞれの商業データベースに掲載されているもののみ。

13
数を数えるにしても（量）、データベースに依存する

論⽂

どのデータベースで数えるかによって、論⽂の数が変わってしまう
英語雑誌
データベースA
３つの論⽂が登録されている

英語雑誌
データベースB
５つの論⽂が登録されている

⽇本語雑誌
14

クイズ！ 論⽂数の推移 ⽇本はどれでしょう？？？

①
②
③
④
⑤
エルゼビア SciValで2020年6⽉にデータ取得

①⽶国
②中国
③⽇本
④韓国 ⑤シンガポール
エルゼビア SciValで2020年6⽉にデータ取得

被引⽤数が基本

質※なお、インパクトファクターは雑誌の評価であり、ここでいう質の指標とは全く違うものです。

• ⽂献タイプで違う
Articleと、Reviewで違う傾向
Reviewはたくさん引⽤される• 分野で違う分野による被引⽤の違い
医学系の引⽤は多い〇平均の被引⽤度： FWCI（Field Weighted Citation Impact）
⽂献タイプ、分野で補正。世界平均を１とする。
〇トップ論⽂： 引⽤度トップ１％、１０％
17

「質」＝被引⽤数が基本

⼩泉の論⽂には、ｘｘｘということが書いてあった

⼩泉の発表論⽂

被引⽤数 = ５５本の論⽂に引⽤された
これが論⽂の「質」を表す
18

FWCI
（THE世界⼤学ランキングcitationの重要指標）

19

クイズ！ FWCIの推移 ⽇本はどれでしょう？

①
②
③
④

⑤

エルゼビア SciValで2020年6⽉にデータ取得

日本の研究の現状 「質」に課題あり①アメリカ⑥シンガポール②EU28か国
③韓国
④中国

エルゼビア

⑤⽇本

SciValで2020年6⽉にデータ取得

被引⽤数ではない「質」の定量的評価は可能か？
• インパクト・ファクターの誤⽤• Nature Index• Altmetrics

Citationに頼らない「質」の指標は？
NatureIndex論⽂数（AC）（研究⼤学強化促進事業・⾏政事業レビュー）
Nature Indexは、世界トップクラスの研究成果を国・機関別にプロファイリングするデータベースです。第⼀線で活躍している現役研究者が選んだ、⾼品質な科学ジャーナル82誌に掲載された原著論⽂を収録しています。直近12か⽉のデータのスナップショットを公開している natureindex.com では、国や研究機関の論⽂出版数はもちろんのこと、論⽂に対する研究機関の貢献度を⽰す分数カウント、国際・国内共同研究の⽐率や、その共同研究実施機関が⼀覧できます。各収録論⽂のページでは、論⽂の書誌事項に加えて、その論⽂の社会的インパクトを測る Altmetric も確認できます。Nature Indexを使って、研究のトレンドを調べたり、個々の研究機関の強みを分析してみてください。
研究者が、⾃⾝の最⾼の研究成果を出したいジャーナルとして選んだ82誌を厳選
2023年には、医学系雑誌も追加。

23

NatureIndex•ACS Nano•Advanced Functional Materials•Advanced Materials•American Journal of Human Genetics•Analytical Chemistry•Angewandte Chemie International Edition•Applied Physics Letters•Astronomy & Astrophysics•Cancer Cell
•Cancer Research•Cell•Cell Host & Microbe•Cell Metabolism•Cell Stem Cell
•Chemical Communications•Chemical Science•Current Biology•Developmental Cell
•Earth and Planetary Science Letters•Ecology Letters•eLife•Environmental Science & Technology•European Physical Journal C•Genes & Development•Genome Research•Geochimica et Cosmochimica Acta
•Geology•Geophysical Research Letters•Immunity•Inorganic Chemistry•Journal of Biological Chemistry•Journal of Cell Biology•Journal of Clinical Investigation•Journal of Experimental Medicine•Journal of Geophysical Research: Atmospheres•Journal of Geophysical Research: Solid Earth•Journal of High Energy Physics•Journal of Neuroscience•Journal of American Chemical Society•Macromolecules•Molecular Cell
•Molecular Psychiatry•Monthly Notices of the Royal Astronomical Society Letters•Nano Letters•Nature•Nature Biotechnology•Nature Cell Biology•Nature Chemical Biology•Nature Chemistry•Nature Climate Change•Nature Communications•Nature Genetics•Nature Geoscience•Nature Immunology•Nature Materials•Nature Medicine•Nature Methods•Nature Nanotechnology•Nature Neuroscience•Nature Photonics•Nature Physics•Nature Structural & Molecular Biology•Neuron•Organic Letters•Physical Review A•Physical Review B•Physical Review D•Physical Review Letters•Physical Review X•PLOS Biology•PLOS Genetics•Proceedings of the National Academy of Sciences of the UnitedStates of America•Proceedings of the Royal Society B•Science•Science Advances•Science Translational Medicine•The Astrophysical Journal Letters•The EMBO Journal•The ISME Journal: Multidisciplinary Journal of MicrobialEcology•The Journal of Physical Chemistry Letters•The Plant Cell
•Water Research
American Journal of Clinical Nutrition
American Journal of Epidemiology
American Journal of Obstetrics and Gynecology
American Journal of Pathology
American Journal of Respiratory and Critical Care Medicine
Anesthesiology
Annals of Emergency Medicine
Annals of Family Medicine
Annals of Internal Medicine
Annals of Neurology
Annals of Surgery
Annals of the Rheumatic Diseases
Archives of Physical Medicine and Rehabilitation

Arthritis & Rheumatology
BloodBrain
British Journal of Surgery
ChestCirculation
Clinical Infectious Diseases
Critical Care Medicine
Diabetes Care
Environmental Health Perspectives
European Heart Journal
European Urology
Gastroenterology
GutHepatologyHuman Reproduction
International Journal of Epidemiology
International Journal of Obesity
JAMA Internal Medicine
JAMA Pediatrics
JAMA Psychiatry
JAMA Surgery
JAMA: The Journal of the American Medical Association
Journal of Bone and Joint Surgery-American Volume
Journal of Clinical Endocrinology & Metabolism
Journal of Clinical Oncology
Journal of Hepatology
Journal of Infectious Diseases
Journal of Physiology
Journal of the American Academy of Child and Adolescent
Psychiatry
Journal of the American Academy of Dermatology
Journal of the American College of Cardiology
Journal of the American Geriatrics Society
Journal of the American Society of Nephrology
Journal of the National Cancer Institute
Journal of Thoracic and Cardiovascular Surgery
Kidney InternationalOphthalmology
Pediatrics
PLOS MedicineRadiology
The BMJ
The Journal of Allergy and Clinical Immunology
The Lancet
The Lancet Diabetes & Endocrinology
The Lancet Global Health
The Lancet Neurology
The Lancet Oncology
The Lancet Psychiatry
The New England Journal of Medicine
ThoraxImpact Factorの功罪• Impact Factorは被引⽤数に基づく「雑誌」の評価≠論⽂の被引⽤数（論⽂ごとにつく数字） ではない！
• 掲載されている論⽂の「質」を補償するものではない！
• IFの誤⽤＝IFの⾜し算をして個⼈評価に⽤いるのは誤⽤
インパクトファクター

被引⽤数

雑誌ごと1本1本の論⽂ごと（ただし被引⽤数がベースとなる）論⽂が掲載された時点で、その雑誌のIF 論⽂が掲載されてから、引⽤がつくまで数年はかかり、その後、増加していは決まっている。（毎年発表）
く。
論⽂掲載されたらすぐにわかる⇒ 明⽇の評価に、今⽇の論⽂掲載が使える論⽂掲載されてもすぐには評価がわか25
らない。数年は待つ。

Altmetricsはどこまで信頼できるか？

明確な指標の定義はない。
バズった研究が質が⾼いとはいえない裏側がどうなっているかはわからない
⼀つの評価指標だけでは、⼀⽅向的な⾒⽅しかできない様々な視点を組み合わせることが必要
それでも、⾒逃されているものがあることを認識しておくことも必要

専⾨家の知⾒にもとづく判断

⾝⻑
体重
脈拍
⾎圧
⼼電図
ＭＲＩ
ＣＴ
Ｘ線
⾎液検査

30

操作容易

操作難
被引⽤数

FWCI

論⽂数

質量75%FWCI

厚h5-index

複雑な複合指標IF

IFの誤⽤

IFは、雑誌の評価であって、個々の研究評価や研究者の⼈事評価に⽤いてはならない複雑な複合指標にすれば良いわけではない

⾝⻑の伸び
児童の成⻑を測る
⾝⻑（量）の伸びを指標とする「⽜乳を飲むと、⾝⻑が伸びる」というエビデンス

⾝⻑／飲んだ⽜乳の量 を費⽤対効果をみる指標にしよう！
適切な⽬的、因果関係、ロジックが重要⼈⽂学・社会科学研究の国際モニタリング指標のフィジビリティ―の検討、国際⽐較

⾏政的課題

33

⼈⽂学・社会科学研究の質は誰が担保しているか？
• 「質」の担保 出版社が重要な役割
Top 19 publishers (小泉、後藤ら、2016)
Cambridge University Press
Johns Hopkins University Press
Oxford University Press
Princeton University Press
University of California Press
University of Michigan Press
University of Hawaii Press
Yale University Press
Academic Press
Brill (Leiden)

De Gruyter Mouton (Berlin, Boston)John Benjamins (Amsterdam, Philadelphia)
Macmillan Publishers
MIT Press (Cambridge, Massachusetts)
Peter Lang (Bern)
Routledge (London)
Sage Publications
Springer (Dordrecht)
Wiley-Blackwell (NY)

⼈⽂学・社会科学分野の全業績（論⽂、本など）の各国の傾向
ALL⼈社
⽶国

300000250000200000中国

150000

英国

10000050000
01992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020 2021 2022
auschn

deu

fra

gbr

hkg

jpn

kor

rus

sgp

twn

usa

⽶英が強く（最近は横ばい）、中国が短期間に伸びてきているという⾃然科学系の傾向と⼤きく
変わるところはない⼈⽂学・社会科学分野の全業績（論⽂、本など）の各国の傾向（⽶英中を除く）
ALL⼈社
70000

独逸

60000

濠州

50000
40000

仏国

30000

露国
⽇本

20000
10000
0

aus

deu

fra

hkg

⽇本は全体で８位

jpnkor微増傾向

russgptwn

研究成果が、どれだけ世界中の⼈から読まれたか？どれだ
け⾒られたか？どれだけ他の研究者や他のセクターの皆さんと情報を共有できるか？

オープン・アクセス37皆で一緒に、一つ一つの研究成果を重ね、イノベーションを生み出す

みんなで⼀緒に、⼀つ⼀つの研究成果を組み合わせ、新たな価値をイノベーションする

研究成果をみんなでシェアしていく

イノベーション
38

⼤学の分野ごとの研究⼒を⾒る３つの側⾯ （調、清家、⼩泉 2018）

量

質

厚み

論⽂数
被引⽤数などTop1%論
⽂数・割合など

⼤学のその分野は、どのくらい層が厚いのか？

Size-dependentSize-independentSize-dependent39

量・質だけでは⾒れない価値がある＝＞ 「厚み」

h5-indexPublication Set in Research Field X
One lucky strike
15211511618781938*# in circles = citations
University A
Total # of Publications: 9
Total # of Citations: 66
Average Citations per Publications: 7.3# of Top Percentile Publications: 1
ATSUMI institutional h5-index: 3
調、清家、⼩泉（2018）

University B
Total # of Publications: 7
Total # of Citations: 47
Average Citations per Publications: 6.7# of Top Percentile Publications: 0
ATSUMI institutional h5-index: 6※それぞれの円が１つ１つの論⽂。
円の中の数字は被引⽤数。

研究⼒を測る主要指標＝ （分野によらず）基本となる指標群
量論⽂数（本を含む）
質
FWCI（参考）Top10% 論⽂割合
厚みTop10% 論⽂数
institutional h5 index
国際性CNI（分数）（参考）国際共著論⽂率
研究者（参考）Active authors

Top10%論⽂数

厚み（h5 index）

量
質論⽂数
FWCI

THE世界⼤学ランキング3.0
Citation指標の変更• ３０％を占める指標 FWCIにのみ依存していた• このうち、１５％はそのままFWCIを利⽤• 残りの１５％を３つにわける• 75%FWCI（厚み）• Top10%論⽂数（厚み）• Network score• これにともない、後者については、Kオーサーペーパの特別な処置や、国別補正はなくす• 全体的にロバストな指標へ。
• ⼤きな総合⼤学に有利ではないか？
• 少なくとも、⽇本の医学系⼤学が上位に並ぶことはなくなる。
• 意外な結果は⽣まれにくくなる

THE世界⼤学ランキング新指標
A groupperformancecannot beevaluated only
by an averageof FWCIUniversityAUniversity
B

120

5.5

5.1

5.2

3.3

3.5

1.2

2.5

1.1

2.0

0.9

1.7

0.8

1.6

0.7

1.5

0.5

1.4

0.4

1.1

0.3

1.0

12.2

2.5

７５％タイルThe FWCI takes “Averages” (∑ FWCI / # of publications), so there is adanger that even one outstanding paper will be heavily biased. 43

⼤学の研究⼒をどのように把握し、⾼めるか？
単に指標だけの問題ではない研究成果が、どれだけ世界中の⼈から読まれたか？どれだ
け⾒られたか？どれだけ他の研究者や他のセクターの皆さんと情報を共有できるか？
が、価値を⽣み出す45

オープンアクセスが⽣み出す新しい「価値」とは何か？

OAが既存の指標に与える影響

すぐには⾒えない研究の価値・社会インパクトすぐには⾒えない研究の価値・社会インパクトTransferable

例「メンデル」遺伝法則

1865年2⽉8⽇と3⽉8⽇の2回、ブルノ博物学協会の例会で実験結果を発表し、翌1866年に同会の雑誌に「植物雑種の実験」という題⽬のドイツ語論⽂として公表した。その後英語に翻訳で出版。

メンデルが「植物雑種の実験」で明らかにした形質伝達の仕組みの正しさが認められ、「メンデルの遺伝法則」として「再発⾒」されたのは、論⽂が⼝頭発表されて35年、印刷され世に出てから34年を経た1900年のことであった。
https://www.research.kobe-u.ac.jp/ansintergenomics/Meine%20Zeit/chapter3.html

「質」の良い研究を評価しよう、という考え⽅、そのものも、やめませんか？
• 研究の「質」や「インパクト」は結局すぐには測ることはできない• どれだけ、研究が「transferable」か、を⾒ることが重要ではないか？ OAの意義

“Astronomical Dialogue” by Galileo Galilei

OA時代だからこそ。
学術出版社の責任と役割を問う。

https://www.elsevier.com/jajp/about/our-business/history/theelsevier-heritage-collection

Great courage to publish this book based on scientific findingsin the face of religious denial of the celestial motion theory.
Elsevier published the book, in 1635, despite its religious
prohibition, under Galileo's house arrest.
52

JOSS 2024
The future of OA:
Listening from academic
publishers.
“Toward Equitable andSustainable OpenAccess”

June 18, Tue, 18-19:30
pm (JST) for listening
from European based
publishers.
June 21, Fri, 10-11:30 am(JST) for listening from US
based publishers.

Common Questions:• Q1: What open-access models are you presently providing
for the research community?
• Q2: Can you comment on the sustainability and equity ofopen access in its various forms currently, including any
thoughts on the requirements being introduced in Japan?
• Q3: How do you see open access and the publication ofpeer-reviewed research and the availability of dataunderpinning the research evolving in the future?
• From EU/UK are:
Ms. Antonia Seymour, Chief Executive, Institute of Physics Publishing,(IOP Publishing)Ms. Ella Colvin, Publishing Director, Humanities and Social Science
Journals, Cambridge University Press (CUP)
Mrs. Stephanie Veldman, Head of Open Research, De Gruyter-Brill
From US are:
Ms. Collette Bean, Chief Publishing Officer, American PhysiologicalSociety
Dr. Elizabeth Nolan, Deputy Executive Officer and Chief Publishing Officer,
OpticaDr. Jeff Lewandowski, Director of Publishing, American Physical Society（２００８）
引⽤数 239FWCI 3.48

引⽤数 33
FWCI 0.78

ご清聴ありがとうございました。
a.koizumi@nins.jp