2/20/2019

Bibliometrics and Beyond –Metrics for all Types of Scholarly Output & Telling theStory Around the Societal Impact of ResearchAnders Karlsson, Vice President,
Global Strategic Networks
Elsevier

ビブリオメトリックスとその先 –あらゆる種類のScholarly Output（論文数）における研究評価指標と研究の社会的インパクトのストーリーを伝える

Anders Karlsson, Vice President,
Global Strategic Networks
Elsevier1

2/20/2019

Global Dynamics in Need of Guidance from Research

Building asustainableworld

Re emergenceof China andAsia

Big Data andArtificial
Intelligence

Social Mediaand global
connectivity• Arts, Humanities & Social Sciences key to shape
the future we want研究を必要とするグローバルの動向

持続可能な世界

中国とアジアのの構築

再台頭

ビッグデータとSNSとグローバ

AI

ルなつながり• 教養、人文、社会科学で私たちが望む未来を形作る

2

2/20/2019

What about Japan and Society 5.0?

日本のSociety 5.0とは3

2/20/2019

7Agenda• Arts, Humanities and Social Sciences – AHSS
- is there a metrics challenge?
• Increasing impact of AHSS- Capturing Information- Showcasing Output and Outcomes- Respecting Diversity• Open Science Opportunities

8

アジェンダ
• 芸術、人文、社会科学 – AHSS
- 研究評価指標に課題はあるのか?
• AHSSによる影響力の大きさ- 情報の取得- 研究成果の紹介- 多様性の尊重• オープンサイエンスの機会

42/20/2019

Why do we want to use research metrics?

Analyze research
Determine
Demonstratestrengths
where research is a ROI (Return On
good potential
Investment) ofinvestment
research moneyShowcase
researchers or
identify risingstars

Tell a better
narrative about
everything thatis happening
with research

若手研究者のスター候補を発掘したい

研究成果を効果的に伝えたい

研究評価指標を使う理由

機関の研究の強みを分析したい

投資すべき研究候補をあぶりだしたい

研究の投資対効果
ROIを示したい5

2/20/2019

11

Potential Challenges for AHSS
Only localinterest?

Local language

Varied research
outputs

No consensus
evaluation &metrics

AHSSの潜在的な課題

12

現地の関心事のみ?

現地の言語

多様な研究成果

評価の測定や指標に関する合意がない

6

2/20/2019

Canadian Federation for Humanities and Social Sciences- Report from May 2017
Key Observations••••••

Substantial benefits in assessing the impacts of scholarly work
Flawed assessments can produce negative consequences
The impact of scholarly work is diverse, cannot be captured by any single indicator
Bibliometrics’ limitations can be mitigated through the use of qualitative indicators
Specific Scholarly attributions difficult due to the collective and collaborative nature
Research impact often extends to outside of the academic community

Recommendations••••

Define impact broadly
Use diverse and flexible sets of indicators, qualitative and quantitative methods
Researchers should play a leading role in describing the impacts of research work
Assess collective impacts
Develop institutional supports to enable effective impact assessment

http://www.ideas-idees.ca/sites/default/files/impact_report_en_final.pdf

Canadian Federation for Humanities and Social Sciences- 2017年5月付レポート
主な発見事項••••••

学術研究におけるインパクトの評価で得られる十分なメリット
不十分な評価はマイナスの結果をもたらす可能性がある
学術研究のインパクトは多様で、単一の指標では捕えきれない定性的な指標でビブリオメトリックスの制限を緩和
集合的・共同的な面から、学者ごとの情報追跡は困難
研究のインパクトは学術コミュニティの外へも行きわたる•••••

インパクトを幅広く定義
多様かつ柔軟な指標、定量的かつ定性的な手法を活用
研究者は、研究のインパクトを詳述する主要な役割を果たすべき集合的なインパクトを評価
研究機関全体での支援体制で効果的なインパクト評価を実現

推奨事項

http://www.ideas-idees.ca/sites/default/files/impact_report_en_final.pdf

7

2/20/2019

Elsevier and Research Metrics
Our Metrics approach Need to use different metrics andcommon sense• Decisions should be based on bothquantitative and qualitative input• Should always use at least twometrics (more than one way to‘excellence’) The methodologies should be open,transparent, valid and replicable Definitions should be owned by thecommunity• Need trust between the parties
using metrics to evaluate

エルゼビアと研究評価指標
弊社の評価指標へのアプローチ
 複数の評価指標と共通理解が必要• 定量的かつ定性的なインプットに基づく意思決定• 常に2つ以上の評価指標を使用し、「エクセレンス」へ 手法はオープンで透過的、検証済みであり、かつ複製可能なもの
 コミュニティが定義づける• 評価指標を使用する当事者間の信頼関係が必要

8

2/20/2019

Traditional Metrics Throughout the Research Process

http://plumanalytics.com/learn/about-metrics/
www.snowballmetrics.com

17

研究プロセス全体での従来型評価指標

http://plumanalytics.com/learn/about-metrics/
www.snowballmetrics.com

18

9

2/20/2019Categorizing Metrics for Analysis

USAGE(clicks, downloads,views, library holdings,video plays)

CAPTURES(bookmarks, code forks,favorites, readers,watchers)

SOCIAL MEDIA(+1s, likes, shares,tweets)

MENTIONS(blog posts, comments,reviews, Wikipedia links)

CITATIONS(citation indexes, patents,clinical, policy)

分析のための評価指標の分類

利用(クリック数、ダウンロード数、表示数、蔵書数、ビデオ再生回数）

取得(ブックマーク数、コードのフォーク数、お気に入り登録数、読者数、視聴者数）

ＳＮＳ(+1数、いいね数、シェア数、ツイート数）

言及（ブログ投稿数、コメント数、レビュー数、Wikipediaリンク数）

引用(引用索引数、特許数、臨床、ポリシー）

102/20/2019

Increasing impact of AHSS - Capturing Information
Broadening the Sources of Metrics
ACIAmazon
Airitibepress
bit.lyCABI
CrossRef
Delicious
Dryad
D dSpace
M DynaMed PlusP EBSCOePrints

Facebook
figshare
GithubGoodreads
Google+Mendeley
NICE (UK)OJS Journals
PLOS
PubMedPubMed Central
Reddit
RePEc

SciEloScopusSlideShare
SourceForge
SSRN
Stack Exchange
Twitter
USPTO
Vimeo
Wikipedia
WorldCat (OCLC)
YouTubeAHSSによる影響の大きさ - 広範な評価指標のソースから情報を取得
ACIAmazon
Airitibepress
bit.lyCABI
CrossRef
Delicious
Dryad
D dSpace
M DynaMed PlusP EBSCOePrints

Facebookfigshare
GithubGoodreads
Google+Mendeley
NICE (UK)OJS Journals
PLOS
PubMedPubMed CentralReddit
RePEc

SciEloScopusSlideShare
SourceForge
SSRN
Stack Exchange
Twitter
USPTO
Vimeo
Wikipedia
WorldCat (OCLC)
YouTube11

2/20/2019

Increasing impact of AHSS
- Showcasing Output and Outcomes (I)•••Efficient Research Information System- Elsevier PURE and Mendeley
Translate titles & abstracts Spanish to English
to increase visibility (more than 1000 publications)Overcome perceptions among faculty on the needto showcase research beyond national community

https://www.elsevier.com/connect/raising-the-global-visibility-of-local-research

AHSSによる影響の大きさ- 研究成果の紹介 (I)•••効率的な研究情報システム- エルゼビアのPureとMendeley
タイトルとアブストラクトをスペイン語から英語に翻訳し、可視性を高める (1,000件以上の出版物）
国内のコミュニティ外へ研究を紹介する必要性について、研究者間の認識を改める

https://www.elsevier.com/connect/raising-the-global-visibility-of-local-research

12

2/20/2019

Increasing impact of AHSS
- Showcasing Output and Outcomes (II)
Repository
network- Publishing- Showcasing- Impact analytics

http://network.bepress.com/arts-and-humanities/

Open Access. Powered by Scholars.
Published by Universities

AHSSによる影響の大きさ-研究成果の紹介 (II)
レポジトリ
ネットワーク- 出版- 紹介- インパクト分析

http://network.bepress.com/arts-and-humanities/

オープンアクセス。学術者の支援。
大学による出版。

13

2/20/2019

Increasing impact of AHSS- Respecting Diversity
Two Golden Rules of Using Research Metrics
Always use both
qualitative andquantitative input into
your decisions
Always use more than
one research metric as
the quantitative input“A basket of metrics”

27

AHSSによる影響の大きさ- 多様性を尊重
研究評価指標を活用する際の2つの行動規範
判断には定量的と定性的の両方のインプットを常に使用
定量的なインプットとして、常に複数の研究メトリックスを使用“A basket of metrics”

28

14

2/20/2019

Open Science for AHSS• Open Science to make research- more inclusive

包括的- more collaborative- more transparent.

共同的• Use OA publishing (Gold, Green)• Manage your research data
• Make the research discoverable• Use technology to network
透明性

AHSSのオープンサイエンス• オープンサイエンスは学術研究をより包括的、より共同的、かつより透明性包括的を持たせる手段• OA出版（ゴールド、グリーン）を活用

共同的• 自身の研究データを管理• 研究を発見可能に• ネットワークのテクノロジーを活用
透明性15

2/20/2019

ありがとうございました！
Thank you!
Dr Anders Karlsson
Email: a.karlsson@elsevier.com

16