資料2
科学技術・学術審議会 学術分科会
人文学・社会科学特別委員会（第14回）
令和４年10月14日

スコット記念塔

オルトメトリクスの背景・概要と人文学・社会科学系への応用の可能性

2022年10月14日
文部科学省科学技術・学術政策研究所（NISTEP）
データ解析政策研究室長
林 和弘

1

問題意識

◼ 人文学・社会科学の社会的インパクトはどのように測れるか？

（これまでの議論の抜粋）◆ 人文学・社会科学は、その社会的な機能によるインパクトが、社会全体への啓発から個別の地域住民の理解増進など、多方面で、多様な形で生じており、研究成果のインパクトとして丁寧に捉えていくべきである◆ 現時点では、計量的な方法で計測することは困難である◼ 今後の可能性、方策として、2010年代より自然科学系の査読付き論文を中心に社会的インパクト計量を試みてきたオルトメトリクスをオープンサイエ
ンスの潮流も踏まえて参考にする

1

2

１. オープンサイエンス時代の研究評価

オープンサイエンスとは（UNESCO勧告より）“多言語の科学知識を誰もが自由に利用・アクセス・再利用できるようにし、科学と社会の利益のために共同研究と情報の共有を拡大し、科学知識の創造、評価、伝達の過程を従来の科学界を超えて社会を構成するすべての人（アクター）に開放するための様々な運動と実践を統合した包括的な概念”
2

3

多面性、多次元性を持つ解析ができる時代
計量書誌学から研究活動計量学へ

このネットワークから自身のコンテンツが見えるかどうかが鍵ポイント：テクノロジーはすでに様々に用意されている。研究活動がどのようにネットワーク化、可視化され、機械（AI）に理解できるようになるかがaltmetricsの発展のために不可欠3

計量書誌学から研究活動計量学へ(<特集>計量書誌学を超えて)情報の科学と技術 2014
https://doi.org/10.18919/jkg.64.12_496

4

研究インパクトの多様化，多次元化◼ 投稿，査読，出版等の活動が、研究者、研究費、研究機関等、関連の識別子（ID）と共に今まで以上にまた，瞬時に見える化される時代◆ 評価する側も多様に

オープンデータを中心に、研究費、研究者、研究機関、論文、特許、政策文書などをつなげて多角的に分析
publons

機械によるクローリング
Dimensions

査読の貢献度を測るツールも2009年にその兆候をレポート
e-CSTI

http://hdl.handle.net/11035/2056

4

5

識別子の発展による複合評価の時代

従来の研究インパクト計量の解像度が上がり、拡張する◼ ジャーナルレベルのメトリクス(ISSN, IF)◼ 論文レベルのメトリクス (DOI, CrossRef)◼ 著者レベルのメトリクス (ORCID)◆ 機関レベルのメトリクス InCites, SciVal◆ 国レベルのメトリクス OECD, NISTEP

科学技術・学術的なインパクト以外への可能性の模索◼ 社会的インパクト◆ 経済的インパクト◆ 教育的インパクト◆ Etc..

◼ ROI (Return of Investment)

56

２. 研究インパクト計量の現在とオルトメトリクス

6主な研究インパクト計量の方法

7

1.

利用✓✓

アクセス数
ダウンロード数• アクセス・ダウンロードしても利用される・評価されているとは限らない• 操作が容易2.

ピアレビュー✓

研究者による評価• 時間• コスト• バイアス（国籍・性別）

3.

引用✓ 研究者による評価• 評価（引用）に時間がかかる• 社会におけるインパクトは測定できない• 分野やテーマ，論文の種類によって引用されやすさが異なる

4.

オルトメトリクス
http://altmetrics.org/manifesto/7

8

オルトメトリクスとは

altmetrics：Alternative Metricsの略語◼ 論文やデータセットなど様々な研究成果物の影響を◆ ①現在はソーシャルメディアの反応を中心に定量的に測定する◆ ②その手法を用いて新しい研究の影響度を様々な観点から測定・評価し、被引用数を代替（科学インパクト）、補完（測れないものを測る）する可能性を持つ。

研究論文の影響度を測定する新しい動き―論文単位で即時かつ多面的な測定を可能とするAltmetrics―，
科学技術動向，2013，134，20-29． https://www.nistep.go.jp/wp/wp8
content/uploads/NISTEP-STT134J-2.pdf （上記は一部補訂済み）

9

影響度測定範囲の拡大

研究論文の影響度を測定する新しい動き―論文単位で即時かつ多面的な測定を可能とするAltmetrics―，
科学技術動向，2013，134，20-29． https://www.nistep.go.jp/wp/wp9
content/uploads/NISTEP-STT134J-2.pdf

10

Altmetricsの多面性

ソーシャルメディアの計量範囲

社会専門家

科学者の評判学術的影響度の計量

これまでの研究影響度を補完するAltmetrics（被引用数の先行指標など）

社会の評判
科学技術の理解科学コミュニケーションの定量化

新たな指標候補としてのAltmetrics（社会的影響度など）

研究論文の影響度を測定する新しい動き―論文単位で即時かつ多面的な測定を可能とするAltmetrics―，
科学技術動向，2013，134，20-29． https://www.nistep.go.jp/wp/wp10
content/uploads/NISTEP-STT134J-2.pdf

11Altmetricsの特徴◼ 広域・社会性：社会の評判など、専門家以外への影響度が測定可能になった◼ 補完・代替性：引用以外の手法で、または、引用では測りにくい分野の専門家への影響度が把握できる可能性がある◼ 即時性・予測可能性：論文公開直後からその影響度を定量的に測定でき、将来予測等に素早く活用可能な可能性を持つ

よくある誤解✓ その1：altmetricsがあれば被引用数がいらない世界が来る→被引用数は一つの有力な指標✓ その2：altmetricsは単にソーシャルメディアの評判（popularity）を示すだ
けだから無視して良い→分野によっては使える可能性は十分にある✓ その3：altmetricsは研究“論文”のインパクト計量に使われる→研究成果公開メディア自体を変えてインパクト計量をしてもよい（研究データ等）
研究論文の影響度を測定する新しい動き―論文単位で即時かつ多面的な測定を可能とするAltmetrics―，
科学技術動向，2013，134，20-29． https://www.nistep.go.jp/wp/wp11
content/uploads/NISTEP-STT134J-2.pdf

12

3. オルトメトリクスの具体例

12

13

Altmetricとその情報源◼
◼
◼
◼
◼
◼
◼

ソーシャルメディア
マルチメディア
Wikipedia
ブログ
オープンシラバスプロジェクト
オンラインレファレンス
その他

An Introduction to Altmetric Data – What Can You See?
http://www.springersource.com/an-introduction-to-altmetric-data-what-can-you-see/

13

14

Altmetric Attentionスコア Top100(2013-2020)2020年はCOVID-19に関する論文
2019年は特定の個人に似せたスピーチ・表現の動画を合成できるシステムに関するプレプリントがトップに

https://www.altmetric.com/top100/2020/

14

15

2021年から多様性を考慮（抜粋）• オルトメトリクスは主題分野によって異なり、より多くの種類のバリエーションがあり、引用数の量だけでなく、引用の速度と期間も変化します。
• 10 を超える参照ソースを説明しなければならない複雑さが増し、そのすべてに独自のバリエーションがある。
• COVID以前の数年間、トップ100は完全にAltmetric Attention Scoreに基づいていたが、昨年は分野に基づいてリストをセグメント化することを選択した。
• 今年は独自に、トップ 100 に 3 つの代替ビューを提示することを選択した。
15

16

日本語文献のオルトメトリクス
http://altmetrics.ceek.jp

情報源◼ Yahoo!知恵袋◼ CiteULike◼ レファレンス協同データベース（NDL）◼ Delicious◼ Facebook◼ Google+◼ はてなブックマーク◼ OKWave◼ Twitter◼ Wikipedia

吉田光男. 計量書誌学の新たな挑戦 : 国産オルトメトリクス計測サービスの開発. 情報の科学と技術.
2014, 64(12) p. 501-507. http://id.nii.ac.jp/1117/00001568/
16

17

Ceek.jp Altmetrics

CiNii, J-STAGEなどの日本の論文へのTwitter言及数（吉田氏提供）
http://altmetrics.ceek.jp

17

18

Ceek.jp Altmetrics

http://altmetrics.ceek.jp

18

19

可能性の一端◼ 日本の学協会誌掲載論文の調査（SNSによる言及）◆ 1,080,840報（2006-2015年）◆ ソーシャルメディアの言及は1-2%• Twitter，はてなブックマーク，Facebook，Wikipedia，Yahoo!知恵袋の順◆ 分野によって差がみられる：人文学・社会科学系が相対的に高い

佐藤翔, 吉田光男. 日本の学協会誌掲載論文のオルトメトリクス付与状況. 情報知識学会誌. 2017, Vol. 27, No. 1, p. 23-42. http://doi.org/10.2964/jsik_2017_009

19

20

メディア、言語別に見た現状と展望

査読付き論文・DOI（識別子）が付与されている論文を中心にソーシャルメディ
英語

アの反応を中心に社会インパクトの一部を計量できる。
・ただし研究評価に結びつけるのは時期尚早

紀要・モノグラフ・書籍

研究データ

ツール

・大手出版社、大学出版局のコン ・モノグラフ同様、研究データにテンツを中心にDOIが付いている 識別子がついていれば、インパクものについては、査読付き論文と ト計測が可能ではある同様の社会インパクト計量が可能 ・その前に研究データの共有・公・ただし査読付き論文のインパク 開を研究成果公開の手段および評

Altmetric.com
PlumX

ト計量と単純に比較することはで 価対象として研究者コミュニティきないが認める必要がある。

（分野例） 経済、心理学、環境学
・J-STAGE、CiNiiの論文を中心・DOI（識別子）が付いているもに、社会インパクトの一部を計量 のについては、査読付き論文と同 ・研究データ基盤整備がこれから日本語できる様の社会インパクト計量が可能であるが、本質的には英語と同じ Ceek.jp Altmetrics

・ただし、識別子の整備が英文論 ・ただし、識別子の整備と運用が 状況
文誌として遅れている状況（分野例）

社会科学、医学（心理、倫理系）
環境系

遅れている状況文学（童話集）◼ 研究者コミュニティ内や一般社会で研究成果について言及があったときに、機械が自動で捕捉できる情報基盤整備と運用が重要（特に日本）◼ その運用経験の積み重ねから研究評価の議論に繋げるフェーズ

20

21

人文学・社会科学系にとってのaltmetrics◼ 経済系など、査読付き論文がその分野の研究コミュニティの主要メディアの場合は、ソーシャルメディアの反応を中心とした、一部の社会的インパクトを図る指標としてaltmetricsを活用できる可能性がある◆ ただし、引用と同様、その効用と限界を理解して活用する必要がある◼ 人文学など、論文以外の研究成果公開メディアのデータを活用したaltmetricsへの期待は大きい◆ ただし、依然開発途上と言わざるをえない◼ 日本語の研究成果公開メディア側のaltmetricsへの期待と可能性も高い◆ 一部開発が進んでいるものの、ベースとなる識別子（ID）等の整備が不十分であり網羅性に欠ける◼ オープンサイエンスの潮流に従い、人文学・社会科学系にとって最適なデジタルネイティブ研究成果公開メディアを新たに開発する過程において、altmetricsを考慮することも重要ではないか✓ テクノロジーはすでに様々な可能性を与えている。
✓ むしろ研究者コミュニティの意識、行動の変容に基づく、新たな評価文化構築が求められる。

21

22

（参考資料）

23

Altmetricスコアの“トップ100”論文• 2020年の第1位は、新型コロナウイルスが人工的に合成されたという主張を否定する、2020年3月にNature Medicine誌に掲載された論文“Theproximal origin of SARS-CoV-2”でした。
• 同論文を含め、新型コロナウイルス感染症に関連する論文が上位100位までの論文のうち約30％を占めています。
• 同テーマによる論文は、生物医学・建築環境・建築デザイン・経済学など多数の研究分野から発表されていますが、ウイルス感染とマスクによる保護が特に頻繁に議論されたトピックであったことを紹介しています。
• また、新型コロナウイルス感染症以外に、気候変動・人種差別をテーマとした論文が、上位100位までの論文の多くを占めていることを紹介しています。
https://current.ndl.go.jp/node/43262••

2019年の第1位は、2019年5月に Arxivで公開された論文“Few-Shot Adversarial Learningof Realistic Neural Talking Head Models”でした。
特定の個人に似せたスピーチ・表現の動画を合成できるシステムに関する内容であり、“Altmetric Top 100”の7年間の歴史の中で最も広く共有された論文であると紹介されています。
https://current.ndl.go.jp/node/39775
23

24

引用は多いがSNSの言及は少ない例

24

25

引用は少ないがSNSの言及は多い例

25

26

オルトメトリクスの長所・短所

長所◼ 幅広さ(broadness) ：学術コミュニティ以外のインパクトを捕捉できる◼ 多様性(diversity) ：科学や研究が多分野のコミュニティに与える様々なインパクトを捕捉できる◼ 速度(speed)：論文の発表直後にインパクトを捕捉できる（引用は数年を要する）◼ 開示性(openness) ：データの入手が容易
Wouters, P. (2012). Users, Narcissism and Control—Tracking the Impact of Scholarly
Publications in the 21st Century. Proceedings of 17th International Conference on Science andTechnology Indicators, p. 847-857, Sep-2012, Montreal.
Bornmann, L. (2014). Measuring the broader impact of research: The potential of altmetrics.

短所◼ 商業化(commercialization)：企業の方針が評価に影響する可能性◼ データの質(data quality)：バイアス，意味の曖昧さ，標準の欠如など◼ 根拠の欠如(missing evidence)：研究評価に適用できるかどうか◼ 操作され易いこと(manipulation)：引用と比較して水増しが容易
Bornmann, L. (2014). Measuring the broader impact of research: The potential of altmetrics.

26

27

英国高等教育財政審議会(HEFCE)報告書◼ 研究評価の調査◆ 2014-2015年◼ 評価指標の模索◆ 効率的・効果的な指標は？
◆ ピアレビューの代替可能？

http://www.hefce.ac.uk/pubs/rereports/Year/2015/metrictide/

27

28

1.
2.

3.
4.

英国高等教育財政審議会(HEFCE)報告書

ピアレビューは，公平性や透明性，コスト面等において問題があるものの，現時点では最も過誤の少ない評価手法といえる。
評価指標の基になるWeb of ScienceやScopusなどのデータは必ずしも標準化されておらず，分野による収録の偏り，引用パターンの分野による差異等の問題があり，現時点ではピアレビューの役割を代替できない。
注意深く選択された評価指標はピアレビュアーの補完となり得るが，専門家による定性的評価と組み合わせて用いる必要がある。
一部の評価指標には誤用（インパクトファクターなど）や「ゲーム化」（大学のランク付けなど）が見られる。

http://current.ndl.go.jp/e1745

28

29

英国高等教育財政審議会(HEFCE)報告書◼ ロバスト性（robustness）：精度と対象分野の範囲において，可能な◼
◼
◼
◼

限り最良のデータに基づいた手法であること慎ましさ（humility）：定量的指標は，定性的評価や専門家による評価に取って代わるものではなく，それらを補完するものであると認識すること
透明性（transparency）：被評価者が評価結果を検証できるように，データを保持し，評価過程の透明性を確保すること
多様性（diversity）：分野による差異を考慮し，研究者のキャリア形成や研究の多様性を反映し支持するため，多様な指標を用いること
再帰性（reflexivity）：指標の評価システム全体への効果や潜在的な効果を予測し認識すること，またそれに応じて指標を更新すること

http://current.ndl.go.jp/e1745

29

30

標準化の動き(2013－2016)◼ NISO(米国情報標準化機構) Altmetrics Initiative◆ フェーズ１⚫ 各ステークホルダーによる会合、インタビューを通じて得た250以上のアイデアを凝縮し得られた25個のアクションアイテムを示す。
⚫ これらは9つのカテゴリー（定義、研究成果、ディスカバリ、研究評価、データの質とゲーミング、グループ化と集約、コンテクスト、ステークホルダーの観点、採択）に分類。
◆ フェーズ２⚫ Altmetricsの定義とユースケースに関するドキュメント“NISO RP-25-201X-1”の草案を公開⚫ NISO RP-25-2016 Outputs of the NISO Alternative Assessment Metrics
Projectとして正式リリース（2016）（話者はこのWG Memberとして活動） 30

31

研究評価に関するサンフランシスコ宣言 DORA(2013)

159カ国

19531名 2630機関 （2022/09/20現在）
http://www.ascb.org/dora/

31

32

DORAの提言

1. 雑誌の指標であるIFを研究資金配分，採用，昇進の際の業績評価に用いるべきではない
2. 業績は，発表された雑誌ではなく研究自体の価値に基づいて評価するべきである
3. 論文の重要性とインパクトに関する新しい指標を開発するべきである→この新しい指標としてaltmetricsにも注目が集まった

32

33

研究評価に関するライデンマニフェスト（2015）

http://www.leidenmanifesto.org

33

34

研究評価に関するライデンマニフェスト(2015)

定量的評価は定性的評価，専門家による判断を支援する2. 研究機関，グループ，あるいは研究者の研究ミッションに対するパフォー
マンスを測定する
3. 地域に関連した研究の優越性を守る
4. データ収集と分析プロセスのオープン化，透明性の保持，簡略化
5. データと分析の検証を可能にする
6. 出版および引用における分野の多様性に対応する
7. 研究者ポートフォリオの定性的判断に個々の研究者の基本的評価を行う
8. 見当違いの具体性やニセの精度を避ける
9. 評価と指標の体系的効果を認識する
10. 定期的に指標を精査し，更新する
1.

34

http://doi.org/10.15108/stih.00050