海外における人社系研究力評価の動向について
ー研究評価の方法、影響、そして人社系のImpactについてー

大阪大学経営企画オフィス
社会ソリューションイニシアティブ（SSI）企画調整室
准教授 藤井翔太
fujii@iai.osaka-u.ac.jp
2019年6月21日
研究大学コンソーシアム

はじめに
 本報告の目的 人社系の研究力について考えるためのヒントとしての海外の動向
 「ビジョン・戦略＞評価」：人社系の「Impact≒価値」について
 報告の構成：イギリス大学調査がベース① 海外における研究力評価・指標の動向・特徴の紹介
イギリスのREF中心＋他の英語圏（オーストラリア）・非英語圏も少し② 研究力評価の文脈・影響について
人社系評価の実態と大学への影響③ Impact評価の影響と人社系研究のImpactとは大学の研究戦略の新たな潮流、大阪大学の取り組み⇒ 評価・可視化の方法論だけでなく、その目的・文脈・影響について考えながら、大学・人社系研究のImpact・価値について改めて考えてみる

①国レベルの研究評価：イギリス（REF）における評価

 REF（Research Excellence Framework)とは
 前身のRAE（2000年代から本格化）に続く研究評価、予算配分と連動
 基本6年周期、36の分野別評価、ピアレビュー形式（負担が重い） 分野別評価： REFでは分野間の直接比較は基本的に行わない⇔ 分野毎に順位付け・予算配分の根拠 → 組織再編の根拠に…

 REFの3つの評価指標：Outputs, Impact, Environment REFで社会的・経済的影響力（Impact）が追加
 基準・成果例についてはハンドブックで細かく定義
 基本的には定量的評価、Impactについてはストーリーも重視⇔ ピアレビューを維持：2年以上のサイクル、数百人の研究者が関与

①REFにおける研究領域
A:生命科学、B：理工学、C：社会科学、D：人文科学
大領域単位で評価パネルによるピアレビューの実施、評価基準の公開

4

①REFにおける評価指標
・Output (65%→60％)
研究のアウトプットの質を被引用Impactなど定量的なデータによって評価。評価対象となるアウトプットを一人につき最大4点提出する（説明資料は不要・原則オープンアクセス化）。
・Impact（20％→25％）
政策・社会・経済・文化に与えた影響を評価。どのような影響を与えたのか、ストーリーを作成し文書で説明する。
・Environment（15%)
研究環境・設備に関する定量的項目（獲得した研究費、博士号授与数など）、研究の継続性を評価。

4 *(world-leading)
3* (internationally excellent)
2* (recognised internationally)
1* (recognised nationally)
U/C （評価に値せず）

5

①REFにおける3つの評価指標

6

①REFにおけるインパクト評価*大谷、加茂、小林（2012）, P.121より7

①C領域（社会科学）におけるImpact定義・例（REF, Panel Criteria and Working Methodより）

社会・文化・創造性 個人・集団・団体もしくは共Impacts on 同体の知識、行動、習慣、
creativity, culture 権利や義務への貢献
and society

経済・商業・組織
Economic,
営利活動を行う企業やそのcommercial, 他の団体への貢献
organisationalimpacts•遺産の保存、保全、企画に貢献すること。博物館やギャラリーでの展示も含む。
• 映画、小説、TV番組を含めて文化的工芸品を制作すること。
• 公的、政治的議論を形成、影響をあたえること。規範や思考のモード、実践に挑戦し、打ち立てる活動を含む。
• 社会福祉、平等、社会的包括を向上させること。裁判所へのアクセス改善や雇用、教育などの他の機会の向上など。
•法律やその他の知的財産権を守る枠組みを改善すること。
• 貧困軽減のための政策や実践への貢献•社会・経済・政治的、そして法律の変化に重要な貢献をすること。
• 問題や現象の社会的理解を高めること。公的態度や価値観を形成し、影響を与えること。
• 資源配分のアプローチを変え、サービス提供を向上させること。
•新たな、もしくは改善された材料、製品、プロセスを発展させること。
•「小規模」な技術の発展にむけた支援を向上させること。
• 効率や職場での実践を向上させること。.
• 法的枠組み、ビジネスのガバナンスを改善すること。
•財政的機会へのよりよいアクセス。
• 社会的、文化的、環境的安定性向上への貢献• CSRの強化• より効果的な調停• 代替的な経済モデル（例えばフェアトレード）の理解、発展、採用• 環境に関する公的意識、行動の具体的な変化•自然資源や環境リスクの運用や保全の改善•環境リスクや崩壊の運用改善.
環境
自然環境、歴史的環境、建 • ビジネスや公共事業の業務、実践を変え、環境目標を達成すること。
•環境政策や規則のデザインや履行の改善
Impacts on the 造環境への貢献• 保全政策、実践や、資源運用実践の変化
environment• 環境、建築デザイン水準や一般的実践の変化• 専門家の実践やコードへの影響• 生物の多様性に関わる実践、政策の変化

8

①C領域（社会科学）におけるImpact定義・例（REF, Panel Criteria and Working Methodより）

健康・福祉
Health and welfare
impacts• 健康や幸福にかんなする新たな指標の発展や採用• 医学倫理や利用サービス、社会的ケアの提供に関する政策や実践の発展
個人・集団（動物も含む）の • CPDへの影響
生活の向上（害の緩和）、もし • 関連する法律の形成への影響
くは権利や利益の保護および擁 • サービスの利用に関する政策や実践への影響。
•サービス提供やアクセスの向上
護への貢献• 倫理水準の発展•訓練水準の向上•健康・福祉成果の向上• 特定の集団への実践の変化• 専門職の水準、ガイドライン、訓練への影響
専門職・専門職サービス 専門職サービス・倫理の発展・ • 専門職の実践強化のための資源の発展
Impacts on
提供に関わる個人・団体への貢 • 研究発見を専門職の仕事や実践で利用すること• サービスの運用や計画に影響を与えること。
practitioners and 献• 専門職団体によってベストプラクティスや政策の策定、ロビー活動や他のステークホル
professional services
ダーへの働きかけのために研究発見を利用されること。
•研究が 専門家の議論に影響・刺激を与えること。
• ステークホルダー間の議論を研究が刺激すること。

公共政策・法律・事業
Impacts on publicpolicy, law andservices• 法律の変更、法的原則の発展、法的実践• 規則や調停、法廷へのアクセスの形式に影響を与えること。
• 政府や準政府組織、NGOや私的組織の政策形成や形成された政策に影響をあたえ政策、システム、改革などの履行 ること。
もしくは不履行を通じた、政府・ • 公的サービスの形式や提供の変化• 研究成果によって政策議論を刺激し、政策の確証、政策方向の転換、政策の履行に公共部門・チャリティー組織や協 影響を与えること。
会への貢献• サービスの質、コスト、アクセシビリティや効率への効果•民主的参加への貢献• NGOや商業組織の仕事に影響を与えること。
• 社会的問題に対する公的理解の向上• 社会通念への挑戦を可能にすること。
9

①D領域（社会科学）におけるImpact定義・例（REF, Panel Criteria and Working Methodより）

文化的価値や社会的仮説の説明や挑戦
市民社会を行う団体の形式と本質に影響を与えるこImpacts on civilとsociety

人類や動物の福利や環境の何らかの側
政策形成面に介入することを通じて、政策討論やImpacts on policy
実行に影響を与えること。
making文化的生活
Impacts on
cultural life

個人や集団の生活、想像力や感受性を豊かにするあらゆる形式の文化資本を創造し、解釈すること

経済的繁栄
Impacts on
economic
prosperity

製造、サービス、創造・文化部門における研究から得た知識や洞察を営利活動へと適用、移転すること

教育
Impacts on
education

高等教育機関をこえて、何らかの年代、地域の教育の形式、内容に影響を与えること。

10

公的言説
個人・集団が直面している問題や課題のImpacts on
理解を深めるために、証拠、議論、表現
public discourse の範囲を拡大し、質を向上すること

公的事業
富、教育、多様性の理解や拡大を支援
Impacts on
するための公共事業や法律の発展・提供
public services に貢献すること。

①D領域の30. HistoryにおけるImpact Case Studyの例
カテゴリー

顕著な例

文化的生活

・BBCラジオ “Sports and the History”→Podcast (De Montfort)
・博物館の新設・コンテンツ提供(UWE)・ TVドキュメンタリー・博物館展示のプロデュース (Aberdeen)
・“Threads of Feeling”展（ロンドン→Web展示への世界中からのアクセス→アメリカ）（Hertofordshire）

経済的繁栄

・土地所有制度史→委員会→人口・エネルギー問題解決(UHI)
・中世の技術史（鉄）→ドーバー城修復プロジェクト→職人育成・雇用創出 ・観光客の増加(Aberdeen)

政策形成

・土地所有制度改革に関する委員会・法律（UHI）
・歴史遺産に関するスコットランド政府の政策への影響（Stiring）

公的言説・スコットランド独立に関する政府への助言(Glasgow)
・アイルランド人移民の歴史の再構築（映画・BBC番組など含む）(Manchester Met)

公的事業

・マグナ・カルタ800周年記念事業のコスト削減（Royal Holloway）
・Censusの電子化とEuropean Biometrics Database参画(Essex)

11

①国レベルの研究評価：オーストラリアにおける研究力評価（ERA）
 他の英語圏における人社系研究評価：オーストラリアのERAなど
 イギリスのREF（RAE）型の評価の導入：分野別、Impactも近年導入
 オーストラリアのRAE：REFよりデジタルな評価・人社系もCitationへの注目＊REFにおけるピアレビューの重すぎる負担を回避するため？
 国レベルでのフレームワーク作り：質に関する雑誌や出版社リスト作り＊複数の評価軸の設定：量と質それぞれの軸→総合的にピアレビューで評価
ERAの主な評価観点 (*1)
評価要素

主な評価項目内容

Citation analysis（引用分析）

論文被引用数等

Publishing profile（出版詳細）

分野、出版媒体、出版年等

ERA Peer review（査読）

その学問分野の専門家による評価・検証

ResearchActivity（研究活動）

Research output（研究のアウトプット）

論文・書籍・ポートフォリオ等

Research income（獲得研究費）

競争的研究資金（科学研究費補助金等）

ResearchApplication

Research commercialization income（研究実用化による資金獲得）

研究成果の実用化・事業化による資金獲得

Applied measures（その他評価項目）

特許、育成者権等（該当する分野のみ）

ResearchQuality（研究の質）（研究の有用性 ）(*1) “ERA 2018 Submission Guidelines”より (https://www.arc.gov.au/excellence-research-australia/key-documents)

①国レベルの研究評価：オーストラリアにおける研究力評価（ERA）
 他の英語圏における人社系研究評価：オーストラリアのERAなど
 イギリスのREF（RAE）型の評価の導入：分野別、Impactも近年導入
 オーストラリアのRAE：REFよりデジタルな評価・人社系もCitation＊ REFにおけるピアレビューの重すぎる負担を回避するため？
 国レベルでのフレームワーク作り：質に関する雑誌や出版社リスト作り＊ 複数の評価軸：量と質それぞれの軸→総合的にピアレビューで評価
ERAの主な評価観点 (*1)
評価要素

ResearchQuality

ResearchOutput
ResearchApplication

主要評価項目内容

Citation Analysis

被引用数

Publishing Profile

分野・出版媒体・出版年等(分野別雑誌・出版社リストも）

ERA Peer Review

専門家による検証・評価

Research Output

論文・書籍・作品・ポートフォリオ等

Research Income競争的研究費獲得状況

Research Commercialization Income

研究成果の実用化・事業化による資金獲得

Applied Measures

特許、育成者権等（該当する分野のみ）(*1) “ERA 2018 Submission Guidelines”より (https://www.arc.gov.au/excellence-research-australia/key-documents)

①国レベルの研究評価：非英語圏の研究評価

 非英語圏における人社系研究評価：独自性と共通性
 基本的には論文・書籍中心の評価：英語以外をどう拾い上げるか→ 英語データベース＋国独自のデータベースをくみ上げる（⇔労力） REFのImpactを参照にしたImpact評価も検討
 国際性：国際的に比較して重要な研究の存在であることをアピール
 人社系評価と研究者：学会の関与、リスト作り
 基準作りの難しさ：言語に加えて、引用の「速度」・習慣の違い
 Peer-Review、基準となる雑誌・出版社リスト（レーティングも）作成（スペイン、ノルウェー他）
 国を超えたデータベース・基準の作成（欧州、北欧、ASEAN）
 目的：国際的な存在感の発信？人社系への圧力？
⇒ 方法論としては同一分野間の国際比較という流れが今後加速するか

②研究評価の文脈・影響について：REFの場合
 REFにおける人社系評価の特徴
 Outputs：理工・生命系に比べるとCitationはあまり考慮されず⇔ 計画段階でどのレベルの雑誌・出版社に出すのかという面談も Impact：必ずしもOutputsと相関しない。定量的な根拠も必要。
→ 書類作成にかなりの負担も：REFを考慮したデータベース整備⇒ 波及効果をいかに説明出来るか：分野を超えた繋がり・Impact

 大学全体への影響：組織再編、インフラ整備→大学としての研究戦略

 組織再編： 部局の大括り化 → 柔軟な研究・教育ユニット、制度設計＊学生アンケート（NSS）と並んでコースレベルの比較へ 個人・部局評価：人社系も評価基準明確化（雑誌・出版社の格付け）
 インフラ整備： データベース、支援人材の強化 → データの蓄積・可視化⇒ 大学としての全体の研究戦略との調整が重要に

②REFにおける評価結果
OverallOutputsImpact
公表された結果に基づき、Times
Higher
Education紙がスコアをGPA化し、分野ごとのランキング表として掲載している。
Times
Higher
Education, 2014,
No.2より②参考：National Students Surveyによるコース別データ
NSS（National Student Survey)：2005年開始・学部最終学年対象の全国統一の満足度調査
コース、教員の対応、学習環境（主観）＋生活費・就職率・卒業後の給与（客観）→進学判断の材料に

③新たな研究戦略について：研究戦略とインパクト、人社系の価値とは
 REFへの対応に関するイギリスの大学調査：以下のポイントが重視されている
1. 研究戦略を通じて大学が取り組む社会課題・テーマを明確化する大学における最先端の研究がどのようなインパクトをもたらし、社会課題の解決に繋がるのか示す＊UCL Research Domains（UCL）、重点領域の設定（マンチェスター大学）など

2. アカデミアと社会を繋ぐ新たなフレームワークを構築する
Public Engagementを重視した人材確保、政策や助成に影響を与えるような枠組み＊UCL Grand Challenges（UCL）、Tech-Foresight（Imperial College London）

3. インパクトを軸として研究・評価・広報が連動する
インパクト・データの蓄積・分析により、研究計画の作成 ⇒ 研究評価・広報の連動性が高まる＊Research Beacons（マンチェスター大学）、UCL Research Domains（UCL）など⇒ 社会課題の深刻化に対し「大学だけが提供出来る価値とは何か」を再考→ 「大学・人社系研究が提供する価値の明確化」した上で、評価をどう設計・運用
18するか考える姿勢が感じられた③新たな研究戦略について：研究戦略とインパクト、人社系の価値とはノッティンガム大学における新たな研究戦略
Beacons of Excellence：強い分野→Cross-Disciplinaryな重点領域→Challenge提示⇒ どのようなインパクトなのか明示（国内外の大学・ステークホルダーとの連携模索）

③新たな研究戦略について：研究戦略とインパクト、人社系の価値とは
Global InequalityプロジェクトのBrochure20

③新たな研究戦略について：マンチェスター大学の研究サイクル
インパクトを軸とした研究戦略に基づき、RBESS、データベースが横串になることで、計画 ⇒ 研究活動 ⇒ 広報・評価が一体として展開される。

計画

広報研究活動Public Engagement
フレームワーク構築

蓄積されたインパクトデー
タからCrossBoundaryな研究計画を策
過去のインパクトを参照し定て新たな研究計画の立案

重点領域の選定↓
学術的な卓越性＋
社会的なインパク
ト（社会課題に与える影響力）

研究の社会的インパクトを可視化・課題を明確に可視化されたインパクトを社会にアピール

評価
論文だけでなく、インパクトに繋がる活動・影響力の評価

インパクト
評価導入

インパクトによる横串（データベース、フレームワーク）
RBESSによる支援
21

③大阪大学社会ソリューションイニシアティブの活動紹介
大阪大学社会ソリューションイニシア
ティブ（SSI）
・2018年1月発足
・社会課題の深刻化に対して、社会との共創を通じた社会変革への貢献→人社系を中心としたシンクタンクへ
・「いのち」を核に据えたフレーム作成→よりダイナミックな融合による課題解決への貢献⇒今後の人社系研究の方向性、研究力の可視化、評価へも影響を与えられるか？
＊SDGs・大阪万博の存在→単純に対応するのではなく、大学としての理念・戦略を示すことを重視⇒ 大学としての社会課題に向き合う研究の方向性としての「いのち」

SSIの理念（http://www.ssi.osaka-u.ac.jp/about/philosophy/）
社会課題の解決を目指して（https://www.osaka-u.ac.jp/ja/research/research/hi9njx）
22

まとめ 海外の研究力評価の実態：分野別評価と研究者の関与のあり方
 分野間比較（国際的な比較を意識）→間接的な分野間比較
 量と質、そのバランスをいかにとるか：ピアレビューが不可欠？（⇔負担） 研究者も入った基準作りの重要性：内外両方に向けての可視化
 Impact評価のImpact
 いかに人社系研究（に限らず基礎研究）の波及効果を可視化出来るか？
 求められるデータベースや支援人材の変化→ Cross-disciplinaryの推進と研究戦略・ビジョン・Impactのパッケージ化＊人社系の統合の学問としての側面
 大学・人社系研究の価値とは？
 予算配分＜大学や人社系研究の（社会的）価値の不可視化…
＊大竹（大阪大学）：人社系研究はファン作りに失敗している
 「自らの価値」をいかに発信して支持を集めることが出来るのかという視点⇒ 「方法の議論＜ビジョン・戦略」の先に研究力評価の形が見えてくる？

Reference
 REF 2014（書類・データが公開されているHP）, http://www.ref.ac.uk/
 REF 2014 (2011), Assessment Framework and Guidance on Submissions, retrieved
from http://www.ref.ac.uk/pubs/2011-02/ (access on 26 May 2015)
 REF 2014 (2012), Panel Criteria and Working Methods, retrieved fromhttp://www.ref.ac.uk/pubs/2012-01/ (access on 26 May 2015)
 Times Higher Education, 2014, No.2, 183.
 “ERA 2018 Submission Guidelines”より (https://www.arc.gov.au/excellenceresearch-australia/key-documents)
 林隆之（2012）「英国における大学評価（REA、REF）の概要」『科学技術・学術審議会研究計画・評価分科会資料』, retrieved fromhttp://www.mext.go.jp/b_menu/shingi/gijyutu/gijyutu2/shiryo/__icsFiles/afieldfile/2012/11/13/1328060_1_5.pdf （access on 26 May 2015）
 林隆之、土屋俊（2014）「研究成果の『卓越性』指標の多様性」『研究・技術計画学会第29回年次学術大会講演要旨集』798-801頁。
 大谷竜、加茂真理子、小林直人（2012）「英国における大学評価の新たな枠組み：ResearchExcellence Framework―最近の日本の研究評価の状況との比較―」『シンセシオロジー』6-2,118-125頁。
 藤井翔太（2015）「イギリスにおける研究力評価の動向ーREF2014のImpact評価を中心にー」『日本評価学会第12回全国大会』（口頭発表）
 藤井翔太（2015）「人文社会系の研究力を可視化するために―REF2014のImpact評価を手がかりに―」『第一回RA協議会大会』（口頭発表）
 大阪大学経営企画オフィス（２０１8）「インパクトを軸とした新たな研究戦略の在り方ー大学こそが提供出来る価値とは何かー」
 大阪大学社会ソリューションイニシアティブ： http://www.ssi.osaka-u.ac.jp/24