ロジックモデルに基づく研究評価指標の整理
総合地球環境学研究所 IR室
若松 永憲

Research Institute for Humanity and Nature (RIHN), Kyoto, Japan

地球研の特徴
公募により採択された共同研究プロジェクト（フルリサーチ期間5年）を国内外の機関の研究者で実施（地球研所属の研究教職員は任期付き）。
安定同位体分析装置、研究成果資料やデータベースなどの、共同利用機器等を整備。
Future Earthのアジア地域センター設置など、グローバルな機関連携および人的交流の促進。

撮影：渡辺一生研究員

大学共同利用機関法人人間文化研究機構

総合地球環境学研究所

自然科学・人文科学・社会科学の融合した学際研究による人と自然の相互作用環の理解（「統合知」）の探求。
多様なステークホルダーと連携して問題解決を目指す超学際研究を推進。

研究評価について誰から誰に向けて、何のための評価か？
方向性
内向き

評価者
各機関

目的

ターゲット

具体例

改善
Improvement

機関所属者

自己点検評価

多様教員評価ボトムアップ研究活動の推進

適切な資源配分
外向き各機関外部機関
（政府等）

特徴

研究プロジェク
ト評価

説明責任
外部ステーク 国立大学法人
Accountability ホルダー
評価

画一トップダウン

概算要求
大学ランキング

研究評価の最終的な目標は研究を改善・推進できる（内部リソースマネジメント）＋
良い研究であることを説明できる（外部リソースマネジメント）

評価マトリクスの作成• 平成26-27年度に、地球研の第３期中期目標期間のグランドデザインを地球研の全教員が議論。
• 自らの研究活動を活性化できるような項目群になることを目標として、研究現場からのボトムアップによって指標を提案。
• 平成27年度末に総合地球環境学の研究評価のための評価マトリクス（評価マトリクス）を完成→学際性、超学際性などを含む地球研らしい評価→新しい評価のため、実用化が困難評価マトリクスの作成
大項目として設定したテーマをサイズダウンし、各評価レベルに振り分け
大項目

評価レベル

研究成果の価値プロセスの適切性
学術的インパクト研究所

200<の小項目

プログラム
プロジェクト

社会的インパクト

個人（PL等）

人材育成

個人（研究員等）

評価マトリクスの作成「評価マトリクス」抜粋版

評価マトリクス実用化「評価マトリクス」は平成27年度末に完成したが活用されていない

評価マトリクスの問題点
・マトリクス自体の活用の目的（評価目的）が不明確
・ロジックモデルを前提として作られていない
・定義が不明、定量化手法の検討が必要な指標が多数存在・必要となるデータが膨大（マンパワーは限られている）

実際に使うためには、評価デザイン（目的設定）→ロジックモデルの作成→指標選定→指標の重み付け→データ収集・分析→評価という作業が不可欠。

評価マトリクス実用化

ロジックモデルワークショップ参加者の声• 学際研究をすること自体の評価も必要。
• マトリクスはプロセスやアウトプットの指標が多いが、インプット指標も重要。
• インプット、アウトプットを駆使した費用対効果の評価も必要。
• 地球研の多様性と研究のダイナミクスをプロセスの部分ですくい取りたい。
参加者が実際に作成したロジックモデル

評価指標に関する統数研との協働【統数研の状況】– 大学・研究機関における研究戦略への情報提供を目的とした「研究IR」の方法論の確立を統計学的見地から推進。
– 特に「異分野融合の進展や効果を公正かつ適切に評価するための新指標の研究開発」を推進。

【地球研の状況】– 自然科学・人文学・社会科学を含む多分野にわたる大型学際研究プロジ
ェクトを推進。
– 多くの文理融合型研究の経験と多様な形態による研究業績が蓄積– 従来とは異なる視点からの新たな評価指標による評価の導入が必要。

人間文化研究機構 総合地球環境学研究所（地球研）と情報・システム研究機構 統計数理研究所（統数研）は、研究IRに関するMemorandum ofUnderstanding（MOU）：人文学・社会科学を含む学術の研究力評価に関する共同研究を2019年3月に締結。

評価指標に関する統数研との協働
REDi(Research Diversity Index)
論文の学際性のスコア化

媒介中心性
共著ネットワーク内でハブとして機能している度合いを示す
Web of Science収録の地球研所属研究者の発表論文を分析（地球研の学際性等の可視化）

大学共同利用機関における研究IRの取り組み
統数研と地球研のMOUについて

共同利用機関としてのファシリティである図書資源（大規模書誌データ）と計算機（スパコン等）を活用し、公募型共同利用の重点テーマ「IRのための学術文献データ分析と統計的モデル研究の深化」を通して多様性指標（REDi,Research Diversity Indexを開発している。公募に採択された課題（19課題、25機関以上）には研究IRのための書誌グラフデータベースなどの分析資源を開発・提供し、URAらが利活用を支援している。

両機関同士で研究IRに関するミーティング、ワークショップ（ワークショップではロジックモデルを活用する手法について議論）を開催してきた。
今後さらにこの方面での連携を強化するため、「人文学・社会科学を含む研究力の評価に関する共同研究」を実施し、主に●研究IR、研究力分析、評価指標に関する研究

2016年からIR室の活動を開始し、地球研の特徴のひとつである「文理融合の学際研究プロジェクト」をいかに評価するか 検討を行っている。そのなかでIRは地球研独自の評価システムの構築についても検討しており、そのなかでまとめとして 「総合地球環境学の研究評価のための評価マトリクス」の作成をおこなっている。また、日本の戦略的研究課題(JSRA)の 抽出(JST/RISTEX)も行ってきた。

●学際研究、異分野融合に関する研究の推進を合意した（平成31年3月締結）。

研究異分野度を測る多様性指標
IR機能の強化と異分野融合指標の開発
統数研では平成28年度以降、大学・研究機関における研究戦略への情報提供を目的とする「研究IR（Institutional Research）」の方法論について統計学的見地からの確立を目指し、公募型共同利用の重点テーマを中心に多角的に取り組んできました。
特に「従来指標では捉えられない異分野融合研究の進展状況を可視化する方法の開発及び活用」を目標とし、「異分野融合の進展や効果を公正かつ適切に評価するための新指標の研究開発」を行ってきました。

多様性指標の設計と開発
研究グループは「異分野融合の進展や効果を公正かつ適切に評価するための指標」を開発するにあたりその指標が備えるべき要件を以下のように設定しました。
• 「論文単位で」かつ「書誌情報だけで」算出できること• 分野間の論文数の偏りを適切に補正できること（分野間比較）• 中長期的な影響を測定できること
これらの要求を満たすように、以下の要素技術を使って指標を構築しました。
• 確率的ブロックモデル（引用ネットワークのクラスタリング）• 自己相互情報量（分野間の論文数の偏りの補正）• 大規模書誌グラフデータベースの整備• 引用数：「研究の質」を測る代表的な指標• 異分野度：「ある学術分野」の多方面、多角的な発展を目指し、ボトムアップ型・萌芽型研究を支援するための公募型共同利用事業を運用する共同利用機関では特に重要な観点

参考資料 https://ura3.c.ism.ac.jp/ir-web/ir/redi/top.html*「確率的ブロックモデルと自己相互情報量を用いた論文評価指標」統数研特任研究員濱田ひろか、特任技術専門員武井美緒* 「 多様性指標を活用した評価事例 」特任技術専門員武井美緒、統数研特任研究員濱田ひろか研究異分野度を測る多様性指標

グラフの見方
数字：分野の番号””がついているのは評
価対象論文の分野

矢印：評価対象論文からその分野までの距離
線が長い程遠い分野

バブル：被引用回数
バブルが大きい程被引用回数が多い

引用数81 多様性指標25.5 *1

引用数81 多様性指標92.6 *2

各軸はクラスタリング結果である潜在的学術分野を表し、色分けされた円は各クラスごとの引用論文数を表しています。中心からの長さは自分の論文が属するクラスタとの距離を表し長い距離の論文（クラスタ）からの引用が多いほど多様性指標は大きくなります。矢印は相手論文からこの論文への引用（cited count）を示しています。

*1 ) Branch-duct intraductal papillary mucinous neoplasms of the pancreas: to operate or not to operate? GUT 2007
*2) Misunderstandings between experimentalists and observation lists about causal inference JOURNAL OF THE
ROYAL STATISTICAL SOCIETY SERIES A-STATISTICS IN SOCIETY 2008

大学共同利用機関における研究IRの取り組み
機関内外の共著ネットワーク分析手法の例
共著ネットワークの例。丸（ノード）が研究者、線（エッジ）が研究者間に共著論文があることを表している。色付きの3人の研究者はこのネットワーク上の中心的な位置にある。このような中心性をスコア化する指標として媒介中心性がある。ネットワーク上のハブ的なノード（この場合は研究者）を探索する場合に用いることができる。

論文の異分野度を線の長さとして導入した重み付き共著ネットワークを考える。

上図では線の長さが同じであると仮定しているのでの研究者の媒介中心性の値に差はない。

（重み付き）媒介中心性に差が現れる

緑の研究者群と他の研究者群の間の異分野度が高い

青の研究者が離れた分野との共同研究を実施している

大学共同利用機関における研究IRの取り組み
多様性指標による重み付き共著ネットワーク
論文の異分野度を導入することで単純な共著ネットワークでは見ることができなかった複雑な研究活動をより詳細に可視化することができる。
データサイエンスに基づいたIR活動
データや指標を適切に組み合わせ、自機関の活動を客観的な情報に基づいて可視化し、意思決定に貢献できるようにすることが研究大学・研究機関のIRには重要。
課題各分野の研究活動には異なる特性があり、特に成果のアウトプットは学術雑誌の論文だけには限らない。自然科学、人文学・社会科学を横断するような学際研究を客観的に評価する手法は現時点では確立していない。

今後に向けてロジックモデルの精緻化
短期・長期視点でのアウトカムの詳細設定
社会的インパクトの再設定
フレームワーク全体を通じての因果関係の見直し

研究活動の改善のマネジメントシステムの構築
媒介中心性やREDiの実践的運用法の検討
公募課題のテーマ設定への活用
大学共同利用機関として研究コミュニティを活性化していく謝辞
今回の資料作成にあたり、以下の方々にご支援、ご助言いただきました。この場をお借りしてお礼申し上げます。
情報システム・研究機構統計数理研究所
URAステーション

琉球大学研究推進機構研究企画室
押海圭一 様本多啓介 様濵田ひろか 様武井 美緒 様日本大学生産工学部マネジメント工学科
水上 祐治 教授

国立歴史民俗博物館研究部
後藤 真 准教授

総合地球環境学研究所
谷口 真人 教授
杉原 薫 教授
山下 瞳 様Thank You for Your Attention
ご静聴ありがとうございました