公益財団法人未来工学研究所

アニュアルレポート2017

Ⅰ-8．戦略的情報通信研究開発推進事業を対象とした研究開発プログラムの評価導入に向けた事前調査業務
Preliminary survey work for evaluation of research and development program targeting
Strategic Information and Communications R&D Promotion Programme (SCOPE)
キーワードKey Word

プログラム評価、SCOPE、若手 ICT 研究者等育成型研究開発
Programme Evaluation, SCOPE, Young ICT researcher targeted R&D

１．調査の目的
平成 24 年に策定された「国の研究開発評価に関する大綱的指針」（平成 24 年 12 月 6 日内閣総理大臣決定）では、「研究開発プログラムの評価」の概念が新たに導入された。また、今年度に入って内閣
府 総合科学技術・イノベーション会議評価専門調査会では、「研究開発プログラムの評価」をさらに推進するため、より具体的に「研究開発プログラムの評価」について検討を行っている1ところであり、今後、総務省が行っている各種研究開発施策に対しても「研究開発プログラムの評価」が導入されることが想定される。一方で、現時点では、個々の施策に対してどのように「研究開発プログラムの評価」を行っていくべきか、必ずしも具体像が明らかになっていない状況である。
総務省では、平成 14 年度以来、ICT 分野の競争的資金である戦略的情報通信研究開発推進事業（以下「SCOPE」という。）を推進している。本調査は、事前に、SCOPE の一部の研究開発課題を対象に、「研究開発プログラムの評価」について検討を行い、今後、SCOPE 全体に「研究開発プログラムの評価」を円滑に導入するための方策等を取りまとめることを目的とした。
このため、平成 14 年度から平成 27 年度までの SCOPE の研究開発課題の一つである若手 ICT 研究者等育成型研究開発2を対象として、前記の「国の研究開発評価に関する大綱的指針」にある「研究開発プログラムの評価」の概念に従って「研究開発プログラムの評価」を試行的に行い、それを踏まえ①適正な「研究開発プログラムの評価」を可能とするための制度改善の指針の作成②SCOPE における「研究開発プログラムの評価」の在り方について検討を行い、SCOPE において PDCA サイクルが有効に働くような方策案をまとめた。
２．調査研究成果概要（１）調査の内容および方法
本調査における「研究開発プログラムの評価」の試行的実施は、ロジックモデルの基本形をベースとして、次の 3 つの評価視点から行い、その結果を踏まえて検討・分析を行った。
①評価視点Ⅰ：対象課題が有する問題点及びその解決に至る道筋（「道筋」）
対象課題が有する問題点を把握し、対象課題の成果（アウトプット）との関係性の分析、また成果の受け手が目指すアウトカムの創出を促進または阻害する外的な要因を分析した。これは、政策評価法でいう「必要性」に関連するものであり、ロジックモデルにおける「制約条件（外部影響要因や競合他者の動き等）」を含むものである。
②評価視点Ⅱ：目標達成に向けた進捗状況等（「アウトカム」）
ロジックモデルにおける「インパクトセオリー」に該当し、対象課題（上位概念である SCOPE を含む）が意図するアウトカムや、その効果について把握し、分析した。
③評価視点Ⅲ：研究開発プログラム（SCOPE）の運営・活動状況（「プロセス」）ロジックモデルにおける「プロセスセオリー」に該当し、アウトカム創出を促進もしくは阻害する内的要因としての研究開発プログラム運営（研究開発課題の評価及びマネジメント、その他研究開発プログラ
1

2

内閣府、総合科学技術・イノベーション会議 評価専門調査会 第 119 回 平成 28 年 11 月 30 日.
これまで実施した若手先端 IT 研究者育成型、若手先端 ICT 研究者育成型、若手 ICT 研究者育成型、及び若手 ICT研究者等育成型の各研究開発課題を含む。

公益財団法人未来工学研究所

アニュアルレポート2017

ムとしての活動）の状況や課題を把握した。

（２）主な成果（課題解決／対応策の方向）①「必要性・位置づけ（道筋）」に関して
1) 上位施策との明確な整合性
そもそも上位施策（SCOPE およびその上位政策）自体が、いわば類似のものを束ねた形式的な体系化にとどまり、目的設定が不十分であることから、その達成する手段としての本プログラム等が、政策・施策等の目的を達成するに至るまでの論理的な因果関係を示すことが難しいのは当然ともいえる。例えば、
平成 28 年度実施政策についての「主要な政策に係る政策評価の事前分析表」をみると、そこではSCOPE（SCOPE 若手を含む全体）の施策目標の測定指標が示されているが、それらの多くは、業務の進捗度合いを指標化したものであり、目標とする成果（アウトカム）の指標としては相応しくないといえる。
したがって、上位施策も含めたプログラム化が求められる。
2) 若手プログラムの目的と目標の詳細設定の必要性
SCOPE の目的を達成するために、事前的でかつ具体的な目標（アウトプット目標）や、その効果・効用としての価値（アウトカム目標）などを、時間軸に沿った「道筋」として示すことは、適正な「研究開発プログラムの評価」を可能とするためだけではなく、施策の有効性・効率性の結果を評価・確認し、見直しや改善を行うために必須である。

②「アウトカム」に関して
1) プログラム評価の実施を意識したデータ管理
指標の設定以前の問題として、総務省内でのデータや情報の管理体制の再構築が望まれる。これまでは主にプロジェクト評価への対応で済んだことから、プログラム評価で必要となる各種リソースの整備が不十分であることが今回の調査で明らかになった。来年度から本格的なプログラム評価に着手することを考慮すると、人事異動に十分耐えうるマニュアルやガイドラインが必要になるかもしれない。
2) 選抜評価～継続評価の書類の簡素化、フォーマットの統一化
研究実施者や評価委員のインタビュー調査などで共通して上げられた課題の一つは、選抜評価から継続評価の期間にかけての書類準備の負荷の高さである。記載する内容に重複があることから、簡素化が可能である。また、書類ごとに文字フォントなどのフォーマットが違っているとの指摘もあり、フォーマットの統一化も望まれる。
3) キャリア開発への貢献度を明示できるアウトカム測定指標の開発
SCOPE 若手プログラムの長所の一つは、キャリア開発への寄与度・貢献度の高さである。この長所を最大限に「見える化」することが肝要である。それにより、これまで応募を検討してこなかった有望な若手研究者を引き込む可能性が高くなるであろう。

③「プロセス」に関して
1) 事務手続きの簡素化
アンケート調査やインタビュー調査でほぼ例外なく指摘された課題が事務手続きの負荷の高さである。
SCOPE は委託であることから、ある程度の負荷は甘受せねばならないが、それでも、機器や装置の購入や、海外の会議や学会への参加に係る理由書は、記載方法のひな形を提示するなどして、極力負荷を軽減させる措置が望まれる。

公益財団法人未来工学研究所

アニュアルレポート2017

2) 多様な研究課題を採択しうる評価項目の修正
平成 14 年度以降の採択課題を見ると、相対的にデバイス系の研究が多く採択されてきた傾向がある。
これは、デバイス系の研究はアウトプットがイメージしやすく、研究者も多いこと、提案書のストーリーが明瞭になりやすいため、評価者の理解を得やすいといったことが想定される。このようにテーマに偏りが出ることは総務省も評価委員も望んでいないことから、今後は、例えば評価項目に ICT の寄与の度合いを入れるなどして評価項目に手入れをすることが求められる。
3) 若手研究者の属性多様化を踏まえダイバーシティを考慮したプロセスの見直し
現状の応募者や採択者には、民間企業や女性が少ない状況で、ICT が寄与できる広範な領域からのアクセスが SCOPE に届いていないと言える。今後は、例えば、公募要領等でダイバーシティに関する記述を追加し、採択審査において考慮されるようにするほか、採択実施の規約に産休・育休の条項を加えるなど、女性研究者を前提とした制度整備を検討すること等が求められる。
4) 評価コメントや人件費が出ることなど、SCOPE の長所について積極的な広報
SCOPE は、科研費や JST のさきがけ・CREST などと比べると、研究者からの認知度が低いことが調査から明らかになった。これまでの公募説明会は開催されてきたが、それでも JST などと比べると頻度は少ないと思われる。SCOPE は予算規模の大きさや評価コメントがフィードバックされること、人件費を工面できることなど素晴らしい長所がある。この長所を前面に出しつつ、全国に積極的な広報活動をすることが望まれる。

（３）プログラム・ロジックモデルの提案①現状のロジックモデル
政策文書や受賞者へのアンケート、ヒアリングの結果等をもとに、SCOPE（若手枠）のロジックモデルを描くと次のようなものである。
必要性・位置づけ 我が国が超高齢化社会を迎え、国際的な経済競争が厳しくなる中で、新たな価値創造を図り持続的に成長していくためには、経済社会活動全般の基盤及び国民生活の安全・安心を守る基盤であるとともに、今後とも重要な産業であるICT分野が力強く成長し、市場と雇用を創出していく必要がある。このような現状を踏まえ、情報通信技術（ICT）によるイノベーションを創出し、我が国の国際競争力の強化や安全・安心な社会の実現に向けて必要な技術を確立するため、ICTの研究開発・標準化を推進する（H28事前分析表・基本目標）。
 科学技術基本計画，日本再興戦略，世界最先端IT国家創造宣言など

インパクト
 社会経済への波及効果（報道発表；国際標準提案）

アウトカム
 ICT研究者育成（被引用論文；受賞）

目的 ICT分野の研究者として次世代を担う若手人材を育成すること
 データサイエンティストの育成に貢献すること

インプット
 予算
 事務局の時間及びコスト
 評価者の時間及びコスト活動
 ICT分野において新規性に富む研究開発課題を大学・独法・企業・自治体の研究機関などから広く公募、外部有識者による選考評価の上、研究を委託する
 採択評価：2段階とし、専門評価に続く総合評価では、「イノベーション創出の可能性等各プログラムの目的に応じた観点」から評価
 継続評価：目標達成度や今後の目標設定、実施計画、予算計
画、実施体制の妥当性に関する継続評価を実施。その結果に基づきプログラムディレクターが継続可否や可の場合の条件を決定
 終了評価：研究実施状況や研究成果等に関する評価を実施

アウトプット 研究開発プロジェクトの進展（目標達成度）
 科学的・技術的知見の向上（論文数（H19～査読付）/目標；口頭発表）
 知財取得（特許出願）
 （費用対効果や予算計画・実施体制の妥当性）

図 1

SCOPE（若手枠）の現状

公益財団法人未来工学研究所

アニュアルレポート2017②あるべき SCOPE（若手枠）のロジックモデル（案）
調査及び評価の結果から、SCOPE（若手枠）の今後あるべき姿をロジックモデルとして表現すると、次のようなものが考えられる。
文脈及び政策介入の根拠
 我が国が超高齢化社会を迎え、国際的な経済競争が厳しくなる中で、新たな価値創造を図り持続的に成長していくためには、経済社会活動全般の基盤及び国民生活の安全・安心を守る基盤であるとともに、今後とも重要な産業であるICT分野が力強く成長し、市場と雇用を創出していく必要がある。このような現状を踏まえ、情報通信技術（ICT）によるイノベーションを創出し、我が国の国際競争力の強化や安全・安心な社会の実現に向けて必要な技術を確立するため、ICTの研究開発・標準化を推進する（H28事前分析表・基本目標）。

インプット
 予算
 事務局の時間及びコスト
 評価者の時間及びコスト活動
 ICT分野において新規性に富む研究開発課題を大学・独法・企業・自治体の研究機関などから広く公募、外部有識者による選考評価の上、研究を委託する
 採択評価：2段階とし、専門評価に続く総合評価では、「イノベーション創出の可能性等各プログラムの目的に応じた観点」から評価
 継続評価：目標達成度や今後の目標設定、実施計画、予算計画、実施体制の妥当性に関する継続評価を実施。その結果に基づきプログラムディレクターが継続可否や可の場合の条件を決定
 終了評価：研究実施状況や研究成果等に関する評価を実施

インパクト
 ICT分野の裾野の拡大
 ICT分野における日本のプレゼンスの拡大

アウトカム ピアレビュー付きの論文の発表の加速 論文発表する論文誌の幅の拡大
 仕事をする研究分野の幅の拡大
 自己の知名度の向上
 高度な研究コミュニティへの接触機会の増加
 その他、キャリア開発における肯定的な効果

図 2

目的 ICT分野の研究者として次世代を担う若手人材を育成すること
 データサイエンティストの育成に貢献すること

アウトプット 研究開発プロジェクトの進展
 論文数
 出願された／確保された特許およびライセンスを含む知的財産

SCOPE（若手枠）のあるべき姿（案）（４）プログラム評価のための準備①プログラムのデザインを確認するプログラムの事前評価において、仮説をしっかりと設定、確認しておくことが重要性であるが、一方、日本においては、政策分野や階層によらず、具体的な「アウトカム目標」やそこに至る「道筋」などの仮説（論理構造）が事前の段階で明確化されていることがほとんどない。
したがって、次善のやり方として、中間評価（事後評価）の際に調査分析や関係者との議論を通じて論理構造を明確化するなど、発見的方法によって仮説を再設定する必要がある。
ロジックモデルの作成の理想的な作成手順としては次のようなものである。本来プログラム推進者がステークホルダー等と一緒に進めるのが望ましいが、中間・事後評価の段階ではすでに多様な諸活動が展開されており、それらを手掛かりに、まずはプログラム推進者が案を作成するのが効率的であるといえる。

【ロジックモデルの理想的な作成手順の例】
プログラム設計段階でこれを行う際には、まず、実現を目指すべき「ビジョン」について話し合い、関係者の合意を得たうえで、その実現を阻害する「現状の課題」や「ニーズ」を「外的要因」とともに検討する。これにより、プログラムの強みや弱みが明らかになり、目指すべき方向性がみえてくる。
その後、具体的にプログラムの「内容」を構想する。これらの作業を行きつ戻りつ修正しながら作成を進めていくことが重要であり、その際にステークホルダーを漏れなく洗い出し、プログラム推進との関わりや立ち位置を把握しておく必要がある。
ロジックモデル作成におけるプログラム推進者の役割は、ロジックモデル作成を対話と合意の下

公益財団法人未来工学研究所

アニュアルレポート2017

で行えるようにすることである。作成途中では見解の相違や一方的な主張の繰り返しなどの場面が生じることが想定されるが、そういう場合の対話と合意の促しが重要となる。これに関連して、取り組もうとしているプログラムに関係する事実やデータを調査し、検討の途中で必要になったデータなども適宜調査を行う。それらに基づいて参加者がロジックモデルを作成し、ともにコトにあたれる状態をつくりあげていくことが可能となる3。
作成したロジックモデルは、上位省庁などへ予算要求を行う際の根拠資料にもなりえる。そのため、第三者からみても明快であるよう、独りよがりのロジックモデルになっていないか注意することも必要である。
以下に、検証可能な形でロジックモデルが構築できているかをチェックするための項目を示す。
 コスト・リソース
 必要性・位置づけ（なぜやるか、上位施策や他のプログラム等との関係 why）
 目標（何を、どの程度、誰に届けるか what）
 手段・プロセス（どのように how）
 マイルストーン（いつまでに when）
 体制・マネジメント（誰が who）
特に目標については、事後的に「確認可能な表現」でよく構造化されている必要がある。目標表
現が備えるべき要件として、2002 年にまとめられた欧州委員会によるインパクト・アセスメントのためのハンドブックでは、次のような「SMART 基準」を提唱している。
表 1

欧州委員会による SMART 基準

Specifc（特定された）

目標は、様々な解釈な余地がないほど十分に正確かつ具体的でなければなSらない。
目標は、（基準となる状況との比較において）望ましい将来の状態に言及しMeasurableMたものでなければならない。そして、目標が達成されたかどうかを後に確認（測定可能な）できなければならない。
目標及びターゲットの水準が行動に影響を与えることを意図している場合、
AcceptedA
それらの達成に責任を持つと期待されるすべての人々に同じように受け入（受け入れ可能な）れられ、理解され、解釈されなければならない。
Realistic
目標及びターゲットの水準は野心的であるべきであるが、責任を持つ人々がR（現実的な）それらを有意義だと受け取るよう現実的であるべきである。
目標及びターゲットの水準は、指定された日や期日と関連付けられていなけ
Time-dependent
Tればあいまいなままである。この文脈において、目標の部分的な達成に対し（時間に依存した）てマイルストーンを設定することは有用である。
注：SMART には様々なバリエーションがある。
（出典）Louis Lengrand & Associés et al.(2006)をもとに未来工学研究所作成

何が定量的な評価になじみ、またはなじまないのかについては一概に言うことはできないが、目標の達成度等を測る指標は、研究開発のリニアモデルやナショナル・イノベーション・システム4のような科学技術イノベーション研究に由来する概念的フレームワークに基づいていることを理解する必要がある。当然ながら、指標は現実の完全かつ客観的な記述ではなく、現実の人工的な表現（synthetic representation）として、意思決定支援のための道具として使用されるべきものである。よい指標の条件として、下記のような事項が挙げられているので参照されたい（European ScienceFoundation 2009）。
3

具体的な質問に答えるように設計されていること（relevance：関連性）
現実の概念モデルに基づいて構築されていること
データの質と可用性の点で実現可能であること（コストと時間）

合意形成とは、「関係者や参加者内で、幅広い同意や結束を構築し、プロセスの最後にはできるだけ多くのメンバーが何らかの判断を共有できるようにする」プロセスです（R. サスカインド他（2008））。こうしたプロセスは、事業の計画、実施、評価といった様々な局面において求められるものと言えます。
4 National Innovation System とは、個人、企業及び公的機関の間での技術と情報の流れが国レベルにおけるイノベーション・プロセスのカギであるとする考え方です。

公益財団法人未来工学研究所

アニュアルレポート2017

指標に影響を与える背景や制約を理解するためのユーザーの能力の面での透明性が確保されていること②定期的なモニタリングシステムを構築する
有効なプログラム評価を行うためには、中間、事後など評価の時期によらず、プロジェクトから情報を収集するための仕組みが必要である。プロジェクト関係者に過剰な負担をかけることなく、プロジェクトの改善を促すなどプロジェクト実施者に適度な緊張感とインセンティブを与えるものとなっていることが理想といえる。このための仕組みとして、2 つの仕組みが考えられる。
まず 1 つは、プロジェクトの実績に関わるデータの収集システムである。実績には、論文や学会発表など研究の内容に関わるものと、シンポジウムやワークショップといった成果の社会実装に向けたイベント活動に関わるものがある。
中間評価の時期になってこうしたデータを集めはじめるのではプロジェクトの負担感も大きく、正確な情報が得られなくなる可能性がある。定期的に、もしくは逐次収集できる仕組みを適切に構築することで、成果創出に向けたプロジェクトの活動の活性化にもつながる。
もう 1 つはより本質的なものであり、プロジェクト実施者がみずからの活動や体制等を振り返り、必要に応じて改善につなげるための自己診断のメニューを提示することが考えられる。これは、各プロジェクトの実施者によるリフレクションを促進することを企図したものであり、プログラムとしてのマネジメント活動の一環としても位置付けられるものである。