公益財団法人未来工学研究所

アニュアルレポート2017

Ⅰ-14．プログラムの運営・評価のための調査・分析方法の設計及び試行
Methodology Development for Program Evaluation and its TrialキーワードKey Word

プログラム評価、トランスディシプリナリー研究、対話、エビデンス
program evaluation, transdisciplinary research, communication, evidence

１．業務の目的及び概要
国費を用いて実施される研究開発が関わる政策や研究開発機関等の評価のガイドラインである『国の研究開発評価に関する大綱的指針（以下、大綱的指針）』（平成 28 年 12 月 21 日改定，内閣総理大臣決定）では、「プログラム評価」を実質化することが大きな柱の一つとして掲げられている。「プログラム評価」は他の先進国では従前より一般に行われているものであり、日本でも 4 年前に『大綱的指針』を改定する際に導入が図られたが、その実施状況をみると、ほとん
ど進展していない。その原因としては、1）政策体系の問題（政策のプログラム化が図られていない）や 2）評価体系の問題（政策評価法や行政事業レビューへの対応が優先される）、3）能力及び経験の問題（意義ややり方が分からず、負担感が大きい）、といった点が指摘されている。
本業務では、上記の 1）及び 2）という本質的な制約がある中で、3）の問題を克服すべく、科学技術振興機構社会技術研究開発センター（以下、RISTEX）の実務者が行う自己評価を念頭に、プログラム評価の基本的な考え方や具体的な手続き、方法等についてとりまとめを行った。その上で、それを「持続可能な多世代共創社会のデザイン」研究開発領域の中間評価における調査分析に適用し、そこから見出した改善点を踏まえて「研究開発領域を対象としたプログラムの運営・評価のためのハンドブック」を作成した。
２．成果概要（１）ハンドブックの構成
ハンドブックでは、「プログラム評価の基本」や「プログラム評価のための準備」について示した後、中間、事後、追跡といった評価のフェーズごとに、具体的な手順や方法、留意点をとりまとめた。また、最終章
では、さらに充実したプログラム評価を行うために、現行の評価項目の課題及び改善策と、評価体制のあり方についての提言をまとめた。こうした本編に加え、資料編として、1）プロジェクトによる自己診断シート、2）プロジェクト関係者によるプログラムの評価のための調査票（中間）、3）領域アドバイザーによるプログラムの評価のための調査票（中間）、4）プロジェクト関係者によるプログラムの評価のための調査票（事後）、5）領域アドバイザーによるプログラムの評価のための調査票（事後）についても掲載した。
（２）ハンドブックの主なポイント
日本においては、政策分野や階層によらず、具体的な「アウトカム目標」やそこに至る「道筋」などの仮説（論理構造）が事前の段階で明確化されていることがほとんどない。RISTEX におけるプログラム（研究開発領域）の評価項目は、プログラム評価の基本的な要件を満たすものになっている点で他の省庁や法人よりも優れたものと言えるが、そもそものプログラムにおいて、ロジックモデルのような事後的に検証可能な形で仮説が明確化されていない。さらに、RISTEX におけるプログラムは、問題志向性、学際性及び体制の多様性、実用性を要件とするステークホルダー協働のトランスディシプリナリー研究に助成を行うという特徴を持っており、世界的に見ても類をみないタイプのものである。
そこで、ハンドブックの作成に先立って、RISTEX におけるプログラムの核となる考え方を RISTEX のスタッフを交えたワークショップ等を通じて明らかにするとともに、プログラムに共通のロジックモデルとして構築した。ハンドブックはこのロジックモデルをベースにしており、ここではそれについて紹介する。

公益財団法人未来工学研究所

アニュアルレポート2017（３）RISTEX の共通ロジックモデル
activities

outputnetworking

明示化され、拡大強化された関心者ネットワーク

検証

形成された
エビデンス

customer

Short-term
outcomeMid-term
outcomeRISTEXモデルの構築・普及

政策提言・ロビーイング
Communityof practice

政策アジェンダ化
社会的議論の喚起

領域設定

公衆アジェンダ化
ソーシャルビジネスの創出

領域探索

公募事務

プログラムレベルLong-term
outcome（機関レベル）

公的秩序
市民・企業による自主的取組

市場メカニズム

新たな研究
テーマの開拓

新たな学術的ムーブメント

局所的問題への社会実装

他地域等への波及問題解決エコシステムの改善市民的秩序プロジェクトレベル
申請レビュー

問題解決に寄与するPJ

実装を担う
NPO等

協働
モニタリングとマネジメント

他領域の活動

機関レベル
育成された
共創人材

引用されたTD
研究論文
研究
コミュニティ

TD研究の普及

研究コミュニ
ティの変容

共創人材による新PJの採択

RISTEX におけるプログラムは、①政策アジェンダ化されていないもしくはパラダイム転換の求められる潜在的に重要な問題群を仮説として特定、フレーミングした上で（プログラムレベル）、②「SH 協働」を基本とする問題解決志向の TD 研究プロジェクトに委託を行い、③その成果の担い手による自律的な問題解決（狭義の「社会実装」）を促進する仕組みである（プロジェクトレベル）。これらの成果は他の文脈においても利用可能なよう、十分に一般化（モデル化）されていることが望ましいとされている。
さらに、社会的問題解決のエコシステム全体をとらえると、領域設定段階（プログラム設計段階）からこれらの問題群に対する利害関係者や問題解決能力を持つ主体を巻き込み、実施に伴って関心層を拡大していけるよう、④ネットワークの形成・拡大・強化を促進することがカギとなる。こうしたネットワークが、知識交流を行う「実践コミュニティ」として、⑤社会的議論を喚起したり、⑥関係者への働きかけ（政策提言・ロビーイング等）を行うことで、政策アジェンダの変容や市民・企業等の自主的取組につながっていく。
人びとは実践コミュニティにおいて、さまざまな役割を担い行為することで、コミュニティを維持することに貢献する。その際の学習とは、知能や技能を個人が習得することではなく、実践コミュニティへの参加を通して得られる役割の変化や過程そのものである。こうしたネットワークの働きにより、新しいソーシャルビジネスや問題群に関わる学術的なムーブメントが生まれることも期待できる。そのためには、仮説として設定した問題群及びフレーミングの妥当性等について、領域として⑦検証を行い、⑧エビデンスを形成する機能を持つ必要がある（プログラムレベル）。
加えて、RISTEX のプログラムに関与する経験を通じて、⑨共創マインドとスキルを持った人材の層に厚みが生まれる。こうした人材の活動により、TD 研究の重要性が研究コミュニティにおいて認識され、コミュニティ自体の変容を促す（機関レベル）。
これら一連のシステムを⑩RISTEX モデルとして構築し、問題解決型の研究開発プログラムのプロトタイプとして常に改善を行い、内外に発信して、世界をリードしていくことが RISTEX の存在意義を高めていく（機関レベル）。