評価の質の改善とプロフェッショナリズム強化
2013年3月8日
株式会社 国際開発センター
評価事業部長 石田洋子

 各種評価調査（ODA、省庁、自治体、NGO、学校等）
 評価体制強化のための技術協力（ODA）
 評価に関する調査研究⇒「JICA評価5項目調査」

 日本評価学会事務局
 評価士養成講座
 評価関連研修
 統計研修 NGOに対するインパクト評価研修
 コンサルタントとの勉強会 インパクト評価2 ODA評価： 外務省、JICA
 1990年代前半： 外務省・JICAの評価システム整備 1990年代後半～： 政策・事業レベルの評価のデマケ
 2000年代後半～： 第三者評価とレーティング導入
 政策評価： 各府省、総務省
 「行政機関が行う政策の評価に関する法律」（2002年）
 自治体評価： 各自治体、市民参加、第三者
 各自治体で制度化 大学評価： 各大学、大学評価・学位授与機構等
 認証評価制度（2004年）、国立大学法人評価（2004年）
 学校評価： 各学校、外部評価委員会
 「学校評価ガイドライン」（2006年）

3

 評価の自己目的化、形式化
 トップの無理解や誤解、評価への過度な期待 評価を「批判」として後ろ向きにとらえてしまう 評価の名を借りた行政指導になる可能性もあり
 成果指標の設定、業績測定の難しさ
 理論・手法は未整備のままに始動 評価結果を組織の学びにつなげられない 評価結果公開の難しさ（市民にはわかりにくい） 評価人材・専門性の不足
 評価に関する教育訓練機会が不足

4

JICA「DAC評価5項目の評価視点及び判断基準の標準化」（平成11年度調査）
 目的
 援助スキームの特性に留意しつつ、事業評価におけるDAC5項目ごとの評価視点及び判断基準をレビューする。
 その結果に基づいて、事業評価間の評価視点・判断基準の標準化への具体的提言を作成。

 手法・手順 JICAのスキーム×事前・終了時・事後別に計70件の評
価報告書について事例研究
 他ドナーの評価の視点・手法をレビュー
5

0
対象地域・社会のニーズ
ターゲットGのニーズ
日本の援助政策
JICAの援助実施方針
事前時の相手国の開発計画
事後の相手国の開発計画
事前の相手国のセクター開発政策
事後の相手国のセクター開発政策
アプローチの適切性
対象・地域選択の適切性
パイロットとすることの適切性
他ドナー援助との相乗効果
CP機関の選定
CP機関が統括する分野か
ターゲットGの対象
ターゲットGの規模
パイロットサイトの適切性
成果の波及性ODAで実施する妥当性
対象技術のノウハウの有無
国際的な目標（MDGs等）

123

45

6

789106

0
対象地域・社会のニーズ
ターゲットGのニーズ
日本の援助政策
JICAの援助実施方針
事前時の相手国の開発計画
事後の相手国の開発計画
事前の相手国のセクター開発政策
事後の相手国のセクター開発政策
アプローチの適切性
対象・地域選択の適切性
パイロットとすることの適切性
他ドナー援助との相乗効果
CP機関の選定
CP機関が統括する分野か
ターゲットGの対象
ターゲットGの規模
パイロットサイトの適切性
成果の波及性ODAで実施する妥当性
対象技術のノウハウの有無
国際的な目標（MDGs等）

12

3

4

56

7

8

9107

0
対象地域・社会のニーズ
ターゲットGのニーズ
日本の援助政策
JICAの援助実施方針
事前時の相手国の開発計画
事後の相手国の開発計画
事前の相手国のセクター開発政策
事後の相手国のセクター開発政策
アプローチの適切性
対象・地域選択の適切性
パイロットとすることの適切性
他スキーム援助との相乗効果
CP機関の選定
CP機関が統括する分野かターゲットGの対象
ターゲットGの規模
パイロットサイトの適切性
成果の波及性ODAで実施する妥当性
対象技術のノウハウの有無
国際的な目標（MDGs等）

1

2

3

4

56

7

8

910

妥当性に関する分析では。。。
 優先度は、国家開発計画等との関連性で「整合性あり」としているケースが多い。
 「どの程度整合性があるか」は判断の対象ではなく、ばらつきが多くとも「整合性あり」とされる。
 ニーズは一般的な既存統計データを利用することが多い。定量的でない場合は、関係者または評価者の判断。
 手段としての適切性はほとんど確認されていない。
80
達成度はコストに見合っていたか代替手段はなかったか同じコストでより高い達成度の可能性
プロ目の達成度はコストに見合ってい…
代替手段はなかったか
同じコストでより高い達成度の可能性
他のスキームとの協調
他ドナーとの協調
投入のタイミング
投入の規模や質活動から成果に至る外部条件の影響
前提条件の影響阻害・貢献要因
アウトプットは達成されたか
変更理由
事業期間は計画通りであったか
事業費は計画通りであったか

1234567891090
達成度はコストに見合っていたか
代替手段はなかったか
同じコストでより高い達成度の可能性
プロ目の達成度はコストに見合ってい…
代替手段はなかったか
同じコストでより高い達成度の可能性
他のスキームとの協調
他ドナーとの協調
投入のタイミング
投入の規模や質活動から成果に至る外部条件の影響
前提条件の影響阻害・貢献要因
アウトプットは達成されたか
変更理由
事業期間は計画通りであったか
事業費は計画通りであったか

1234567891010012345678910

達成度はコストに見合っていたか
効率性に関する分析では。。。
代替手段はなかったか

同じコストでより高い達成度の可能性
プロ目の達成度はコストに見合ってい…
 有償・無償では、事業期間及び事業費の計画と実績の比較を代替手段はなかったか同じコストでより高い達成度の可能性もって、計画通りであれば「効率性が高い」と判断。
他のスキームとの協調
 技術協力は投入の規模、質、タイミングについて分析・判断さ他ドナーとの協調
れるが、関係者へのインタビューが判断の根拠。
投入のタイミング
投入の規模や質
いずれも費用対効果は確認されていない。
活動から成果に至る外部条件の影響
 類似他案件との比較も行われていない。
前提条件の影響阻害・貢献要因
アウトプットは達成されたか
事業期間は計画通りであったか
事業費は計画通りであったか

11

012345678910

指標は明確か
目標値は適切か
入手手段は適切か
プロジェクト目標の達成度
運用・効果指標
定性的効果アウトプットの貢献度

外部条件の影響の有無
貢献・阻害要因の指摘
内部収益率

12012345678910

指標は明確か
目標値は適切か
入手手段は適切か
プロジェクト目標の達成度
運用・効果指標
定性的効果
アウトプットの貢献度
外部条件の影響の有無
貢献・阻害要因の指摘
内部収益率

13012345678910

指標は明確か
有効性に関する分析では。。。
目標値は適切か
入手手段は適切か 技協はプロジェクト目標の達成度をもって有効性を判断していプロジェクト目標の達成度る。目標値がなかったり、指標設定が適切でないケースあり。
運用・効果指標 有償や無償は、運用効果指標の達成度をもって有効性を判断している。多くが、アウトプットの達成度を示す指標である。
定性的効果

単純な事前・事後比較、目標値比較による分析が多く、プロジアウトプットの貢献度（達成度）
ェクト介入による因果関係や、外部要因の影響については深く外部条件の影響の有無触れられていない。
貢献・阻害要因の指摘
 定性的分析の根拠は「関係者（または評価者）の判断」。
内部収益率

14

0
上位目標の達成度
プロ目達成の結果か
上位目標達成のための方策
普及の方策は計画されているか
外部条件の影響の有無
政策への影響社会・経済的影響
組織や関連規制・法制度整備への影響
技術面での変革への影響
ジェンダー平等、人権、貧富、平和と…
環境への影響異なったプラス・マイナスの影響
貢献・阻害要因の指摘
影響をもたらした要因
用地取得や住民移転環境への影響

1

2345678

9 10

15

0
上位目標の達成度
プロ目達成の結果か
上位目標達成のための方策
普及の方策は計画されているか
外部条件の影響の有無
政策への影響社会・経済的影響
組織や関連規制・法制度整備への影響
技術面での変革への影響
ジェンダー平等、人権、貧富、平和と…
環境への影響異なったプラス・マイナスの影響
貢献・阻害要因の指摘
影響をもたらした要因
用地取得や住民移転
環境への影響

1

2

3

4

56

7

8

9 1016

012

インパクトに関する分析では。。。
上位目標の達成度

3456789 10

プロ目達成の結果か
上位目標達成のための方策 上位目標の達成度について何らかの記載はされている。
普及の方策は計画されているか外部条件の影響の有無
 有償・無償の多くでは、貧困削減や経済成長など高いレベルの政策への影響
目標設定のため「達成度・達成見込みは不明」とされている。
社会・経済的影響
組織や関連規制・法制度整備への影響

技協では比較的目標設定が現実的で、達成見込みは書かれ技術面での変革への影響ている。根拠は評価者判断。因果関係は記載されていない。
ジェンダー平等、人権、貧富、平和と…
 上位目標関連と波及効果の記述が混在。
環境への影響異なったプラス・マイナスの影響
 事業完了から2年か3年ではインパクトを見ることは難しい。
貢献・阻害要因の指摘
 短期間、評価者1名（事後評価はローカル1名雇用）の事後評
影響をもたらした要因
用地取得や住民移転
価でインパクトを見ることは困難。
環境への影響170123456789 10

政策的支援は持続しているか
活動を円滑に実施するに足る人材配…
活動を円滑に実施するに足る予算は…
意思決定のプロセスは機能しているか

規制・法制度整備
財政的に独立しているか、または財政…
必要な技術が維持・普及されているか

資機材は適切に維持管理されているか
社会・文化的側面への負の影響は活…
女性、貧困層、社会的弱者への配慮…
環境への負の影響は活動を継続する…

実施機関・関係省庁のオーナーシップ…

18

0123456789 10

政策的支援は持続しているか
活動を円滑に実施するに足る人材配…

活動を円滑に実施するに足る予算は…
意思決定のプロセスは機能しているか
規制・法制度整備
財政的に独立しているか、または財政…
必要な技術が維持・普及されているか
資機材は適切に維持管理されているか
社会・文化的側面への負の影響は活…

女性、貧困層、社会的弱者への配慮…
環境への負の影響は活動を継続する…

実施機関・関係省庁のオーナーシップ…

19

01

持続性に関する分析では。。。

23456789 10

政策的支援は持続しているか

活動を円滑に実施するに足る人材配…

活動を円滑に実施するに足る予算は…
有償・無償の事前評価では持続性について検討の記載なし。
活動を円滑に実施するに足る意思決…
３スキームとも、事後評価では運用・維持管理予算の有無、人材配置、施設機材の維持管理状況等で持続性が判断されてい規制・法制度整備たが、その根拠は、関係者ヒアリングと施設・機材視察の結果財政的に独立しているか、または財政…
から評価者が判断。
必要な技術が維持・普及されているか資機材は適切に維持管理されているか
人材配置と予算は計画の有無（実績ではない）により持続性を
社会・文化的側面への負の影響は活…
判断。
女性、貧困層、社会的弱者への配慮…
維持管理や政策支援等は関係者ヒアリングが根拠。
環境への負の影響は活動を継続する…
実施機関・関係省庁のオーナーシップ…

20

 現行ガイドラインの評価視点を見直して整合性向上
 スキーム×タイミング（事前、実施中、事後）別に重視すべき視点・項目を選択的に提示
 Outputの訳語を「成果」ではなく「アウトプット」、アウトカムの訳語は「アウトカム」に統一
 インパクトは上位目標関連と波及効果の２つに統一 マネジメントの適切性は今後の検討課題
 他ドナーに比較し、JICAは全事業の評価を丁寧に行実施。評価視点・手法は各機関基本的に類似。ドナーによっては選択的に深く掘り下げた評価を実施。
インパクト評価等の選択的実施検討が必要
21

 評価に関する研究の振興・深化・向上、国内研究者の育成
 評価能力を有する国内人材の育成とレベル向上
 実践を重視した評価活動の効果的・効率的実施への貢献
 国内における評価に関する意識の向上
 国際的な意見交流

22 評価士（初級）： 評価に関する幅広い知識と技術を身につけた専門家⇒ ６単元（日）講義・演習＋筆記試験
 専門評価士（中級）： 各専門分野の評価に関する深い知識と技術を身につけた専門家⇒ ６単元（日）講義・演習＋実地研修・報告書
 上級評価士（上級）： 評価に関する体系的な研究を行い、評価活動の発展に寄与する事ができる専門家⇒ 書類審査23

第１単元 評価の概論と関連法規、評価者倫理と評価者の社会的責任
第２単元 評価の基本論理、評価の設計
第３単元 分析手法(1)データ収集・分析、(2)ロジックモデルの構築、(3)実績指標の選定と実績測定、(4)インパクト評価、(5)費用効率性分
析
第４単元 分析結果の判断とフィードバック
第５単元 専門分野科目（ＯＤＡ、自治体、学校、大学、行政、教育、保健等）
第６単元 いろいろな評価アプローチとその利点、限界、
24

272
23
5235

内訳： 総務省 9
他府省 13
自治体 15その他 198

学校専門評価士： 21名(2012)、上級評価士： 9名(2012)25