The Japanese Journal of
Evaluation Studies

ISSN 1346-6151

日
本
評

ISSN 1346-6151

日本評価研究価Vol. 7, No. 2, September 2007

研

ArticlesAnalysis of Qualitative Opinions Stated by Beneficiaries at Evaluation Surveys for ODA
Water Supply Projects in Six Countries
Akio Ito, Kiyoshi Yamada, Victor S. Muhandiki,
Hayato Nakazono, Masanori Matsubara

Research Notes
Evaluation Method Considering the Change of the Reference Point
Tetsuya Hino, Hiromitsu Muta

The Japanese Journal of
Evaluation Studies

The Japanese Journal of Evaluation Studies

CONTENTS

究

Vol.
Vol. 7,
7, No.
No. 2,
2, September
September 2007
2007

研究論文
6カ国におけるODA水供給プロジェクト評価の調査で得られた受益者意見に基づく定性的資料の解析
伊藤 章夫

Necessity of a Project
Akira Sato

Victor S. Muhandiki

松原 正典

日野 哲也

牟田 博光

参照点の変化を考慮した評価測定の研究

事業仕分けからみた行政評価の課題
佐藤 章

日本評価学会春季第4回全国大会開催報告
Report of 4th Spring Conference of the Japan Evaluation Society

September 2007

The Japan Evaluation Society

中園 隼人

研究ノート

Vol. 7, No. 2

A Problem of the Performance Measurement Evaluation Seen from Assortment Based on

山田 淳

日本評価学会
The Japan Evaluation Society

〜投稿案内〜『日本評価研究』編集委員会
Editorial Board

編集委員長
Editor-in-chief

三好 皓一（立命館アジア太平洋大学）
Koichi MIYOSHI

副委員長
Vice-Editor-in-chief

西野 桂子（ジーエルエム・インスティチュート）
Keiko NISHINO

常任編集委員Standing Editors

牟田 博光（東京工業大学）
Hiromitsu MUTA

日本評価学会では、「日本評価研究」掲載のための投稿原稿を募集しております。1年に2回（3月末／9月末）の投稿締切を設けておりますので、ご興味をお持ちの方は投稿規定・執筆要
領をご参照のうえ、奮ってご投稿ください。
投稿先：特定非営利活動法人日本評価学会 事務局〒140-0002 東京都品川区東品川4-12-6 日立ソフトタワーB 22F
財団法人国際開発センター内
TEL: 03-6718-5931
FAX: 03-6718-1651

山谷 清志（同志社大学）
Kiyoshi YAMAYA
編集委員
Editors

青山 温子（名古屋大学）
Atsuko AOYAMA大沢 真理（東京大学）
Mari OSAWA

岡本 義朗（三菱UFJ リサーチ＆コンサルティング（株））Yoshiaki OKAMOTO
小野 達也（鳥取大学）
Tatsuya ONO

窪田 好男（神戸学院大学）
Yoshio KUBOTA

佐々木 亮（国際開発センター）
Ryo SASAKI

佐藤 眞理子（筑波大学）
Mariko SATO

渋谷 和久（国土交通省九州地方整備局） 鈴木 絲子（神戸女子大学）
Kazuhisa SHIBUYA
Itoko SUZUKI
田中 弥生（大学評価・学位授与機構） 松岡 俊二（広島大学）
Yayoi TANAKA
Shunji MATSUOKA『日本評価研究』第7巻第2号

村松 安子（東京女子大学）
Yasuko MURAMATSU

2007年9月28日
編集・発行

事務局
Office〒140-0002 東京都品川区東品川4-12-6 日立ソフトタワーB 22F
財団法人国際開発センター内
特定非営利活動法人日本評価学会
編集事務担当 薮田 みちる
TEL: 03-6718-5931, FAX: 03-6718-1651
E-mail: jes_ info@idcj.or.jp

特定非営利活動法人〒140-0002

日本評価学会

東京都品川区東品川4-12-6

日立ソフトタワーB 22F
財団法人国際開発センター内
TEL: 03-6718-5931
印

刷

株式会社

FAX: 03-6718-1651

研恒社

C 日本評価学会○
本誌に掲載されたすべての内容は、日本評価学会の許可なく転載・複写はできません。

日 本 評 価 研 究
第７巻

第２号
目

2007年９月
次

研究論文
伊藤 章夫
山田 淳
Victor S. Muhandiki
中園 隼人
松原 正典
6カ国におけるODA水供給プロジェクト評価の調査で得られた受益者意見に基づく定性的資料の解析…………………………………………………………3
研究ノート
日野 哲也
牟田 博光
参照点の変化を考慮した評価測定の研究 ………………………………………………………17
佐藤 章
事業仕分けからみた行政評価の課題 ……………………………………………………………27
春季第4回全国大会開催報告
春季第4回全国大会プログラム（実績）……………………………………………………………41
共通論題セッション報告 ……………………………………………………………………………44
特別セッション報告 …………………………………………………………………………………47
自由論題セッション報告 ……………………………………………………………………………49
委員会活動
企画委員会 ……………………………………………………………………………………………53
研修委員会 ……………………………………………………………………………………………54
広報委員会 ……………………………………………………………………………………………55
国際交流委員会 ………………………………………………………………………………………56
第8回全国大会のご案内………………………………………………………………………………57

日本評価学会誌刊行規定 ………………………………………………………………………………58
日本評価研究投稿規定 …………………………………………………………………………………60
日本評価研究執筆要領 …………………………………………………………………………………62
日本評価研究査読要領 …………………………………………………………………………………65
英文学会誌の刊行について ……………………………………………………………………………67
Publication Policy of the Japanese Journal of Evaluation Studies ………………………………………68
Information for Contributors (For English Papers) ………………………………………………………70
Writing Manual of the Japanese Journal Evaluation Studies (For English Papers) ………………………72
Referee-Reading Guideline ………………………………………………………………………………74

3【研究論文】

6カ国におけるODA水供給プロジェクト評価の調査で得られた受益者意見に基づく定性的資料の解析伊藤 章夫*

山田 淳**

中園 隼人*

Victor S. Muhandiki**
松原 正典*

立命館大学大学院理工学研究科*
立命館大学理工学部環境システム工学科**
gr043040@se.ritsumei.ac.jp

要約

受益者調査はプロジェクト効果を評価する手段として実施されてきた。調査は効率的で、定量的解析を容易にするために、受益者に数字記入及び択一式あるいは複数選択式の設問が利用されてきた。同時に調査においては受益者の自由な意見を聞く設問も用意されてきた。しかし、著者らの従来の受益者調査は、
主として数字、択一式もしくは複数選択設問の結果を解析されてきた。
本研究では6カ国調査での受益者の全ての意見（調査用紙に記述された定性的意見）を整理・解析し、下記に示す有効な結果を得た。
①プロジェクトに対する受益者の意見の内容を具体的（5W、1H）に知ることができる。
②調査側が想定していない内容も含めて、幅広い意見を知ることができる。
③一つ一つの意見は定性的であるが、意見を総合すると定量的な解析が可能となる。
④従来の択一式等設問による定量的評価と記述意見解析による定性評価を組み合わせることで正確な評価をすることができる。
⑤質的な状況、原因を把握することが出来るので、対策を考えるためには有効である。

キーワード
水供給プロジェクト評価、受益者調査、記述意見、定性的解析、定量的解析

1.

はじめに

ODA水供給プロジェクトを正しく評価するた
めには、現地での受益者調査が欠かせない。これまでさまざまな調査手法が提案されてきたが、主要な課題は定性的調査と定量的調査を総合的に実施することである。

著者らは、2000年から2005年にかけて、6カ国（ネパール、フィリピン、ベトナム、インドネシ
ア、スリランカ、ケニヤ）のODA水供給プロジ
ェクトを対象に事後評価調査を実施してきた。本
研究は、この調査で蓄積された受益者の意見（2709件調査用紙）を解析することで定性的調査の重要性を明らかにすることである。定性的調査

日本評価学会『日本評価研究』第7巻第2号、2007年、pp.3-16

4

伊藤

章夫

山田

淳

Victor S. Muhandikiの改善方法も合わせて提案する。

2.

調査方法

（1）ODA水供給プロジェクト評価調査
調査の対象となった地域の概要を表1に示す。
現地での評価調査のうち、受益者調査は最も重要
で労力の要する作業である。この受益者調査の設
問のほとんどは数字記述及び選択回答方式である。事象の選択や程度を選択する設問がある。本
研究で取り上げているのは、主として択一方式で程度（評価）を聞く設問である。この他に、受益者の意見を求める設問があり、受益者の回答は予め予想されないので、適切な追加質問ができるかどうかは重要である。通常、言語の制約上、質問は現地調査員に委ねられていたが、ケニヤと二回目のフィリピン調査では日本側調査員も現地アンケート活動に参加している。しかし、この作業は英語が理解される国に限定される。これまで著者らの調査では、一部を除いて、①プロジェクト実
施後の変化（過去からの変化）、②プロジェクトの問題点（現在）、③プロジェクトへの期待（将来）を意見として質問してきた。変化については8項目（水量、水質、水汲み労働からの解放、水因性疾病、児童の教育機会、家事、地域活動、収入）の改善程度を5段階評価（ネパールは4段階）で質問した。発展途上国での調査は、現地で調査員を雇用し、研修と実地訓練（OJT）を実施した
後、調査員が調査（1世帯約30分、1日当たり20世
帯調査）をする仕組みである。記入されたデータに問題がある場合は当該調査員に照会する。現地調査員が受益者から聞き取った内容をコンピュー
タに入力した後に解析する。ここで、受益者意見とはこのようにして調査用紙に記述された意見である。全体の質問中、意見を求めることにかける
時間は、およそ10%程度である。
（2）社会調査法
ここで、社会調査法についてのこれまでの知見
を示す。

中園

隼人

松原

正典

飽戸弘（1998）は質的調査、量的調査及びこれらの中間としての詳細面接法があるとしている。
著者らの調査法は多くの調査件数を求めるために
詳細面接法としては不十分である。
E．バビー（渡辺聡子訳 2003）は社会科学の2本の柱は理論と観察であり、観察のためには、量的データと質的データが必要である。量的データ
は質的データに比べて含有される意味が少ない
が、質的データには純粋な言語表現上の欠点から、その両方を駆使することが必要だと述べている。
ティム・メイ（中野正大訳 2005）は客観性を重視している。質問の設計として分類のための質問（年齢、収入、住宅事情）、事実についての質問（住宅事情の寝室数など）、意見についての質問を掲げている。
NHK放送文化研究所（1996）は質的調査の利点として、内的な因果、全体像、問題発見回答者のレベルに合わせることや、量的な調査が不能な場合にも適用できることなどが上げられている。
不利な点として、代表性がない、調査員の能力、調査員の意図に影響される等を指摘している。
いずれも共通することは、正しい評価をするた
めには量的データと質的データの総合的理解が必要だと言える。一方、世論調査等は専ら択一式の設問で定量的評価のみである。
また、調査の質問構造には、構造化された調査、半構造化された調査、非半構造化された調査がある（NGO法人アーユス 2003）。著者らのこれまでの調査は構造化された調査である。
国際協力機構（2004）は、良い評価には信頼できる有用な情報でなければならない、そのためには、有用性、公平性・中立性、信頼性の高い情報が求められると述べている。
一方、外部からの評価に対して、住民が参加した評価が提案されている。その一つがRRA（迅速簡易農村調査）であり、その改良型がPRA（参加型迅速調査）である（NGO法人アーユス 1995）。
これらの思想は住民が評価をし、改善していく考えである。しかし、佐藤（2003）は参加型手法には「危険」があると指摘し、見直しを提案している。
著者らのこれまでの調査は住民参加型ではないが、信頼できる情報を把握するために、住民の意

6カ国におけるODA水供給プロジェクト評価の調査で得られた受益者意見に基づく定性的資料の解析

表1
Country

Nepal

Philippines

Viet Nam

Indonesia

Sri Lanka

Kenya

5

調査対象国及び地域の概要１）（City/Town/）Community
Adamghat
Khanikhola
Sipagahat
Timilisina Gaun
Lahan
Gaushala
Sabang
Cubao
Malinao
Boso Boso
DagupanAngeles
Chieng Bac
Chieng Dong
Chieng Ban
Chieng Ngam
Chieng Xom
An Dong
Binh Hai
Van MyHa Ly
Gia Lam（Hanoi）
Yen Bang（Thon Doai）
Yen Bang（Trung Dong）
Nam Giang
PekkaeMarangTanrutedong
Limbung
Alle Jang
Menrong
Lempang
Battaramulla
Thalangama South
Gonaramba
Hapudeniya
MampitaNuwara Eliya １
Nuwara Eliya ２
Nuwara Eliya ３
Kabuku
MM 4)
NGK4)
Meru
Nyeri
Total 5)

Project Water Source 2）SP
SPSP
SP, SF
DW
DW
DW
DW
DW
SP
DW
DW
SP, ST
RV
DG
RW
SW
RV
RV
RV
RV
DW
DW
DW
RV
CW
SP
DW
IR
SP
SP
SP
RV
RV
DW
RW,SP,SW
SP
DW
DW
RV,DW
SP
RV
RV
RV
RV

Projects Water
Supply System 3）
PT, HCPT
PT
PT
HC, PT
HC, PT
PW
PW
PT
PT
HC
HC
HC
HC
HW, HC
RW
HW
HC
HC
HC
HC
HC, PTHC
HW
HC
HC, PT
HC, PT
HC, PT
HC, PT
HC
HC
HC
HC
HC
HC
RW, HW
HC, PW, HW
HC, PTHC
HC, PT
HC
HC
HC
HC
HC

Collected
Questionnaire
57
52
55
57
103
76
16
17
41
60
81
83
60
40
54
10
2
50
52
50
50
24
56
30
100
64
154
59
20
21
52
15
181
36
60
60
60
62
40
78
107
96
96
87
109
2709

（出所）筆者作成
1）Questionnaire survey year, Nepal: Mar. 1-9. 2000, Philippines: Jan. 21-31. 2002, . Viet Nam: Mar. 7-15 2003, Indonesia: Sep. 3-18. 2003, Sri
Lanka：Nov.22'-Dec.1. '2004', Kenya: Oct.21-Nov.2. 2005
2）Water Sources RV:River, SP: Spring, SW:Surface water, IR:Irrigation, RW: Rain Water, ST: Stream, CW: Cave water, DW: Deep Well, BH:
Borehole, DG:Dug Well, SW: ShallowWell
3）Supply system HC: House connection, PT: Public tap, PW: Public Well, HW: House Well by project.
4）Kenya MM:Murugi Mugumango, Kenya NGK: Njogu-Ini Gitero Kabati,5）Questionnaire number 24 at Gia Lam in Hanoi is not included in total 2709. (asia women exchange base note)

6

伊藤

章夫

山田

淳

Victor S. Muhandiki

見を可能な限り把握してきた。
（3）記述意見解析方法①記述意見の整理
記述意見には様々な表現があるが、共通意見の数を計数して、量的な比較を試みる。共通意見の分類作業は試行錯誤も伴う。この作業を、プロジ
ェクトや地域別に行うとともに国別にまとめる。
記述意見は調査員の誘導や使用された時間によって影響を受けるので、このことを配慮して解析す
る。

表2

隼人

松原

正典

b. 同じ回答が続くか、狭い内容に限定されている。
（現地調査員が誘導しているか、現地調査員の英語翻訳能力が不足していると思われる。
）
c. 類似質問の場合は対応が異なる。（ケニヤでは類似の意見質問になったので、空欄になるか、重複したと思われる。）
d. 単語の誤りがある。（水道水に「燐」が入っていると言う受益者が続けば、特にそれを裏付ける背景がないかぎり、「塩素」の間違いだと思
われる。）

3.
②不十分な意見
一部に次のような不備も見られたが、その原因は推定できた。
a. 回答がない（空欄）か、短文である。（質問時間が不足しているか、調査員が意見を質問する
意義を不十分に理解していなかったと思われ
る。）

中園

調査結果

（1）記述意見の整理
様々な英語表記の記述意見（右欄）を日本語の項目（左欄）に整理した実際の事例を表2に示す。

意見整理作業①水汲み労働から解放された、便利になった

saving time, saving energy, saving cost, not difficult, not far, easy to get water, practical,
convenient, not fetching, not gaining water, not burden, no hassle②水質がよくなった

clean water, good quality, drinking water, clear, pure

③水量が増えたvolume, high pressure, flow, fluent, properly, enough④水質がよくないnot clean, bad quality, color, smell, sandy, dirty, muddy, murky, red, turbidity, suspended, notmake tea, coffee color, dust, Ca, hardness, unclean, oil, ugly, stone, can not drink, not fresh⑤水量が足りない

low pressure, slow, always stop, cut, not flow, not properly, trickle, not fluent, more water, very
little, more liter, not consistency, rationed, scarcity, limited supply, lack

⑥給水時間が足りない

not frequently, not continuous, schedule, not regularly, not keep long, not longer, increase time,
few hours, not 24 hours, not available all times, unstable⑦塩素多い

too much chlorine, too much chemical⑧料金が高いexpensive, high, high rate, bill problem, payment problem, high price, unreasonable⑨収入が増えた

profitable, income, money, economical condition, financial stability, extra money, profit⑩農業用水利用できた

cultivate, agriculture, irrigate, farming, gardening⑪満足している、問題ない

no problem, nothing, none, no, satisfied, happy, comfortable, enough, no idea (exclude nocomment and no answer )（出所）筆者作成

6カ国におけるODA水供給プロジェクト評価の調査で得られた受益者意見に基づく定性的資料の解析（2）プロジェクトの直接効果についての意見
水供給プロジェクトの三大直接効果は水汲み労働からの解放、水量の増加、水質の改善であり、その順序で検討する。
①水汲み労働からの解放
4カ国の国別集計を表3に示す。
表3 水汲み解放を評価する意見の節約時間
１）
利用率（%）
Nepal

Philippines Viet Nam

Indonesia

水汲み解放
評価意見割合

18.6

33.8

16.7

53.8

家事
その他の仕事

0.1

0.1

0.2

0.3

子どもの世話

0.0

0.1

0.1

0.0

休息

0.0

0.1

0.1

0.8

社交、
社会活動

0.0

0.0

0.1

0.0

定量的評価 2）

4.3

4.4

4.9

4.7

（出所）筆者作成
1）スリランカ、ケニヤでは質問していない。
2）択一式評価で「改善された」を5点、「悪化した」を1点とする5段階定量的評価。

インドネシアでは意見欄に水汲み労働からの解放を評価した住民の割合は過半数となり、定量的評価では第2位であるが、4カ国で最高である。調査当時、フィリピンとベトナムでは活動の内容に7触れているが、ネパールとインドネシアでは、活動がまだ定まっていなかったと考えられる。この活動とは水汲み労働から全部あるいは一部解放された受益者が、節約された時間を何に利用していたかと言う意味の活動である。活動には休息、家事、育児、学童の通学、家族団欒、農作業、出稼ぎ、趣味、コミュニティ活動等を含む。
プロジェクト・地域別の定量評価（1-5点）と意見数比率（%）の関係を図1に示す。図1のグラ
フの横軸は地域名であり、頭文字は国名を示している。
スリランカとケニヤではこのことについて、定量評価及び意見を調査していない。
意見数比率では、インドネシアにおける半数以上の地域受益者の意見は水汲み労働からの解放を評価している。この意見数の多少はプロジェクトの水供給方法に関係している。インドネシアでは全ての7プロジェクトでHC（戸別水道）が使用されており、7プロジェクトのうち4プロジェクトはPT（Public Tap公共水栓、インドネシアではPH《Public Hydrant》と呼ばれていたが、PTに統一する）が併用されている。とりわけインドネシアのTanrutedongプロジェクトでは80%の受益者は水汲み労働からの解放を評価する意見である。
定量評価の点数では、ほぼ4点から5点に分布して、高い評価であるが、意見数比率と比例関係は見られない。意見数比率は定量評価では把握できなかった感性的な認識を表していると言える。

5
4
水汲み解放意見数比率（%）

en N-Lg
V Ba aha-C n nV-Y hie g（Ten ng r ）
g N
Ba ga
n m
V g（T
-B h
）
i
N nh
V -Ga Hai
-C u
V hie sha
-C in ra
hi g
ei Ba
ng n
D
N
N
-T Si ong
im pagi
N lsin hat
-K G
ah au
ni n
V kho
-V la
an
M
V An y-N gam ele
G s
P- ia
M ng
al
i
I-P naoI-L ekk
im ae
bu
V ng
P- -H
D aly
a
V gup
-A a
P- n D n
Bo on
so g
B
I-M oso
ar
P- an
Sa g
b
P- angI-A Culle baoI-M JangN-A enrda onm
I gh
I-T -Le at
en ma
ru ng
te
do
ng

水汲み解放定量評価（1-5点）（出所）筆者作成

V

3
2
1
0

水汲み解放定量評価（1-5点）

6-Y

水汲み解放比率（%）

図1 水汲み解放意見数比率と水汲み解放定量的評価
90
80
70
60
50
40
30
20
10
0

8

伊藤

章夫

山田

淳

Victor S. Muhandiki

中園

隼人

松原

正典

１）
表4 水量に関する内容別意見数比率（%）

Nepal

Philippines

Indonesia

Viet Nam

Sri Lanka

AverageKenya

水量が増えた意見

0.9

2.6

2.1

2.0

0.0

0.0

1.1

水量が不足する意見合計

37.8

33.5

17.1

32.6

7.6

50.0

26.9

まだ川や雨水に依存、
不便

0.0

0.0

0.0

0.6

0.6

4.8

0.0

給水時間が少ない

9.0

10.0

13.8

1.1

5.0

2.5

7.0

水量、水圧が足りない

27.9

16.0

3.1

31.4

2.6

46.1

18.7

給水が公平でない

0.0

2.6

0.2

0.0

0.0

1.1

0.5

水不足で争いがおこっている

0.3

0.0

0.0

0.0

0.0

0.3

0.1

3.3

4.5

3.6

4.7

4.0

定量的評価 2）（出所）筆者作成
1）ネパール、フィリピンは水量の変化を質問していない。
2）択一式評価で「改善された」を5点、「悪化した」を1点とする5段階定量的評価である。

②水量評価
水量評価の国別の意見件数を表4に示す。水量が増加したと言う記述意見数は水量が不足するという意見数の約25分の1である。水量について全体的に不十分な評価となっている。「水量・水圧が足りない」が「給水時間が少ない」より多いので、絶対的に水が不足している事態と見ることが出来る。「給水が公平でない」、「水不足で争いが起こっている」はあわせて0.6%で少ないが、プロジェクトによって争いが発生するのは看過できない。多くの地域では、意見数は世帯数より少な
いが、ケニヤのNGKでは水が不足すると言う意
見数が世帯数より多く、水不足が深刻な地域であることを物語っている。
ネパールとフィリピンでは水量の変化を質問しなかったが、記述意見はそれをフォローできている。4カ国で水量増加が3.3点から4.7点で定量的評価されているが、水量が増加したと言う記述意見
数は少ない。むしろ、水量不足の意見が出されている。
変化があると言う意見数と、不満があると言う
意見数を比較することはできない。なぜなら、不満件数は現状に対する不満である。実際にプロジ
ェクトの実施により、いずれの地域も一人1日当たりの水量は増加している。水供給プロジェクトの三大直接効果のうち、受益者の水量に関する評
価は意見数で見られる限り最も少ない。

③水質評価
水質評価の国別、水質不良原因別の意見数を表5に示す。
ここでは少数の意見も示せるように、実件数で表した。（水質変化は「変化」の質問で、水質不良の原因は「問題」の質問で得られたものである。）
インドネシアでは約30%の受益者が、水質が改善されたと意見で述べているが、定量的評価は低くなっている。フィリピンでは水質がよくなったという評価の意見は約3%にとどまった。しかし、この表で水質が良くないと言う意見が重要であると思われる。発展途上国の村落では、ほとんどの水道水は浄化されていないから、水質は水源や水源の状況に直接影響される。
インドネシアでは7プロジェクト中、6プロジェ
クトが表流水（うち5プロジェクトが湧水）、ネパ
ールでは6分の4が湧水で、6分の2が深井戸である。
水質がよくないと言う意見の原因は、フィリピン
では砂の混入で、インドネシアでは塩素消毒剤の過剰注入で、スリランカでは硬度が高い、よって味がよくないと評価されている。塩素過剰を除く
細分類では砂の混入は井戸に集中しており、ストレーナーの改修あるいは井戸の場所の変更により解決できる。硬度が高い井戸は井戸の場所の変更が求められる。泥､土混入、濁り水、着色水は表流水に集中している。このような場合に、病原菌が混入するリスクが高いので、改善には将来、凝6カ国におけるODA水供給プロジェクト評価の調査で得られた受益者意見に基づく定性的資料の解析

9

表5 水質に関する内容別意見数１）
Kenya

Sri Lanka

Indonesia

Viet Nam

Philippines

Nepal
水質関係総意見数

344

269

480

353

水質がよくなった

83

9

34

101

水質不良(除塩素）

576

358

9

35

27

43

90

6

砂混入

0

21

0

0

3

0

泥･土混入

0

0

1

0

12

5

ダスト混入

0

0

0

0

4

0

dirty

5

3

0

6

0

0

濁度大きい

0

0

0

7

0

0

赤色

0

0

0

5

0

0

茶色

0

0

0

1

1

0

黒色

0

0

0

2

1

0

着色（色不詳）

0

0

0

0

4

0

硬度高い

0

0

0

0

21

0

小生物混入

0

2

1

0

0

0

臭い

1

1

0

3

3

0

味がよくない

0

0

0

1

24

0

油混入

0

0

0

0

1

0

工事後空気混入

0

0

0

0

1

0

水質不良（不明）

3

8

25

18

15

1

0

0

18

59

107

0

4.9

3.3

3.5

4.8

塩素が多い
定量的評価 2）（出所）筆者作成
1）スリランカとケニヤでは水質問題を質問していない。
2）択一式評価で「改善された」を5点、「悪化した」を1点とする5段階定量的評価である。ネパールとフィリピンでは定量的な質問をしていない。

集沈殿、ろ過、塩素消毒の工程が求められる。水
質不良の記述意見（表5）を基に、中分類結果を図2に示す。塩素消毒剤の過剰注入が人工由来の原因で最も大きい。
塩素を適切に管理すれば、水質不良の半分の意
見（苦情）は解決できる。
さらに、大分類（図3）すると、自然由来の汚濁原因は34%、人工由来の汚濁原因は48%を占める。定性的解析は原因と対策を示すことが可能である。

図2 現象・原因水質不良意見数中分類
塩素が多い
水質不良（詳細不明）
生物、油、臭い、味よくない、空気
硬度高い
赤色、茶色、黒色、他色
砂、泥、土混入、
濁度高い、dirty
0

50

100
件数

（出所）筆者作成

150

200

10

伊藤

図3

章夫

山田

淳

Victor S. Muhandiki

中園

隼人

松原

正典

図4 国別季節別水道トラブル意見数

原因別水質不良意見数大分類
50
自然由来

18%

乾季の水質悪化40

34%

乾季の原水不足
雨季のパイプ詰まり

件数

30
人工由来
（塩素、
油、
空気）

雨季の水質悪化
20
10

原因不詳

48%

0

Ne

（出所）筆者作成

pa

Ph
l

ili

（出所）筆者作成

表6

pp

Vi
in

es

et

In
Na

do

m

ne

Sr
sia

iL

an

Ke
ka

ny

a

水源別２）季節的トラブル件数
PRW

DW

RW

IR

RV

SP
水源施設数 1）

13

15

1

13

1

1

雨季の原水濁り

21

10

0

0

1

0

雨季パイプ詰まり

2

10

0

0

0

0

乾季の原水不足

12

34

1

0

1

0

乾季の水質悪化

1

0

0

0

0

0

Total

36

54

1

0

2

0

（出所）筆者作成
1）水源施設数は意見数ではない。受益者数が多いから施設数より意見数が多い。
2）SP: Spring, RV: River, IR: Irrigation canal, RW: Rain water, DW: Deep well, PRW: Private well

④水供給プロジェクトの水源別トラブル
表6に水源施設別トラブル意見数を示す。
記述意見の中で、季節（「雨季」と「乾季」のみを扱う）と関わる意見数は全体の約4%に相当する93件である。トラブル意見数は湧水や川等表流水が多い。雨季における水質悪化が問題になっている。これが原因でパイプが詰まる事故が発生している。湧水や川では乾季における水不足が見られる。その他の水源では問題が少ないようである。雨水利用者は不便だと想像できるが、受益者の管理になるので不満として現れにくいと思われる。国別トラブル意見数を図4に示す。トラブル
意見数では、ケニヤで乾季の水不足、スリランカ
で雨季の水質悪化が多く見られる。
（3）プロジェクトの間接効果についての意見（2）で述べた水供給プロジェクトの三大直接効

果を基礎に、健康改善（水因性病気が減少した）、
児童の教育機会の増加、収入増活動等の間接効果がもたらされることが期待される。
①健康改善
表7に記述意見における健康改善および過去の病気の名前を国別に示す。健康改善で分類される
意見数はベトナムを除いて水質が改善されたと言う意見数よりやや少ない。ネパールとベトナムにおいて健康改善の回答件数比率が高いが、ネパー
ルとベトナムでは水因性病気に関する意見数も多い。
同時に具体的な病名の記述があることは、以前存在していたこれらの病気が具体的に減少したということが言える。
図5に健康改善度の高い地域を示す。ベトナムのYeng Banでは最も高く、改善が地域全体で確認されている。病名では「消化器病」、「皮膚病」、

6カ国におけるODA水供給プロジェクト評価の調査で得られた受益者意見に基づく定性的資料の解析

表711

健康関係意見数１）と病気意見数２）
Total

Indonesia

Viet Nam

Philippines

Nepal
健康関係意見総数b

344

269

480

353

1446

健康改善意見数a

49

1

141

0

191

消化器病

0

0

4

0

4

皮膚病

0

0

5

0

5

小児病

1

0

1

0

2

婦人病

0

0

2

0

2

眼病

0

0

2

0

2

黒歯病

1

0

0

0

1

伝染病

2

0

0

0

2

水因性病気

21

0

4

0

25

a/b*100

14.2

0.37

29.4

0

13.2

定量的評価 3）

4.7

3.6

4.9

4.7

4.5

（出所）筆者作成
1）スリランカ、ケニヤでは質問していない。
2）全ての病気が水因性ではないが、住民回答をそのまま使用した。
3）択一式評価で「水因性病気が減少した」を5点、「増加した」を1点とする5段階定量的評価である。

図5 地域別健康改善意見数比率（%）
100
80
%

60
40
20
Th
ng（
Ba
g

g
V

-Y

en

en
-Y
V

）

）
Tr
ng（

Ba

en
V

-C

hi

hi
-C
V

ga
N
g

ng
ei

am

m

n
Ba

ia
G

D
-N
V

V

-A

n

ip
-S

ng

g
on

ha
ag

au
G
ils

②児童の教育機会の増加
このことに触れる記述意見はほとんどなかった。水汲み労働の担い手を質問する調査結果によると、15歳より小さい児童の水汲み労働比率は、

N

in

au
im
-T
N

「眼病」、「伝染病」が全体の3分の1を占めている。
このように具体的な病名が述べられていることから、両国では水道施設の整備とあわせて衛生教育が進んでいる反映だと推定できる。しかし、病名が記述されない病気が約3分の2ある。定量的評価
は、水因性病気が減少した程度を質問した時の評
価（1-5点）である。ベトナム、ネパールとインドネシアは高く評価されている。フィリピンとイ
ンドネシアでは具体的なことが聞かれなかった。

t

n

a
ar
sh

gh
-G
N

da

m

D
-A
N

ng

V

-C

hi

ei

ah
-K

at

g
on

la
K
ni

in
-B
V

N

（出所）筆者作成

ho

ai
h

an

H

M

y

so
-V
V

so
Bo
P-

N

-L

ah

Bo

an

0

プロジェクト前の6カ国平均値は、16.3%であった。記述された意見に見られる限り、発展途上国全体においては優先度が高く受け止められていな
いと思われる。
③収入増活動
収入増活動は収入があったかどうかは確認できないが、その活動を開始しているか、その意欲があるかが読み取れる意見数を表8に示す。収入増
活動の意見数は、総意見数（2022件）中52件（2.6%）であり、少ない。
定量的評価ではいずれも3点台であり、他の項
目と比較して低い。定量的評価が比較的高いネパールとベトナムで意見回答数が多いと言う関係が

12

伊藤

章夫

山田

淳

Victor S. Muhandiki

表8

中園

隼人

松原

正典

国別内容別収入増活動意見数
Total

Sri Lanka

Indonesia

Viet Nam

Philippines

Nepal
回答者数

344

269

480

353

576

2022

収入増件数

25

6

16

5

0

52

野菜作り

7

1

0

0

0

8

農場維持

0

0

0

1

0

1

鶏､家鴨､豚飼育

0

1

1

0

0

2

他事業

1

0

0

0

0

1

活動内容不明1）

17

4

15

4

0

40

定量的評価 2）

3.8

3.4

3.8

3.3

3.1

3.5

（出所）筆者作成
1）活動内容不明者の職業分類では農民が62.5%、続いて自営業10%、公務員7.5%等である。
2）択一式評価で「収入が増加した」を5点、「減少した」を1点とする5段階定量的評価。

表9
Nepal

生活改善と幸福感度意見数１）
Philippines

Viet Nam

Indonesia

Total

意見回答者総数

344

269

480

353

1446

生活､環境､衛生改善意見数

23

6

158

3

190

幸福である意見数

23

15

23

36

97

（出所）筆者作成
1）スリランカとケニヤではこの質問をしていない。

見られた。具体的な収入増活動分野は、野菜作り、家畜飼育等農業が約4分の1である。残りの4分の3にあたる活動内容不明者の職業は3分の2が農業（農民）であった。よって、発展途上国で収入増活動を定着させるには、地場農業の基盤整備が必要になる。地域別にはネパールのTimilsina GaunとベトナムのChieng Dongでは収入増活動として評価する意見数が全体の40%を超えている。
④生活改善、環境改善、衛生改善及び幸福意見
これらの分野の意見を表9に示す。広く、かつあいまいな表現が多く、厳密に区分できない。また、これらの改善は水量増加、水質改善、節約時間の発生等の総合的な結果であると思われる。
これらの意見（190件）は4カ国（スリランカ、
ケニヤは「変化」を質問していないためデータがない）平均で13%である。国別で見ると、ベトナ
ムが141件で最も多く、回答者全体の33%に達しており、水供給プロジェクトが同国の家庭生活の総合的な発展に寄与していると評価されている。
ベトナムは教育によって、プロジェクトを深く理解している意識の反映であると思われる。ベトナ
ム以外の国で幸福だと感じた人々の意見数は生活改善、環境改善、衛生改善件数より多い。このような人々はプロジェクトに感謝している気持ちを感性的に述べているが、ベトナムは現実的な表現で評価したと言える。
図6は給水施設別に生活改善と幸福感を示す。
両者の関係は比例的傾向が見える。しかし、施設
別に見ると便利で安全なHCより、不便で管理が難しい雨水利用の住民が幸福と感じる割合が高いという結果も見られる。幸福（to be happy）を感じた受益者は他の施設と比較したのでなく、水環境が劣悪だった過去と比較したのである。定性的
データは人々の認識、感情や知識の深さなどを理解することができる（NGO法人アーユス 2003）。
（4）管理・経営に関する意見
表10に管理・経営面に関する意見を示す。定量
的な調査項目にはこれらのことについての質問は含まれていない。管理・経営面は主として水供給

6カ国におけるODA水供給プロジェクト評価の調査で得られた受益者意見に基づく定性的資料の解析

図6

表10

給水法別１）生活改善と幸福感度意見数
12RW

節水しよう（N-Lahan 11 件）、
省エネしよう（IPekkae 11、
I-Marang 14、I-Tanrutedong 47件）

漏水

漏水の料金を利用者に請求しないで欲しい（K-Meru）、（K-NGK 19件）1）

盗水、犯罪

盗水 （K-Kabuku 2件）、
メータ窃盗､ （KKabuku 4件）、施設破壊（K-Kabuku 4件）

水量、メータブースタを使う人と使わない人に水量の差がある （P-Boso Boso）、メータがないが実際の使用量より多く払っている （N-Lahan）、メータ窃盗で利用者に請求しないで欲しい （K-Kabuku 2件）

料金

値下げして欲しい （V-An Dong1、V-BinhHai 9件）2）

処理

無処理の水が欲しい（K-Meru 3件）

経営主体

経 営 主 体を 政 府 に 戻して 欲し い（ N Gaushala 2件）

幸福感覚意見率（%）

8HC

HC（PT）HW（HC）PT
4
PT（HC）

2

PW

0
0

20

40

60

生活・環境・衛生改善意見率（%）（出所）筆者作成
1）HC: House Connection, PT: Public Tap, RW: Rain Water, PW:
Public Well, HW: House Well. 二つの施設が混在する場合は、
アンケート多数回答者施設を括弧の外側に、少数回答者施設を括弧の内側に示した。

事業者にインタビューすることで済ませてきている。
受益者から意見は貴重である。事業者と受益者の両方からの総合的評価が正しいと思われる。受益者から節水、省エネルギーの意見が見られる。
漏水は修理が不備なために発生している。盗水、
メータ窃盗、施設破壊等の水道システムへの犯罪行為がある。メータがないことによる不満、料金
値下げをもとめる、水を処理しないで欲しい、経営をコミュニティーから政府に戻して欲しい等意見がある。これらの意見が事業に反映されることが望ましい。
（5）住民の要望としての意見
最終段階の意見としての要望についても多くの記述意見数（1198件）があり、ここでは全部を示すことが出来ないが、細分類すると、42項目になる。要望等の内容は予め多岐に渡るため選択肢を設けることが出来ないが、意見調査により正確に把握することが出来る。プロジェクトによる水量増加の定量的評価では、4ヶ国平均で4.0点であったが、要望としては最も強いことが、意見調査に管理と経営に関する意見

節水、省エネルギー10613（出所）筆者作成
1）19件の内訳は、water shifting leakage 4件、poor material repair 13件、other 2件である。
2）V-An DongではUS$1.64m3は高い、
V-Binh HaiではUS$1.31m3にして欲しいと言う意見である。

よってわかる。水質改善の定量的評価では、4ヶ国平均で4.1点であったが、要望は第2位である。
第3位は料金の値下げであった。
要望の強い水量、水質、低廉、サービスの4分類をして図7に示す。全ての意見を分類して、最終的に対策や政策にフィードバックするためには、大分類しなければならない。同時に対策は小工事を伴うものと大工事を伴うものに便宜上分類している。数字はパーセントで表したものである。
水量増加と給水時間延長は水量が不足していることに原因があるが、サービスを受ける不便さが異なるために表現が異なると思われる。図7は要望の強さを直接要望と工事も含める要望を表示している。水供給事業の3要素（安全、豊富、低廉）が基本になっていることが読み取れる。図7によると、発展途上国の水供給受益者は先ず、豊富な水量確保、次にそれが安全な水であって欲しい、
次に料金が低廉かつ良いサービスを求めている。
よって、第一の要求は水量の確保であると思わ
れる。

14

伊藤

章夫

山田

淳

Victor S. Muhandiki

図7 安全・豊富・低廉な水供給を要望する意見
表現数分類

25
20
15
%

10
5

直接要望
時間延長
伴小工事

0
増
水量

加
安

水
全な

伴大工事

安

い水
サ
良い

ービ

ス

伴大工事

伴小工事

時間延長

直接要望

（出所）筆者作成

4.

中園

隼人

松原

正典

結論

これまで水供給プロジェクトでは定量的な数字分析で成果を収めて来たが、過年度までの研究では、定性的な意見を分析することは、必ずしも十分ではなかった。今回の研究成果は、特に水質、病気、収入活動、トラブル等では定性的な評価の重要性を明らかにすることができた。また、定性的な意見であっても多くのデータが集積すれば、定量的な分析と比較することもできることがわかった。インパクト評価において、プロジェクトの成果を定量化することは必要であるが、住民の要
望（意見）を把握することにより、今日及び将来の持続性、自立発展性の課題が明らかになると言える。定量的調査と定性的調査は相互補完的であり、両方を実施することが必要である。さらに重要なことは、それらの結果を有機的に結合させる
ことで、発展途上国の実相を知ることである。今後の課題は定性的な質問項目を充実させ、定性的で定量的な総合解析ができることである。

（6）記述意見解析の改善方法
参考文献
今後、一層意見を重視するためには、一定の改善が望まれる。以下はその要点である。
調査にあたり、事前に意見を聞く重点や要領、時間を統一的に設定する。有効な意見を効率的に聞くためには類似性のある質問は避ける。現地調査員には過度の誘導尋問にならないように指導する。その考えを現地調査員に徹底する。意見は量的な質問の後に行うことによって、受益者の記憶を呼び起こして、整理してもらう時間を確保する。
また、言語が通じなくても研究者は可能な限り直接意見を聞く。そのことにより双方の理解は深まる。
「変化」、「問題」、「期待」の3問において意見を求めることは望ましい。程度を段階式で質問する
場合、「減少」、「増加」で質問すると、病気の増
加、所得の増加は同じ増加でも意味すると間違いが生じにくい。質問用紙の意見が逆転するので、回答者、質問者、研究者が誤る恐れがあるので注意する。「改善した」、「悪化した」と言う内容を伴う単語で質問すると間違いが生じにくい。質問
用紙の意見欄を大きくして、様々な情報を得る。

飽戸弘（1998）『社会調査ハンドブック』、日本経済新聞社
NGO法人アーユス（1995）「NGOプロジェクト評価法研究会」、『小規模社会開発プロジェクト評価−人々の暮らしは良くなっているか−』、株式会社国際開発ジャーナル社
E．バビー著（2003）・渡辺聡子訳『社会調査法1基礎
と準備編』
、培風館
NHK放送文化研究所（1996）『NHK世論調査事典』、大空社
NGO法人アーユス（2003）、『国際協力プロジェクト評
価』、国際開発ジャーナル社
佐伯健・山田淳（2004）「水道分野におけるODAプロ
ジェクトの受益者に対するインパクト評価手法の開発」、『日本評価学会第5回全国大会発表要旨集録』、249-256頁
佐伯健・山田淳・Victor Muhandiki・中園隼人（2005）「現地調査に基づいた水供給分野におけるODAプロ
ジェクト評価手法の開発〜スリランカの事例から〜」、『環境システム研究論文集vol.33』、207-214頁

6カ国におけるODA水供給プロジェクト評価の調査で得られた受益者意見に基づく定性的資料の解析

15

佐藤寛（2003）『参加型開発の検討』、アジア経済研究所

評価手法確立のためのインパクト評価指標の検討」、

ティム・メイ著・中野正大訳（2005）『社会調査の考え『第13回国際開発学会全国大会報告論文集』、523-

方 論点と方法』、世界思想社
独立行政法人国際協力機構（2004）『プロジェクト評
価の実践的手法』、国際協力出版会
内閣府大臣官房政府広報室（1988）、『昭和62年版世論528頁
山田淳・Victor Muhandiki・松原正典・中園隼人（2006）「発展途上国水供給における水源選択の評価」、『第40回日本水環境学会年会講演集』、300頁

調査年鑑』、大蔵省印刷局
山田淳・大紗恵子（2002）「水道分野におけるODA（2007.810受理）

16

伊藤

章夫

山田

淳

Victor S. Muhandiki

中園

隼人

松原

正典

Analysis of Qualitative Opinions Stated by Beneficiaries at Evaluation
Surveys for ODA Water Supply Projects in Six Countries
Akio Ito*, Kiyoshi Yamada**, Victor S. Muhandiki**, Hayato Nakazono*, Masanori Matsubara*
Graduate School of Science and Engineering, Ritsumeikan University,
Department of Environmental Systems Engineering, Faculty of Science and Engineering,
Ritsumeikan University
gr043040@se.ritsumei.ac.jp***

Abstract
Beneficiary questionnaire surveys have been carried out by the authors since the year 2000 in six countries inorder to evaluate the effect of ODA funded water supply projects. To facilitate quantitative analysis, numeric entries
by respondents or questions requiring selection of one or more answers were used. At the same time, the surveys
included questions asking free opinions by beneficiaries. However, analysis of the results of the beneficiary surveys
by the authors has so far been done using the numeric data entered by beneficiaries or selected items for questions
requiring selection. Opinions of beneficiaries have been treated partially.
In this study, all qualitative opinions stated in the questionnaire sheets by beneficiaries in six countries surveyed
were categorized and analyzed. The following useful conclusions were derived:
1) The contents of opinions of beneficiaries about the projects can be concretely understood in terms of 5W, 1H(who, what, when, where, why and how)2) Wider opinions beyond the surveyor,s hypothesis can be comprehended
3) Although individual opinions are qualitative, by combining them quantitative analysis becomes possible
4) By combining quantitative evaluation and qualitative evaluation based on stated opinions analysis, more accurate
evaluation is possible5) Knowing the qualitative information facilitates effective solution of problems

Keywords
Water supply project evaluation,
Beneficiary questionnaire survey, Stated opinion analysis,
Quantitative analysis, Qualitative analysis

17【研究ノート】

参照点の変化を考慮した評価測定の研究

日野 哲也

牟田 博光

帝京大学中学高等学校
koko6the4270@yahoo.co.jp

東京工業大学社会理工学研究科
muta@hum.titech.ac.jp

要約本研究は、評価手法、特にアンケート調査による効果測定方法に焦点を当てた研究である。ある事柄に判断を下す場合に、個人が持つ価値観が少なからず影響を与えることは否めない。したがって、評価を行う場合、個人がどのように価値判断をし、どのような決定を行うのかを考慮した分析を行うことが必要である。価値判断はある参照点があり、その参照点からの利得・損失によってなされる、というプロスペク
ト理論が提唱されているが、プロジェクト実施においても、アンケート回答者（裨益者）の参照点がプロジェクトの実施前後で変化する可能性が考えられる。本研究は参照点の変化が評価値に与える影響を明らかにし、参照点の変化が及ぼす影響を考慮した簡単な評価測定モデルを設定し、再評価を行うことを目的としている。モロッコの基礎教育改善プログラム（BEIP）のデータを再分析し、参照点の変化を考慮した評価測定を行うことで、より妥当な評価結果を得ることができることを明らかにした。

キーワード
アンケート調査、効果測定、プロスペクト理論、参照点

１.

背景（1）政府開発援助（ODA）と評価
我が国は、開発途上国に対して、多くの開発事
業（プロジェクト）を実施している。プロジェク
ト実施にあたっては目標を設定し、その目標達成にむけて活動する。プロジェクトを実施した結果、どの程度効果が発現したかを明確に示すためにそのプロジェクトの評価を行うことが必要となる。
さらに、プロジェクトの評価は、国民への説明責任を果たすばかりでなく、プロジェクトを適切な方法で実施し、ODAの質の向上を図るうえで、必要不可欠である。また、安定した国際協力のためには、成果を挙げ、資源の効率的な利用を実証し、国民の支持を得ることが必要である（牟田2003）。
効果測定方法としてアンケート調査が広く用いられている。アンケート調査では、資源を享受している人々を対象として同時期に同じ質問をし、得られた回答をデータとして収集した後、そのデータを解析することによって効果の発現状況をみている。まず、実施群および比較群においてプロ
ジェクト実施前と実施後にアンケート調査を行

日本評価学会『日本評価研究』第7巻第2号、2007年、pp.17-25

18

日野

哲也

い、それぞれ事前から事後への評価値の変化量を総効果として測定する。そして実施群と比較群の総効果の差である純効果を測定し、プロジェクトのインパクトを評価する。
しかし、この広く使われている効果測定方法は、
アンケート調査の次の特徴を考慮していない。すなわち、アンケートに回答する時、回答者は現状を把握し、それに対して何らかの価値判断を行った上で、最も適切な評価値を決定する、という特徴である。それゆえ、アンケート調査によって得られた値で効果測定を行う際には、人はどのように価値判断をして、どのように選択・決定を行うのか、ということを考慮する必要があるといえる。

牟田博光

図1 価値関数
価値

損失

0

利得

（2）プロスペクト理論（出所）筆者作成

Kahneman & Tvelsky（1979）は、人は価値判断を行う際に参照点という評価を行う上での基準を持ち、そこからの利得・損失から価値判断を行う、
つまり価値判断は参照点に依存する、というプロ
スペクト理論を提唱している。プロスペクト理論
では、選択・決定は編集プロセス・評価プロセスの2つのプロセスによって行われていると説明している。編集プロセスでは、まず決定に関連する行為や結果、状況について認識をし、次に評価を行う上での基準となる参照点を決定する。評価プ
ロセスでは、編集プロセスで決定をした参照点と価値関数を適用し、価値を算出する。同時に、どれだけの確率で評価対象の結果が起こるのか（起きたのか）を認知する。そして最終的には、算出された価値と認知した確率の積で、総合的評価値を決定する。
編集プロセスにおける参照点はプロスペクト理論の核となる重要な概念である。参照点は、決定を行ううえでの基準となる点のことであり、一般
的には決定者が持つ要求水準や目標、社会規範や他者からの期待などが参照点となるとされている（Kahneman & Tvelsky 1979：友野典男 2006）。例
えば、月給20万円を受け取っている2人の人それぞれに｢現在の給料に満足をしているか？｣とアンケートをとった場合を考える。このとき、同額を受け取っている2人の人でも、異なる参照点をもつことが考えられる。一方の人は『50万円』という金額を参照点として持ち、他方の人は『15万円』という金額を参照点として持つかもしれない。このように、人は評価をするときに何かしらの参照点を持ち、その参照点に依存して評価は行われると考えられる。
図1のS字曲線が価値関数と呼ばれる関数のグラフである。原点が参照点を表しており、参照点の価値を0とする。横軸は、右側に参照点と比べたときの利得の大きさが、左側に参照点と比べたときの損失が測られる。縦軸は価値の値を表しており、利得の場合は＋、損失の場合は−の値として測られる。このように、プロスペクト理論以前の期待効用理論では意思決定は総合的な期待値で行われるとされていたのに対し、プロスペクト理論では、参照点という評価をする上での基準が存在し、意思決定は参照点からの利得・損失によって決定するとしている（Tversky＆Kahneman
1992）。
Tversky＆Kahneman（1981）は次の実験から参照点が異なることによって評価結果が変わってくることを示した。
問題1. 被験者152人「600人を死亡させると予想させるアジアの病気がある。その時二つの選択肢のうち、どちらを選ぶか。」
A：200人は確実に助けることができる。

参照点の変化を考慮した評価測定の研究

B：1/3の確率で600人全員助けられるか、2/3の確率で全員死ぬ。
→回答 Ａを選択した者が72%、Bが28%問題2. 被験者152人「600人を死亡させると予想させるアジアの病気がある。その時二つの選択肢のうち、どちらを選ぶか。」
C：400人は確実に死ぬ。
D：1/3の確率で誰も死なないか、2/3の確率で600人死ぬ。
→回答 Cを選択した者が22%、Dが78%
問題1における選択肢A、Bと、問題2における選択肢C、Dは同じ状態を示す選択である。つまり、600人中200人が確実に助けられることと、400人が確実に死ぬことは同じ状態を示しており、同様に選択肢Bと選択肢Dも同じ状態を示している。しかし、選択された結果は、問題1と問題2では逆になっている。では、なぜ同じ状況を表す2つの問題で、選択された結果が違うのか。プロス
ペクト理論では、次のように説明をしている。問題1では、状況は「助かる」という肯定的な表現がされているため、被験者は選択肢を利得として受け取っている。一方、問題2では「死ぬ」という否定的な表現がされているため、被験者は選択肢を損失として受け取っている。これは、選択肢を利得として捉えるか、損失として捉えるか、つまり評価基準としての参照点をどこにおくかが異なることを表している。つまり、この実験から評価結果が参照点に大きく依存することがわかる。
（3）参照点を考慮したときのアンケート調査による効果測定の問題点
プロスペクト理論を基に、アンケート調査を用いた教育援助の評価について考察をすると、次のような問題点が考えられる。例えば、教育改善プ
ロジェクトの効果を測定するために、生徒に対してアンケートを実施する場合を考える。このとき問題点として、教育改善プロジェクトが行われる
前と後では生徒が評価をする際に持つ参照点が変化していることが考えられる。例えば、プロジェクトを行う前は、生徒はあまり教育に対し関心を19

持たず、参照点は｢今の授業のままで、十分だ｣というものであったのが、プロジェクトを行った後には、教育に対し興味・関心を持ち｢より質の高い授業・教育を受けたい｣に変化するかもしれな
い。また、逆の場合の変化が起こるかもしれない。
したがって、事前と事後にアンケートを実施し、事前と事後の評価値の差（変化量）を効果として測定する際、このように事前と事後で参照点が変化してしまうのでは、差をみても効果を明らかにすることが容易ではない。なぜならば、既述した
プロスペクト理論によると価値判断・選択は参照
点に依存するため、このようにプロジェクトの実
施によりアンケート回答者の参照点が変化すると、得られた評価値自体もプロジェクトの効果の有無に関わらず変化する可能性があるからである。したがって、アンケート調査による効果測定
では、実施群と比較群でどれだけ総効果の差があったかを測定するだけでなく、参照点の変化が及
ぼす評価値への影響を考慮して、評価を行うことが重要である。

2.

本研究の目的援助の評価自体、研究されたのが最近であるため、行動経済学や心理学で研究されている選択や価値の概念を考慮した効果測定は研究されていな
いのが現状である。もちろん、援助実施の現場ではより多様な要因が複雑に影響しあっており、心理学などの実験のように厳密に条件を制御されていない。しかし、多くの要因が複雑に影響しあっているので適切な評価はできないと結論付けるのではなく、理論（本論文ではプロスペクト理論）を基に柔軟に評価をし、少しでも現実を反映し、異なった視点から評価に解釈を与えることは価値あることである。その意味では、完全ではないに
しろ参照点の変化という1つの切り口から、評価結果を再評価し解釈を与えることは重要であると考えられる。
そこで、本研究の目的として次の2つを設定する。
①参照点の変化が及ぼす評価値への影響を明ら
かにする

20

日野

哲也

②参照点の変化による影響を考慮した評価測定
方法を提示する

牟田博光（2）分析手法
先に述べた2つの研究目的を達成するために2段階の分析を行う。

3.

研究方法（1）データ
本研究は、2003年から2005年にかけてモロッコ
で実施された地方基礎教育改善プログラム（BEIP：The Basic Education Improvement Programfor Rural Areas in the Kingdom of Morocco, JICA
2006）のデータを用いる。教員研修を行ったグループ（教員研修実施群）と教員研修を行わなかったグループ（比較群）の2群を設定し分析を行う。
教員研修の内容は州によって異なり、Sefrou州ではコンピュータ教育やマルチメディア教材の活用
方法、Khenifra州では多学級運営の仕方や教室内でのコミュニケーションの取り方、が主な内容となっている。
アンケート調査は、BEIP対象であるSefrou州、Khenifra州、Boulmane州、Errachidia州における学校の小学5年生と6年生の全数の生徒に対して行っているが、本研究の分析の対象としたのは、
Sefrou州とKhenifra州の学校のうち母校のデータである。分校は環境設備の質や母校からの距離に
大きなばらつきがあるため、分析対象からは除外した。分析に用いた学校数と分析対象数は次のとおりである。（ ）の数値はアンケート対象者数である。
・Sefrou州 実施校5校（398）：323
比較対象校3校（263）：165
・Khenifra州 実施校3校（261）：89
比較対象校3校（349）：103
生徒へのアンケート調査は質問紙法によるもの
で学習活動、先生、両親、コミュニティーに関する評価項目から構成されており、調査はプロジェ
クト実施前と実施後の2回行われた。実施後の調査では現状に関する評価とは別に、前年度からの変化の程度を聞く質問項目を加えた。変化の程度についての評価は5段階評定尺度であるが、現状に関する評価は3段階評定尺度であるため、これらの項
目は5段階評定尺度に変換して分析を行った。

①2種類の効果測定
参照点の変化が果たして評価値に影響を与えているのかを明らかにするために、2つの効果測定
方法により評価結果を比較する。
1つ目の効果測定方法（以下、効果測定A）は、
事前と事後に｢現状はどうであるか｣とアンケート
をとり、その変化量を効果とする、いわゆる一般的なアンケート調査による効果測定方法である。
2つ目の効果測定方法（以下、効果測定B）は、
事後に｢去年と比べてどれくらい変化したか｣とアンケートをとり、その値を効果として測定したものである。
効果測定Aは事前と事後でアンケート調査を実施しており、その評価値の差を効果として測定している。しかし、調査を2回実施していることは、各評価時においてそれぞれの評価基準、すなわち参照点がそれぞれあることになる。事前と事後で参照点が変化した場合、その参照点の変化が評価値に影響を及ぼす可能性があると考えられる。それに対し、効果測定Bは事後のアンケートのみで効果測定を行っているため、評価に対する参照点は1つであり、参照点の変化が評価に及ぼす影響はない。そこで、本研究では効果測定Bの参照点を基準に用いて、参照点の変化と評価値の関連をみていく。
②参照点の変化を考慮した効果値の調整
参照点の変化を考慮した評価測定を行うために、まず参照点の変化の定量化を試みる。ここでは参照点を生徒が持つ要求水準として設定し、いくつかのアンケート項目の評価値から適切に定量化を行う。次に定量化した参照点を考慮した評価
測定を試みる。具体的には、定量化した参照点の値をそれぞれ重み付けの係数として効果測定Aを再評価する。もちろん、様々な重み付けの方法が考えられるが、本研究では一般的な加法と乗法の2つの方法で重み付けした係数を用いて再評価を行う。

参照点の変化を考慮した評価測定の研究

4.

結果と考察

（1）効果測定A・効果測定B
表1はSefrou州における効果測定Aおよび効果測定Bにより測定した結果を示したものである。この表から明らかなように、｢授業中、教師は意見を促すか｣と｢教師は参加型の授業を行うか｣の2つの質問項目において、効果測定Aで効果を測定した場合、有意に実施群の方が比較群よりも高い効
果があるという結果が得られた。それに対し、効果測定Bで効果を測定した場合、2つの質問項目において比較群の方が実施群よりも有意に高い効果があるという効果測定Aとは逆の結果が得られた。
この結果から、Sefrou州では｢教師は、授業中意見を促すか｣、｢教師は参加型の授業を行うか｣の2つの質問項目では、効果測定A、Bそれぞれで相反する評価結果が得られたといえる。これは、効果測定Bでは参照点の変化が影響していないのに対し、効果測定Aでは参照点の変化が評価値に影響していることが考えられる。
同様の比較をKhenifra州においても行い、表2はその結果を示したものである。Khenifra州では効果測定Aで効果を測定したとき、3つの質問項
目ともに、実施群の方が比較群よりも高い効果が21あるという結果が得られた。また、効果測定Bで効果を測定した場合でも、3つの質問項目ともに実施群の方が比較群よりも高い効果があるという結果が得られた。つまり、Khenifra州では、
Sefrou州とは違い、3つの効果測定で一致した評
価結果が得られた。ここから、Khenifra州では、参照点の変化が評価値に影響しておらず、2つの効果測定の結果に違いが生じなかったと考えることができる。
（2）参照点の変化の定量化
参照点の変化を定量化するにあたり、何を参照
点として設定するか、つまり生徒が教師の授業を評価するときの基準は何なのかが問題となる。一般的には、どのような状況のときにどのような参照点を持つかを特定することは容易ではない。満足度の研究において、参照点を満足度と設定した
場合、参照点の変化が評価値に影響を及ぼしていることが明らかにされており、また、目標や要求水準も参照点となりうる（後藤 2006）。どれだけ授業に対して求めているかという要求水準がアンケートに回答する際の1つの基準となると考えられるが、本研究のアンケート調査では生徒の授業に対する要求に関する質問項目を取り上げていな

表1 効果測定A、効果測定Bの結果（Sefrou州）
効果測定A
Sefrou 州

実施群

授業中、教師は意見を促すか

0.07

教師は宿題をチェックするか-0.21

教師は参加型の授業を行うか

0.08

＞**

＞**

効果測定B
比較群

実施群

-0.18

3.69

-0.14

3.64

-0.13

3.30

比較群
＜**

3.98
3.65

＜**

3.74

**1%の有意水準で実施群と比較群の間に差がある（出所）筆者作成

表2 効果測定A、効果測定Bの結果（Khenifra州）
効果測定A
Khenifra 州

実施群

効果測定B
比較群

実施群

比較群

授業中、教師は意見を促すか

0.07

＞**

-0.38

4.24

＞**

3.95

教師は宿題をチェックするか

0.00

＞**

-0.38

4.28

＞**

3.97

教師は参加型の授業を行うか

0.61

＞**

-0.55

4.29

＞**

3.93

（出所）筆者作成**1%の有意水準で実施群と比較群の間に差がある

22

日野

哲也

牟田

の信頼性はあるといえよう（Hennessey & Amabile1988）。
この学習意欲を表す合成変数を参照点として定量化した結果が表4である。この結果からSefrou
州では実施群と比較群で事前の参照点に差はない
が、事後の参照点に実施群と比較群に違いがある
ことが確認できる。一方、Khenifra州では、事前、事後ともに実施群と比較群間で参照点に差が生じていないことがわかる。

い。そのため要求水準と同様の内容を現す変数を作成するために、勉強・学校に関する8つのアンケート質問項目を用いて因子分析を行った。因子分析の結果が表3である。
因子分析の結果から、第1因子では「一日の勉強時間」や「他の生徒と比べたときの学力」、「学校で学習をしているか」という質問項目の因子負荷量が大きく、『学習意欲』を表していると考えられる。それに対し、第2因子では因子負荷量が大きい質問項目は「学校で勉強するのが好きか」や「どれくらいの学位がとれるか」、「教育は必要と思うか」など『勉強や学校に対する社会規範』
を表す変数と考えられる。
「学習意欲が高い生徒ほど、授業に対しても要求がより強いであろう」と仮定して、第1因子の「一日の勉強時間」「他の生徒と比べたときの学力」「学校で学習をしているか」の3つの質問項目の評
価値の平均を『学習意欲』を現す合成変数とし、これを要求水準と同様の内容を現す変数と捉え、参照点として設定する。また信頼性の分析を行ったところ、α係数は0.73であったので、この変数

表3博光（3）参照点の変化を考慮した効果測定値
参照点の変化を定量化したので、効果測定Aに
この参照点の値を重み付けの係数として考慮し、再評価をする。事前と事後の評価値をそれぞれ、
X1、X2とし、事前と事後の参照点の値をY1、Y2とするとき加法と乗法という最も一般的な重み付
けで再評価を行った。再評価値の算出式は次のとおりである。
再評価値1＝（Ｘ2＋Ｙ2）−（Ｘ1＋Ｙ1）
再評価値2＝Ｘ2・Ｙ2−Ｘ1・Ｙ1

因子分析の結果
第1因子

第2因子

一日の勉強時間

0.854

0.059

ほかの生徒と比べたときの学力

0.629-0.095

学校で学習しているか

0.597

0.003

自発的に学校に行っているか-0.3900.160

学校で勉強するのが好きか

0.004

0.449

どれくらいの学位がとれるか

0.005

0.392

教育は必要だと思うか-0.062

0.341

家で勉強をしているか

0.320

0.323

質問事項

（出所）筆者作成

最尢法 プロマックス回転

表4 参照点の定量化（Sefrou州、Khenifra州）
Sefrou実施群
事前の参照点2.92

事後の参照点2.28（出所）筆者作成＜**

州

Khenifra

州

比較群

実施群

比較群

2.92

2.52

2.51

2.83

1.94

1.98

**1%の有意水準で実施群と比較群の間に差がある

参照点の変化を考慮した評価測定の研究

Sefrou州およびKhenifra州についてそれぞれの2つの再評価をした結果と、効果測定AおよびBの結果を表5、表6に示す。
Sefrou州では、再評価をする前の効果測定Aと効果測定Bでは相反する評価結果となった。しかし、効果測定Aに参照点の変化を重み付け係数として考慮し再評価した値は、｢教師は、授業中意見を促すか｣、｢教師は参加型の授業を行うか｣の2つの質問項目において、再評価1および再評価2ともに比較群の方が実施群よりも効果が有意に高いという結果を示しており、効果測定Bの評価結果と一致している。
一方、Khenifra州では再評価をする前の効果測
定Aと効果測定Bにおいて実施群と比較群の関係は一致したものであった。この関係は、表6から明らかなように2つの手法で再評価した場合も同表523様であり、参照点の変化を考慮する必要が無かったといえる。
次に、Sefrou州について、再評価を行うことが妥当であったかについて効果測定Bと効果測定A、
再評価値1、再評価値2の相関をみる。表7はSefrou州における、効果測定Bと効果測定A、再評価値1、再評価値2との相関を示したものである。
表7から、参照点を考慮した評価測定を行うことにより、効果測定Bとの相関係数が｢教師は、授業中意見を促すか｣、｢教師は参加型の授業を行うか｣の2つの質問項目において高くなったことがわかる。今回のデータでは、心理学の実験のようにデータがきちんと統率されていないこと、被験者が発展途上国の小学生ということ、2つの効果測定の間にはより多くの要因が存在すること、また被験者数が大きいことなどを考慮すると、相関効果測定A・再評価・効果測定B （Sefrou州）
去年と比べた時の変化

事後評価値 − 事前評価値
効果測定A

Sefrou 州

実施群
授業中、教師は意見を促すか

0.07

教師は宿題をチェックするか-0.21

教師は参加型の授業を行うか

0.08

再評価値1

比較群 実施群
＞**

＞**

再評価値2
比較群 実施群

効果測定B

比較群 実施群

-0.18

-0.56

＜**

-0.28

-5.00

＜**

-3.88

3.69

-0.14

-0.85

＜**

-0.23

-5.81

＜**

-3.71

3.64

-0.13

-0.55

＜**

-0.22

-4.59

＜**

-3.47

3.30

比較群
＜**

3.98
3.65

＜**

3.74

**1%の有意水準で実施群と比較群の間に差がある（出所）筆者作成

表6 効果測定A・再評価・効果測定B （Khenifra 州）
去年と比べた時の変化

事後評価値 − 事前評価値
効果測定A

Khenifra 州

実施群
授業中、教師は意見を促すか
教師は宿題をチェックするか
教師は参加型の授業を行うか

再評価値1

比較群 実施群

0.07

＞**

-0.38

0.00

＞**

-0.38

0.61

＞**

-0.55

再評価値2
比較群 実施群

0.63

＞**

0.14

0.56

＞**

0.14

1.10

＞**

0.29

効果測定B

比較群 実施群

2.58

＞**

1.41

2.64

＞**

1.46

3.48

＞**

1.56

4.24

3.98

4.28

＞**

3.97

4.29

＞**

3.93

**1%の有意水準で実施群と比較群の間に差がある（出所）筆者作成

表7 効果測定Bとの相関（Sefrou州）
効果測定A

再評価値1

再評価値2

授業中、教師は意見を促すか

0.13

0.26

0.28

教師は宿題をチェックするか

0.28

0.33

0.31

教師は参加型の授業を行うか

0.12

0.26

0.29

Sefrou 州（出所）筆者作成

比較群
＞**

24

日野

哲也

係数が約0.3前後で、ある程度の相関があると解釈して良いと考えられる。この結果から、参照点の変化を考慮することで、より妥当な評価結果を得ることができたことがいえる。

5.

まとめと総合的考察

本研究では参照点の変化によって、評価値にバイアスが生じるという問題を提起し、実際にモロッコで行われたBEIPのデータを用いて問題点を明らかにした。具体的には、2つの効果測定方法
で教員研修の効果を測定し、結果の比較を行った。
その結果、2つの効果測定方法で結果が違う州と一致する州があり、それは参照点の変化量が原因であると考えることができた。次に、参照点の変化量の違いを考慮した評価測定を行うため、まずは参照点の変化を定量化した。ここで、参照点を生徒が持つ授業への要求水準（学習意欲）と設定
し、生徒の学習意欲を表す合成変数で間接的に定量化をおこなった。最後に、定量化した参照点の値を効果測定Aに重み付け係数として考慮し、参照点の変化を考慮した新しい効果を測定した。参照点の変化を考慮した効果測定では、考慮する前と比べると、より妥当な評価結果を得ることがで
きた。

6.

牟田

博光

うときには、より多くの質問項目に対し効果測定
Aと効果測定Bの2つの方法で効果を測定し、相反する評価結果が得られていないか、そのとき参照
点の変化による影響がないかを検証し、どのような質問項目のときにどのような参照点を考慮すべ
きか、を研究することが必要であろう。
今後、本分析のような評価手法の研究を行うことにより、より柔軟性のある幅広い評価の実現を望むことができる。一方、このように評価結果を解釈しなおす際、恣意的に重み付けをし、事実を不当に捻じ曲げた評価が行われる危険性もあるだ
ろう。しかし、解釈しにくい結果を得てしまった
ために報告書に結果を載せないという選択をする
よりは、妥当性のある理論を基に評価をしなおし、
評価結果の解釈・原因・バイアスの可能性を論じ、次回のプロジェクトに活かし、そして国民に対して説明責任を果たすことはODAの質の向上につながるであろう。
謝辞
本研究を行うのにあたり、モロッコで行われた独立行政法人国際協力機構による「モロッコ国地
方基礎教育改善プログラム（BEIP）」のデータを用いた。関係者の方々にこの場を借りて厚く御礼申し上げる。なお、本研究で示された意見は筆者
個人のものであり、同機構、関係者の統一的な見解を示すものではない。

今後の課題と展望
参考文献

本研究では生徒の勉強への意欲を参照点としたが、「学習意欲」が事前に比べて事後に低くなっている。教育に関するプロジェクトの最終目標は生徒の学力向上であることから、「学習意欲」が低下することは望ましいことではない。本研究では評価測定方法の提案を主としていることから、「学習意欲」に影響を及ぼす要因の分析には触れていない。しかし、参照点に及ぼす影響を考慮して参照点を選択するなど、何を参照点としたらより適切な結果が得られるか、適切な参照点の選択が今後の課題である。適切な参照点を考えるには、より多くのデータを用いて分析を行う必要がある。特に、アンケート調査を用いて効果測定を行後藤玲子（2006）「ミニマムの豊かさと就労インセン
ティブ−公的扶助制度再考−」、『わが国の経済格差の実態とその政策対応に関する研究会』、財務総合政策研究所報告書
友野典夫（2006）『行動経済学

経済は｢感情｣で動いている』、光文社新書牟田博光（2003）「構造的評価に基づく総合的国際協力の試み」、『日本評価研究』、3（1）：65-76
Hennessey, B.A. and Amabile, T.M.（1988）. The Conditionsof Creativity: In R.J. Sternberg（ Ed）, The Nature of

Creativity. London: Cambridge University Press, 11-38.
JICA（2006）BEIP: The Basic Education Improvement参照点の変化を考慮した評価測定の研究

25453-458

Program for Rural Areas in the Kingdom of Morocco.

Tversky, A. and Kahneman, D.（1992）. Advances in

Final Report.
Kahneman.D. and Tversky, A.（1979）. Prospect Theory: An

Prospect theory; Cumulative Representation of

Analysis of Decision under Risk, Econometrica, 47（2）,Uncertainty, Journal of Risk and Uncertainty, l5（4）, 297-263-291.

323.

Tversky, A and Kahneman,D.（1981）. The Framing ofDecisions and the Psychology of Choice, Science, 211,（2007.8.10受理）

Evaluation Method Considering the Change of the Reference Point
Tetsuya Hino

Hiromitsu Muta

Teikyo University
Junior and Senior High School
koko6the4270@yahoo.co.jp

Graduate School of Decision Science and Technology
Tokyo Institute of Technology
muta@hum.titech.ac.jp

Abstract
This study focuses on an evaluating method, particularly effect measurement using questionnaires. In case of,decision-making for evaluation, it is undeniable that personal values have not a little influence on one s judgment.
,
Therefore, in the event of analysing data for evaluation, it is necessary to respect how a person weighs up one s value
to make a decision for answering a questionnaire. Prospect theory proposes that the value function is defined on
deviations as gains or losses from a reference point, and regarding the implementation of a project, it is hypothesizedthat the reference point of a respondent to a questionnaire, who is a beneficiary of the project, in the timeframe ofafter the implementation can be changed from that in the timeframe of before the implementation. The purpose of,this study is to clarify the effect of the change of the reference point to respondents ratings for evaluation, then to set
a simple evaluating model taking account of the above-mentioned effect, and finally to analyse the data again using
the model. Reanalyzing the data of the Based Education Improvement Program (BEIP) for the new evaluationconsidering the change of the reference point reveals that more reasonable result can be obtained.

Keywords
Questionnaire, Evaluation Method, Prospect Theory, Reference Point

27【研究ノート】

事業仕分けからみた行政評価の課題

佐藤 章
大津市役所出納室
cbk41320@par.odn.ne.jp

要約

全国的に「事業仕分け」が盛んに行われている。しかし、それが「不要な事業」を仕分けるための作業という以外、内容は不明確である。本稿の目的は、第一にその「事業仕分け」自体に一定の定義を与え、それが従来からの行政評価の評価項目の一つである「必要性」に焦点を当てたものであることを明らかにすることにある。また何故「必要性」に焦点を当てざるを得なかったのかも合わせて考察する。そして次に「必要性評価」に特化した「事業仕分け」が抱える課題、すなわち「仕分け基準」が不明確であることを述べ、その課題解決には「公的関与の必要性」基準の明確化と「政策体系に基づいた政策論」が必要であることを述べる。そして、実はそのことが、従来型行政評価が抱える課題の一つを解決することにも役立つことを示そうとするものである。

キーワード
事業仕分け、必要性評価、公的関与の妥当性、プログラム・セオリー・マトリックス

1.

はじめに

昨年5月に成立した「簡素で効率的な政府を実現するための行政改革の推進に関する法律」では、「簡素で効率的な政府」を実現するには「政府及び地方公共団体の事務及び事業の・・・必要性の有無及び実施主体の在り方について・・・内容及び性質に応じた分類、整理等の仕分けを踏まえ・・・政府又は地方公共団体が実施する必要性の減少した事務及び事業を民間にゆだねて」（同法第2条）実施する必要があると述べ、また「競争の導入による行政サービスの改革に関する法律」でも「国・・・又は地方公共団体がその事務又は事業の全体の中で自ら実施する公共サービス全般について不断の見直しを行い、・・・公共サービスのうち、国・・・又は地方公共団体の事務又は事業として行う必要のないものは、廃止する」（同法第3条）と述べている。いずれも｢事務事業の仕分け・見直し｣（以下「事業仕分け」という。）
が「簡素で効率的な政府」を実現するうえで必要であることを示している。
総務省が昨年10月末現在で調査した結果によると、「事業仕分け」を実施している都道府県・政
令市・中核市・特例市は合計53件で同年1月の調査と比較すると16件の増となっている１。
このように法律にまで規定され、全国で実施さ日本評価学会『日本評価研究』第7巻第2号、2007年、pp.27-38

28

佐藤

れている「事業仕分け」は、単なる「作業」であるという以外その概念定義は明確に定められておらず、各自治体がそれぞれの流儀でやっているのが実態と思われる。
そこで本稿ではあらためて「事業仕分け」を定義し、それが従来から実施されてきた行政評価 ２とどのような関係にあるのかを分析すると同時に、「事業仕分け」の抱える課題を解決すること
が「行政評価」が抱えている課題の解決に役立つことを明らかにすることが目的である。

2.

事業仕分けとは（1）事業仕分けの定義「事業仕分け」を提唱した構想日本によると、「事業仕分け」とは『現在、国や地方自治体が行っている行政サービスのそもそもの必要性や実施主体（国、県、市など）について、予算書の項目
ご と に 議 論 し 、「 不 要 」 ・ 「 民 間 」 ・ 「 市 町村」・「都道府県」・「国」と分けていく』（構想日本 2007、p.2）作業であるという。換言すると「事業仕分け」とは、「現在行政が実施している事業・サービスは、そもそも公的関与が必要なのか、必要だとしてもそれは本来誰が実施すべきなのか」という事業そのものの｢必要性の有無と実施主体の妥当性｣を確認する検証作業ということができる。
ところで政府の「政策評価制度の在り方に関す
る最終報告」では、「必要性」という評価項目について「そもそも政策が実現しようとしているものを国民や社会が必要としているといえるのか、
上位の目的に照らして当該政策の目的が妥当か・・・国民や社会のニーズに合致している場合
でも、民間でできるものは民間」に委ねられない
かを、行政において「検討すること」がその内容と述べている（政策評価等の手法等に関する研究会 2000、p.45）。ここで示されている「必要性」の内容は、上記の「事業仕分け」が求めている内容と基本的に符号する。すなわち、「必要性」という評価項目に焦点を絞った評価（以下「必要性評価」という）こそが「事業仕分け」の実態と考章えられる。ここからいえることは、「事業仕分け」
自体は最近急に出現したものではなく、従来からある評価項目の一つが名前を変えたに過ぎないということである。
では、これまでの必要性評価と「事業仕分け」とどこが異なるのか。それは、事業の実施主体は誰が適当なのかという点にまで踏込んだ点である。これまでの「必要性評価」では「公的関与の妥当性」についての議論はある程度はされてきたが、そもそも事業の実施主体は誰が適当かというところまで踏み込むことは無かった。せいぜい事
業の効率化の手法としてアウトソーシングを考えるに過ぎなかった。この点を踏まえると「事業仕分け」とは、前述のように従来からあった行政評
価の評価項目の一つである「必要性評価」に注目したものであるが、その内容は従来から言われている「公的関与の妥当性」「手段の妥当性」「政策・施策目的に対する妥当性」に加えて「実施主体の妥当性」をそれぞれ何らかの基準により検証する作業と一応定義できる。
そこで｢事業仕分け｣を上記のように定義した場
合、元々行政評価の一手法である「事業仕分け」に今多くの自治体が何故取り組んでいるのかが問題となる。ここから考えられることは、従来から実施してきた「必要性評価」が評価システムの中で十分に機能してこなかったのではないかという点である。
そこで次に、「必要性評価」という評価項目が何故機能してこなかったのかについて考察する。
（2）行政評価における「必要性」の変遷
山谷（2002、pp.5-7）が述べるように、日本の行政評価の導入の経緯については、その導入目的に応じて大きな二つの流れがある。一つは、国レベルで行われている政策そのものを評価の対象とする流れであり、もう一つが自治体レベルで実施されている行政の活動自体を評価する流れである。ここでは、これらを｢必要性｣あるいは「公的関与の妥当性」という点からあらためて整理する。
まず国においては、1996年に「公的関与のあり方に関する基準」が「行政改革委員会」から示された。その中では、①「公共財的性格を持つ財・

事業仕分けからみた行政評価の課題

サービスの供給」、②「外部性」、③「市場の不完全性」、④「独占力」、⑤「自然（地域）独占」、⑥「公平の確保」の6点の基準が示されている。
その後1999年に総務庁に設置された「政策評価の手法等に関する研究会」の中でも、「評価の観点については、まず行政が担うべきか、民間で実施すべきかという議論がある。より厳密に言えば、・・・その政策の達成に対して税金を投入す
べきか、税金を投入して達成する目的なのかというのが行政関与の妥当性であり」「行政が担うべき政策であっても、国か地方公共団体のいずれかが担うべきかという評価が次にくる。必要性という評価視点はこのようにもう少しきめ細かく」行
うべき必要があるといった「必要性」に関する議論が展開をされている（政策評価の手法等に関する研究会 1999、第6回議事概要、星野発言）。そしてこのような議論が、その後「政策評価に関する標準的ガイドライン」の「必要性」の観点に引き継がれ、現在にまで至ることとなる。
一方自治体においても、1994年の自治事務次官
通知「地方公共団体における行政改革推進のための策定について」の中で、「行政の責任領域に留意し、行政関与の必要性・・・を十分吟味して・・・事務事業の整理合理化を図ること」と述べ、また1997年にも同趣旨の事務次官通知を発している。特にその中では別に、「既に計画し、又は着手した事業等であっても、必要性、効果等を十分勘案してその推進について判断すること」とまで述べられている。これらの通知を受け多くは行革大綱等にて対応したが、三重県ではさらに同年に「公的関与の判断基準」 ３として①公共財、②外部不経済効果、③スケールメリット、④巨大リスク、⑤ナショナル（シビル）ミニマムの5点が示され、また県の役割も「単一市町村では対応できない問題やその効果が複数の市町村に及ぶ事業等」に限定すべきである旨が示された。この結果三重県では202事業、約34億9千万円余の事業が廃止、見直しをされた。このように国や自治体においても、この時点では事務事業そのものの「必要性」を議論することが重要であるとの認識が示されていた。
そしてこれらの流れを基本としながらも、「指標」の作成を重視したのが1999年から総務省（旧29自治省）に設置された「地方公共団体における行政評価についての研究会」である。この委員会は、行政評価を「政策、施策及び事務事業について、
成果指標等を用いて有効性又は効率性を評価すること」によって「行政の現状を認識し、行政課題を発見するためのツール」と位置づけ（自治省行政局行政体制整備室 2000、p.4）、「効率性」「有効性」を測定するために指標の作成を重要視した。
すなわちここでは、「行政」という組織のもつ使命や目的に対してその活動が「効率的か」「有効的か」が評価基準とされたのである。そして多くの自治体の関心もこの指標の作成に向けられ、2001年度に示された報告書では指標の作成についての議論が展開をされている。しかし、先の1999
年の委員会では、合わせて行政評価を円滑に導入するためには、「政策・施策・事務事業の体系図」（目的・手段の体系図）を作成することも提案されている。すなわち、これらを作成することにより、「どのような目的のためにどのような手段が準備されているのかを確認」し、そして中には「時代の変化もあり、目的の失ったものが」あるかもしれないので、そのような｢目的のないもの
は、今の行政に必要なのか」といった政策論議を行う必要性を述べている（自治省行政局行政体制整備室 2000、p.29）。しかし委員会では、政策論議を行えば事業自体の必要性も当然に議論されると考えてか、「必要性評価」の内容そのものに関する議論は殆どされなかった。
多くの自治体にとっても、地方分権初期ということもあり事業の手法等を議論することはあっても、政策・施策・事務事業を系統立てて議論する
こと自体不慣れな点もあったのか、行政評価の導入上の課題の中にこれらは挙げられることはなかった。逆に、評価の対象が事務事業レベルであったこともあり、「効率性」「有効性」測定のための「指標」の作成に関する課題が多数を占めることとなった４。
また「必要性」については、古川が「必要性のわな」５というように、評価シートには「必要性」という評価項目があるものの、本来必要であった
真摯な政策議論がなされぬまま事業等の正当性を示すための根拠に使われ、「必要性」については「当然に必要」６という回答をすることとなり、評

30

佐藤

価の客観性の要求とも重なって多くの自治体では指標の正確性等にその関心がさらに向けられたのである。このような国と地方の方向性の違いについて山谷は、自治体にとっては「自治体経営、とくに財務管理、予算管理、組織管理、人事管理な
どマネジメントの改善、管理能力強化がどうしても重要であったのに対して、中央省庁はそうした
方向よりもむしろ政策官庁としての政策能力、政策それ自体の品質改善が重要視されていた」（山谷前掲、p.7）結果と述べる。
結局地方財政に対する深刻さ度合いの高まり
が、自治体自体のマネジメントの改善のために「必要性」よりも「効率性」「有効性」を重視した
行政評価を求めたものであり、これ以降このような流れが定着していく。従ってこの状況下では、本来必要であった政策論議から導かれる政策・施策からみた事業の「必要性」に対する議論は十分には出来なかったものと推測する。

3.

事業仕分けの実態（1）事業仕分けの意義
このように従来型の行政評価では軽視された「必要性」を重視する「事業仕分け」は、その手法の新鮮さからか、幾つかの自治体では、その意義を認める声が多い。
千葉県の堂本知事は「①当たり前と思っていたことなどが、第三者の視点から指摘されて事業見直しのきっかけとなったこと、②事業手法の見直
しや制度の改善等の議論が出てきたこと、・・・、③議論等を通して職員の新たな気づき、そして意識改革につながったこと、そういった第三者の視点の目によってふだんは気づかないところを気がついた」とその意義を述べる（2005.12.7 千葉県
議会会議録）。即ち、市民や他の自治体職員との議論を通じて新たな気づき（意識改革）がこの「事業仕分け」にはあるということである７。また実際に担当した職員も「今まで『当然』と思って進めてきたサービスを違う視点から確認できた」（神奈川新聞 2005.9.4）とその意義を認めている。
しかし、このような意見とは別に、その手法、特章に僅か30分程度の議論の後多数決により、その妥
当性を決めるという点について異議を述べるものもいる（後述）。そこで次節では、「事業仕分け」の実態について考察を加える。
（2）事業仕分けの実態「事業仕分け」は、従来不十分だった「必要性評価」の内容たる「公的関与の妥当性」「実施主体の妥当性」等を重視するという意味では先進的ともいえる。しかし基本は従来の行政評価をベースにしたものであり、また外部評価でもある。従って実際の仕分け手法は、従来の行政評価が用いた手法と同様である。それを実際の「事業仕分け」の中から見ていくこととする。
まず最初に仕分けシートの作成と対象事業の選定が課題となる。A市では、「仕分け対象事業」
を政策秘書課が示す市に裁量のある100万円以上の事業と各課の選択によるものとをお互いの協議により決めている。その基準は、従来から事務事
業評価、外部評価を経ても効果が見られない事業や、従来から廃止したいけど諸般の事情から廃止できない事業等を対象とし、仕分けシートに事業の概要やコスト、これまでの成果等を記入する。
A市では事務事業評価も実施していたこともあり、シートへの記入は2週間程度でできたそうである。また同市では、事前にリハーサルを実施し、予想質問とそれへの回答も準備したという。
B市では、内部評価において優先度の点数の低
かった、また金額の大きい事業で、市民の価値判断を求める必要があるというものを仕分け対象とした。また、その際の判断材料となる「行政サービス基本台帳」も詳細に記入がされている。さらに実際の仕分け時には、多くの参考資料が添付される。その結果市民からみたとき何が仕分けの対象かわからない部分も存在する。例えば仕分けのテーマは「リサイクル推進における市民協働のあり方」としながら、説明は「リサイクル推進員報
奨金」と「推進員制度」が主であり、市民として
は「報奨金」「リサイクル推進員制度」の何れが仕分け対象なのかわからないという意見が出た。
「そもそも」論から考えると、「市民協働のあり方」
として「リサイクル推進員制度」が必要かという

事業仕分けからみた行政評価の課題

ことが議論の対象になるべきではなかったのか。
またこれら資料等の作成に要するコスト（特に機会コスト）を考えると相当数の金額にもなる。
次に実際の仕分け作業では攻める側と守る側という立場が鮮明になる。次の事例はA市の図書館の運営事業についてのやり取りである。
「正規職員を減らして臨時職員を増やすつもり
は」「正規職員11名と臨時職員13名で、正規職員
11名は最低限必要である」「最低限の根拠は」「図書館の事業データー入力、レファレンス等を行っていくには正規職員でないと難しい」「臨時職員に委託したら、どの程度人件費が安くなるのか」「人件費の安い人を雇えば安くなるのだが」「図書館司書の資格を持つ人であればアウトソーシングできるのでは」「正規職員でなければ使命感や情熱等が違うので正規職員でなければと思っている」「民間ではパートでもやる気が出るようにしているが、行政ではできないのか」「難しい」ということで「継続」となってしまった。図書館については指定管理者の話もあり、そもそも図書館の運営について現状では、公的関与の必要性の有無を議論すべきではなかったのかと考える。また対象事業の選択を誤った例が次である。仕分けテーマは「公用車の運行管理のあり方」であり、内容は市長以下の三役が乗る公用車を市役所の所有からアウトソーシング（ハイヤー等）に変更する
ことについてであるが、市民から「評価にかける話ではない、ここでは市民サービスのための事業が対象になるのでは。そのような話しは内部の意
思決定で行ってもらいたい」という意見が出た。
また「仕分け」の結果がどのように利用されているのかと言えば、Ｃ市では「めざせ！商人（あきんど）事業」という事業が「当人の努力で行うべき」として「不要」という仕分け結果を得たにもかかわらず、次年度の事務事業評価において、当該事業は「必要性がますます高まっている」と評価をし予算まで付けている。しかし、これに対する議会からの質問はなかった。千葉県の堂本知事は、「公営住宅建設関係など直ちに廃止すると県民への社会的、経済的影響が大きいこと、・・・県有林事業など民間に任せた場合には量的、あるいは実施能力の点で現段階では不十分である」（2006.3.8 千葉県議会会議録）こと等を

31

理由として仕分け時に不要とされたものを継続とした。滋賀県高島市では米の価格安定のため、転作農家や団体に対する助成金制度として「産地づくり対策助成事業」が実施されていたが、農家の所得補償になるとして｢不要｣という結果を得た。
しかし市では、「米は基幹産業。そこが揺らげば、市のコミュニティー全体が不安定になる」（朝日新聞 2006.8.20）として「継続」とした。結局仕分けされた結果は当該団体を拘束するのか、単なる参考意見に過ぎないのか（構想日本では、「結果をどうするかは、・・・その自治体がみずから意思決定をする。
（構想日本 2007、p.69）」という）、
また議論する過程が重要としながら、実は事業担
当者のプレゼン能力と後述するように評価者の価値観だけに頼るという点も含め、全体の仕組みが曖昧なままに「仕分け」という事実だけが先行しているのが現状であるといえる。
（3）事業仕分けの限界
これまで見てきたように「事業仕分け」は、従来の行政評価と比べると先述したように先進的な面があるものの、未だ不十分さも合わせ持っている。第一に、評価によって得た情報を「直接資源配分に活用しようとすれば、評価が予算の下僕」（田中 2005、p.45）になるとの指摘と同様に、「事業仕分け」もその結果を資源配分に活用しようとすれば、「事業仕分け」自体も予算の下僕と化し、「事業仕分け」を積極的に利用しようとするインセンティブは働かない。第二に、「仕分け」までの準備段階の作業は従来の行政評価におけるシートの記入等に要する作業負担と同じか、リハーサ
ルの分だけ余計にコストを要することともなる。
第三に、これらの議論の中心となる「仕分け」基
準であるが、「各評価者が多様な視点や切り口で事業を評価することに意味がある（構想日本
2007、p.68）」として８、特に明確な基準というものは設定せず、そこに集まった人々の価値観等によって仕分けを実施しているという実態がある。
従ってこのような手法では、後からその結果を検証しようとしても、困難な場合が生じる９。また
現状では、「事業」のみにフォーカスしているため縦割りとなり、横の事業との関係が見えず、ま

32

佐藤

た政策体系全体での優先順位も見えない。
第四に、仕分け委員自身の意識の問題もある。
A市では2班で仕分けをする予定であったが、その内の1班6名のうち、当初から2人が欠席し、また午後から1人が退席し、結果として3人の仕分け
委員で仕分けが実施された。仕分け時の日程調整にも問題があったかとも思うが、果たしてこのよ
うな仕分けに十分な意味があるのか。さらに「仕分け委員」の知識レベルも問題になる。昨今の動きの激しい行政事務ではかなりの知識を有していないと、特に一般市民にとってはその内容を理解し、「公的関与の必要性」等を検討することは難しい。実際に仕分けにあたった市民の反応である
が「人件費など重要なデーターがなく専門用語も多い職員の説明がわかりづらい」「市政の全体像がみえず事業の優先順位がつけられない」（以上
朝日新聞 2006.3.4）という意見が実態を表している。また30分という時間の制約についても「十分な時間が確保されなかった。判断理由を詳細に書く余裕がなく、生の声を聞くために市民の代表を入れた意味が薄らぐ」（山陽新聞 2006.2.19）という意見があった。
以上「事業仕分け」が抱える課題をみてきたが、これらは従来の行政評価が抱える課題 10と共通する部分を持つ。特に「事業仕分け」にとって大きな課題は、「公的関与の妥当性」等の基準がない
ままに、評価員自身の価値判断に「必要性」の有
無を任すことにある。しかし、「事業仕分け」に「公的関与の妥当性」等の基準がなくても当然である。すなわち、従来の行政評価には「公的関与の妥当性」を考える余地は少なく、「事業仕分け」
を前述のような定義とすれば、「必要性」に焦点を当てたとしてもその内容は限られるからである。換言すると、従来の行政評価が「公的関与の妥当性」に対する判断基準を持たないままに 11、「必要性」を判断してきた結果ともいえる。ところが従来型評価では、「必要性」よりも｢効率性｣「有効性」を重視してきたから、この点に対する違和感はない。

章

4.

事業仕分け実施の条件（1）必要性評価「公的関与の妥当性」
1997年に三重県で示された「公的関与の判断基
準」は大きな成果を挙げたにもかかわらず、その後これに続く自治体は少数であった。しかし2003
年になると名古屋市において「公的関与のあり方に関する点検指針」が公表された。ここでの基準
は①「民間にできることは民間に委ねる」を基本に、行政と民間との役割分担の観点から、市の関与は必要最小限とする、②市の関与が必要な場合
であっても、費用対効果や効率性の観点から、サービス提供の実施主体については民間活力を積極的に導入する、③特定の利用者に限ってサービスを提供するような場合は、負担の公平の観点から、利用者に適正な負担を求める、の以上3点である。
具体的には、まず公的関与の「範囲」が事務事業の性質（例:法定された事務事業か、受益の範囲
が不特定多数で、しかも対価の徴収が困難な事務
事業か等）により判断され、これ以外であれば、公的関与の範囲外として、市の関与の必要性はな
く、事業の廃止又は民営化が検討される。次に、
たとえ前段で「公的関与の必要性」があるとされても、その後の社会情勢の変化や市民ニーズの低下、厳しい財政状況等を考慮すると、関与の妥当性が薄れている場合（例:事業実施時と比較して、実施意義が低下している事務事業、利用者の減少
等により市民ニーズが低下又は市民ニーズに比して供給が過剰となっている事務事業等）には、「公的関与の妥当性」が薄れたものとして、市の関与の必要性も低下していると考えられることから、廃止等を含めた事務事業のあり方を検討するとされている12。名屋市では、この指針に基づき事務事業評価では最初にそれの必要性を判断している。
この指針作成について石原（石原 2004、p.131）
は次のように述べ、「必要性」こそが最初に議論されるべきであるという。すなわち、「いくら職員が一生懸命に取り組んだ事務事業であっても（達成度高）、また、どれほどコスト削減に成功した事務事業であっても（効率性高）、そもそもニーズがなく公共関与の度合いも低く見積もられる

事業仕分けからみた行政評価の課題

表1

逗子市における行政評価と事業仕分けの関係（2005年度）

不要
現状維持

33

民間

8

国

市・要改善

現状維持

計

1

19

1

29

市・要改善

4

1

1

14

計

12

1

2

33

20
1

49

（出所）逗子市のホームページより筆者作成

事務事業（必要性低）や、上位の施策に対して効
果的でない事務事業（有効性低）には、人・もの・金・情報・時間といった行政経営の資源を、分配する」必要はない、つまり「必要性、公共性
は事務事業評価を実施する際の第1次評価基準である。第1次評価基準は、有効性・達成度・効率性・経済性といった第2次評価基準を適用する際の前提条件である」という。ここでは住民ニーズ
こそが事務事業の「必要性」を判断する際の条件であるという。すなわち、住民ニーズを欠いた事
務事業にいくら努力を傾注しても住民満足度の向上に貢献しない様な事務事業は、そもそも「公的関与の妥当性」があるのかというのである。当然であろう。
この後「公的関与の基準」の作成は、近江八幡市や山口市、浦安市、京都府等にも広がり、中にはその基準を「事業仕分け」に利用しようとしているところもある。正に「事業仕分け」に欠けていた｢仕分け基準｣を明確化したともいえる。従って、同じ評価であっても、従来どおりの「効率性」「有効性」を重視する考え方と「事業仕分け」のように「公的関与の妥当性｣等を基準とした「必要性」そのものを重視する考え方では、評価自体にも差が出るのは当然である。
表1は逗子市における「行政評価」と「事業仕分け」の関係を示したものであり 13、横軸は「事業仕分け」の結果、縦軸は「行政評価」の結果である。この表からは「行政評価」で現状維持（29件）と決定されても、「事業仕分け」では3割弱（8件）が不要とされ、逆に「事業仕分け」で「不要」とされた12件が「行政評価」ではそのうちの8件が現状維持とされた。この結果からもわかる
ように、事業そのものの「必要性」を重視する「事業仕分け」では当然に不要等が増えるのに対し、従来型の行政評価では「必要性」よりも「効率性」「有効性」を重視するため、事業の手法等に対する改善等が増えるのである。
（2）事業仕分けと政策論議
上記では「公的関与の妥当性」を考えることが、「事業仕分け」にも、また「行政評価」にも有用であることを述べた。しかし「公的関与の妥当性」
基準だけを決めたとしても、それだけでは不十分である。これを考える前提は、前述した総務省の研究会が述べるように、そもそもその事業が何を目指してきたのかという政策論議が必要である。
実際の「事業仕分け」を眺めると、「事業の対象となっている人々はどの程度存在し、そのうち何人にサービスが届けられているのか」「その課題を解決するためには、どのくらいの期間、どの程度のサービス量を提供する必要があるのか」等
といったニーズ・アセスメントに関する質問をするものは殆どなく、またこのような質問を試みたとしても、決して満足な答えは返ってこない。それは「事業立ち上げの際に、事業の有用性や実行可能性を明確にすることを怠り、関係者間で事業計画を十分に練るというステップを（長尾 2003、
p.62）」踏んでこなかったからであり、また事業自体が評価されることを前提に計画されてこなかったところに原因がある。換言すると、政策目的が曖昧なままでも事業が一端必要と決定されれば、行政には大森（1999、p.3）が指摘するような慣性力14が働き、「何故その事業が必要か」というようなこと等は考えなくても事業は進んでいくのである。そして事業の「目的」が曖昧なまま、事業の「実施主体」の検討に移ることとなるが、最初の「目的」の段階が曖昧なままに第二段階となるため、「仕分け委員」側も「何故そのサービスが必要か」が十分に理解できず、また元々「官

34

佐藤

民」の役割分担の議論すら行政の内外で十分にしてこなかったため、行政の「慣性力」もあり、余程のことがない限り現在提供している「行政」を適当と判断する。従って、議論の中心は「実施手段の検討」ということになる。ここでの議論は「効率性」という点から、現在「行政」が直接提供している手法と間接的に「民間」や「NPO」等
が「指定管理者」として提供する場合とでの「コスト比較」が中心となる。しかし発生主義会計をとっていない現在の「行政」と他の提供主体とを単純に比較することは困難であり、単に「委託」「協働」という手法が安価であるという予測で判断することとなる。実際多くの「事業仕分け」では「必要」「実施主体は現行（行政のまま）」そして実施方法は「改善」となっているのはこのような理由からであると推測できる。
以上現実の「事業仕分け」でも政策論議が欠かせないことを述べたが、そのためには前述したように個人の価値判断に頼る形態から理論重視の形
態に「事業仕分け」がシフトしなければならない。
それは「事業仕分け」実施の際には政策体系に基づいた「プログラム・セオリーマトリックス（以下「PTM」という）」を予め求めることを意味する。
（3）「APTM｣型モデルの提唱
PTMは、政策・施策・事務事業という「隣接するレベル間においてはそれぞれ、原因−結果（手段−目標）の因果関係、すなわちプログラム・セオリー（福室 2003、p.389）」が成立している こ と を 前 提 と し て お り 、「『 最 終 成 果 （ E n d
Outcome）』、『中間成果（Intermediate Outcome）』、『結果（Outputs）』、『活動（Activities）』、『投入（Inputs）』を並列に並べ、同一のマトリックス内
で事業を分析するため（福室 2003、p.389）」に使用されるツールである。PTMの利点は、複数のプロジェクトをマトリックス内に表示させることにより、「個々のプロジェクトの上位目標、プロ
ジェクト目標、成果、活動、投入についてプロジ
ェクト内の差異を比較検討することが可能となり、特定の政策体系の下にプロジェクトの発掘・形成、計画策定、運営管理に有用な情報（三好章

2002、p.21）」が得やすく、また、「政策立案の適否、施策の整合性など多くの分析」も可能になる。
さらに、「プログラム評価の評価可能性についても検討が可能（三好 2002、p.17）」となる。換言すると、政策体系が可視化できるためにその分析が容易になるということである。筆者はさらにこれに「生活課題」の設定と明確化という行為が必要と考える。すなわち住民にとって、その自治体で生活していくためには何が必要か、あるいはその課題を実現するためには何を行う必要があるのかということを行政は常に意識しておく必要があ
るからである。この点を指して筆者は、「アジェ
ンダ・セッティング」のAとニーズ・アセスメン
トのAがこの｢PTM｣に付加されるべきと考える（以下「APTM」という）。実際「政策目標」の元となった「生活課題」を絶えず行政、あるいは「住民」が意識をしなければ、行政には「慣性力」が働く可能性がある以上、既に意味がなくなった事業が延々と続く可能性がある。またこのことにより、行政の組織風土が「生活課題」の実現という成果志向型に変換していく第一歩にもなる。そして「生活課題」を設定する場合には「課題の定義」「課題の範囲」「対象の範囲」「行政介入の必要性」「サービスの特定」等を議論しておくことも必要である。この結果「APTM」を「事業仕分け」の前提として住民や行政がそれぞれ、又は協働で策定しておけば、「生活課題」実現のためには、「どの事業のロジックが強く、どの事業のロジックが弱いか」、「どの事業を廃止すべきか」（後 2005、p.98）等をある程度論理的に判断することが可能となる。表2は「大気汚染、ばいじん、汚臭がなく、空気がきれいである」という生活課
題に対して、「きれいな空気の保全」という政策
を、またそれを実現するための施策の一つとして「企業等適正な施設の維持の継続とより一層の汚
染物質の排出抑制への取り組み」を設定、そしてそれを実現するための事業の一つとして「大気汚染の監視」事業を予算及びそれぞれの段階での指標を設定して上記で示したマトリックスに明示したものである。
このようなマトリックスを作成することにより、数値の変動等を見ながら当該事業が必要とされた生活課題が設定された時の状況と現状との関事業仕分けからみた行政評価の課題

35

表2 APTM型ロジック・モデル図
政策

生活課題

最終成果
（事務事
業の最終
目的が達
成された
状態）
きれいな
空気の保
全

大気汚染、
ばいじん、
汚 臭 がなく、 空 気
がきれいで
ある

施策

指標

中間成果
（対象が
直接受け
る変化）

事務事業／活動・結果

指標

活動（前
項から導
かれる最
終結果）

大気汚染 企業等の 環境基準 ・法令、基準値の 適正な施 適合状況 協定等に
達成率
設の維持
規定する
規制基準
の継続と
の遵守状
より一層
況の把握
の汚染物
・基準不
質の排出
抑制への
適合の施
取り組み
設等に対
増進
する指導

結果（活
動の直接
結果）

指標

規制基準
適合施設
数／指導
により適
合となっ
た施設数

事務事業
名
指標

・企業等
へ立ち入
り調査
・大気汚
染自動測
定装置の
設置
・ばいじん
の排出状
況の把握
・常時監
視

立ち入り
調査件数
／測定器
の設置数

指標

予算
（投入）

大気汚染
の監視

……

……

……

……

……

……

……

……

……

……

……

……

……

……

……

……

……

……

……

……

……

……

……

……

……

……

……

……

……

……

……

（出所）三好皓一「市民参加型二次評価の可能性について」『日本評価学会第4回全国大会報告集』より筆者作成

係、あるいは実施主体やこれらに代わる他の事業等について検討できるのではないかと考える。そしてこうした取り組みこそが名古屋市で実施されている「公的関与の妥当性」を判断する際の実質的な基礎的資料となるものである。

も繋がる。
このような意味から「事業仕分け」の課題を考察することは、行政評価の充実に貢献すると考え
る。
注記

5.

おわりに

1 総務省の定義では「事務･事業がそもそも必要なのかどうか、必要だとして誰が行うべき等について、「事業仕分け」は、2002年からスタートをした。
そして同時期に、名古屋市も前述した指針作成のためのスタートが切られた。共に当時の行政評価が重視した「効率性」「有効性」に対して疑問を投げかけた格好となっている点は興味深い。また、その目指す方向も官民の役割分担を明確にしようとした点で共通する。
「事業仕分け」は、従来の行政評価が軽視してきた「必要性」（「公的関与の妥当性」等）に目を向けさせた意義は大きい。
「事業仕分け」を前述したように理解するとす
れば、「事業仕分け」が取り上げた「公的関与の妥当性」等の基準を、あらためて行政評価に取り入れることは「必要性評価」の充実を図ることに事業ごとに評価していくこと」というが、「事業仕分け」を提唱した構想日本では、これ以外に「外部者の参加」「公開」が加わる。筆者が「構想日本」型のそれを調査したところ全国でこれまでに11県12
市1町（県では、岩手県、宮城県、秋田県、千葉県、新潟県、長野県、岐阜県、三重県、滋賀県、和歌山県、高知県の11県、市では、秋田市、横手市、横浜市、逗子市、新潟市、三浦市、多治見市、熱海市、高島市、栗東市、甲賀市、岡山市の12市、町では安土町の1町である。（平成19年1月末現在））が実施している。
2 ここでいう「行政評価」とは、現在各自治体で実施されている行政活動を対象とする「業績測定型」の評価を主に指す。

36

佐藤

3 三重県では、1999年、2006年に「公的関与の基準」
を改正している。

章る。
12 名古屋市では、この指針により2001年度に対して4 2000年度の報告書では、行政評価導入における悩み2002年度の内部評価の結果を比較すると「事業規として全91問が掲載されているが、その中で指標に模・内容または実施主体の見直し」あるいは「事業関する質問が18問あり、全体の2割近くを占める。

の抜本的見直し、休・廃止の検討」とされたものが因みに政策体系に関する質問は皆無である。なお、約8倍に増加している。

同委員会の会議録によると「事務事業評価は、効率

13 この例は、2005年度に逗子市が事務事業評価をした性・効果性は検討できるが、事務事業の存在そのも対象事業についての評価結果と約半年後に市民を中のの検証はできない」という発言がある。この点か心した仕分け委員が同じ事業を仕分けをした結果をら事務事業の妥当性を検証するのは、施策レベルでと考えていたのではないか。

比較した表である。
14 大森は慣性力を事業の「実施に当たる組織と職員の5 古川（2004、p.105）は、「最初に必要性という概念

持続、便益を受ける住民や団体などの既得権益等」を持ち出し役所内部で疑問なく認めていけば、予算と説明し、これにより「どの程度まで当該の目的をを獲得するための道具になってしまう危険性があ

達成しているのか、同じ目的を他の活動によってはる」と注意を促している。

達成しえないのか、目的自体が社会的な根拠を失っ

6 古川（前掲、p.52）は、「日本の行政風土では、必ていないか、現在程度の費用をかけても活動を維持要だからという主張がなぜか是認されるという傾向

すべきかどうか、といった評価作業はまず行われながある」ので、注意が「必要」という。

い」と述べる。

7 横浜市の中田市長は、外部の評価者たちとディスカッションをするというプロセスが「自分たちのやっ

参考文献ていることを見詰めなおすいい機会」（2005.10.7 横浜市決算第一特別委員会会議録）とその意義を認めている。

朝日新聞（2006.3.4）岡山市

三丁目劇場は必要か−

市民ら評価割れる

8 構想日本富永氏は財務省の「地方財政あり方等に関朝日新聞（2006.8.20）列島2006

する研究会」第3回会合（2006年12月22日）の中で活用」「不要」事業あぶり出し

予算配分『外の目』

も「「事業仕分け」は、アカデミックな分析ではな

熱海市（2006）「第1回熱海市『事業仕分け』作業の実

く、様々な人々が参加し議論するという運動という施結果について」http://www.city.atami.shizuoka.jp/

点により重きを置いている。・・・住民・納税者と2006.9.27アクセス

しての日常感覚、経営者としてのコスト感

石原俊彦（2004）「自治体行政評価における個別評価

覚、・・・各参加者には多様な価値観や切り口で判と総合評価の形式−名古屋市行政評価を参考に−」、断してもらっている」と述べている。

『会計検査研究』、30：129-143

9 実際の「事業仕分け」シートでは、評価者のコメン

後房雄（2005）「ツリー型ロジック・モデル

最終成トを記入する欄が設けてあり、このコメントが検証

果を達成するための事業編成」、『月刊ガバナンス』、するためのヒントにはなる。

56：98-99

10 窪田（2005、pp.19-20）は、①事務事業評価を適切に行う誘因の欠如、②自己評価による客観性の欠如と政策実施結果に対するフォロー不足を、また田中（2005、pp.31-32）も①評価の有効性に対する不信、②運用の難しさ、③過大な作業負担、運用コスト等をあげる。
11 後述するように、2003年に名古屋市で「公的関与のあり方に関する点検指針」が公表されるまで、多くの自治体には、このような基準はなかったと思われ大森彌（1999）「政策評価の今日的課題」、『自治フォ−ラム』、474：2-12
岡山市（2006）「事業仕分（試行）」
http://www.city.okayama.okayama.jp/soumu/gyoukaku/
index.htm 2006.8.26アクセス
神奈川新聞（2005.9.4）横浜市が外部評価
窪田好男（2005）「なぜ日本では政策評価がうまく機能しないのか」、『NIRA政策研究』、18（11）：18-22
構想日本

事業仕分けからみた行政評価の課題

37

http://www.kosonippon.org/project/list.php?m̲category̲

千葉県議会会議録（2005）「平成17年2月議会会議録」

cd=16 2006.9.26アクセス

千葉県議会会議録（2006）「平成18年2月議会会議録」

構想日本編著（2007）「入門行政の事業仕分け」、ぎょうせい
山陽新聞（2006.2.19）市の事業仕分け市民ニーズ反映と評価 運営方方法厳しい注文も自治省行政局行政整備体制室（2000）「地方公共団体に

長尾眞文（2003）「実用重視評価の理論と課題」、『日本評価研究』、3（2）：57-69
長峯純一（2000）「政策評価手法に求められる視点−
自治体事務事業評価を中心に−」、『月刊地方分権』、
10：22-29

行政評価を円滑に導入するための進め方−地方公共名古屋市（2003）「公的関与の点検指針」 http://www.city.

団体における行政評価についての研究会報告書−」

nagoya.jp/shisei/gyouzaisei/nagoya00006982.html

逗子市

2006.5.26アクセス

http://www.city.zushi.kanagawa.jp/syokan/hyoka/index.ht
ml 2006.10.15アクセス
政策評価の手法等に関する研究会(2000)「政策評価の手法等に関する最終報告」、財団法人行政管理研究センター編『政策評価ガイドブック』、ぎょうせい、
26-102
総務省自治行政局行政整備体制室（2001）「行政評価導入上の悩みと解決策−平成12年度地方公共団体における行政評価についての研究会報告−」
総務庁（1999）「政策評価の手法等に関する研究会」（第6回）議事概要 http://www.soumu.go.jp/hyouka/gizi-06.htm 2007.4.26アクセス
田中啓（2005）「米国における自治体経営とベンチ

マーキング」、『NIRA政策研究』、18（7）：31-43
田 中 秀 明 （ 2 0 0 5 ）「 業 績 予 算 と 予 算 の ミ ク ロ 改 革

福室展子（2003）「世田谷区「ごみゼロプラン2000」
中間評価−「市民参加型」二次評価の試みとして−」、『日本評価学会第4回全国大会報告論文集』、388-393
古川俊一・北大路信郷（2004）「新版

公共部門評価の理論と実際」、日本加除出版三好皓一（2002）｢プログラム・セオリ−・マトリックスの活用について−評価における分析の有用性を高めるために−｣、『日本評価研究』、2（1）：11-27
三好皓一（2003）｢市民参加型二次評価の概念と可能性について｣、『日本評価学会第4回全国大会報告論
文集』、382-387
山谷清志（2002）「わが国の政策評価−1996年から2002年までのレビユー−」、『日本評価研究』、2（2）：3-15
横浜市（2004）「平成16年決算委員会会議録」（下）−コントロールとマネジメントの相克−」、『行政管理研究』、112：43-62（2007.8.10受理）

38

佐藤

章

An Issue of Administrative Evaluationfrom the Viewpoint of Project Assortment
Akira Sato
Otsu City Local Government Office
cdk41320@par.odn.ne.jp

Abstract
Assortment of a project is performed extensively nationwide. However, the contents of this are indefinite.
This is due to the fact that there are no clear definitions except that project assortment is performed in order toclassify unnecessary projects. The purpose of this paper is primarily to give project assortment a constantdefinition focusing on the necessity criteria which is one of the evaluation criteria of administrative evaluation, andto clarify the reason why the necessity criteria must be focused on. In this connection, the paper explores theuncertainty of assortment criteria and emphasizes assortment based on the necessity of the project. Furthermore,
the paper attempts to clarify the necessity standard of the public participation and policy discussion based onpolicy structure, and provides some implications for further development of project assortment.

Keywords
Assortment based on necessity of a project,
Evaluation focused on necessity,
Validity of public participation, Program theory matrix

39

日本評価学会春季第4回全国大会
開催報告
1.

春季第4回全国大会プログラム（実績）2.

共通論題セッション報告
共通論題Ⅰ「開発援助のインパクト評価」

座長
討論者

共通論題Ⅱ「参加型評価の枠組みの構築をめざして〜参加型評価の意義と活用可能性を探る〜」
座長
共通論題Ⅲ「民間セクター活動の評価」
座長
共通論題Ⅳ「保健・医療・福祉サービスの評価」
座長
討論者
討論者

和田
太平

義郎（政策研究大学院大学）
哲（慶應義塾大学）

源 由理子（明治大学）
入山
映（前・立教大学大学院）
大島巌（日本社会事業大学）
山谷 清志（同志社大学）
明石 秀親（名古屋大学）

3.

特別セッション報告
特別セッションⅠ Evaluation of Training Programs and Activities
座長
西出 順郎（琉球大学）
討論者 源 由理子（明治大学）
特別セッションⅡ An Idea of Asia Pacific Evaluation Association（APEA）
Learning From the Evolution of the African Evaluation Association座長
湊直信（国際開発高等教育機構）
討論者 長尾 眞文（広島大学）

4.

自由論題セッション報告
自由論題Ⅰ「政策評価」
自由論題Ⅱ「国際協力」

自由論題Ⅲ「環境」
自由論題Ⅳ「評価制度」
自由論題Ⅴ「評価理論・手法」

座長
討論者
座長
討論者
討論者
座長
座長
座長

山谷 清志（同志社大学）
窪田 好男（神戸学院大学）
三輪 徳子（国際協力機構）
三好 皓一（立命館アジア太平洋大学）
林薫（文教大学）
松岡 俊二（早稲田大学大学院）
宮崎 修二（対日貿易投資交流促進協会）
牟田 博光（東京工業大学）

日本評価学会春季第4回全国大会開催のご報告とお礼
2007年6月2日開催（国際協力銀行共催、於：学術総合センター）の日本評価学会春季第4回全国大会には140名を超える多くの方にご出席いただき誠にありがとうございました。会員各位の日頃の研究や実践活動の報告を基に、評価研究者、実務者の間の経験、情報、知識を共有化する場として、皆様にとって有益な機会となりましたら幸甚に存じます。多くの方のご尽力により本大会を開催することができましたこと、心より感謝申し上げます。今後とも当学会の活動にご高配賜りますようどうぞ宜しくお願い申し上げます。
春季第4回全国大会
実行委員会委員長
プログラム委員会委員長

和田 義郎
牟田 博光

41

日本評価学会春季第4回全国大会「評価の国際潮流」（於：学術総合センター）
プログラム実績
2007年6月2日（土）9：30-10：00

午前の部
10：00-11：45

受 付
特別セッションⅠ
Evaluation of Training Programs
and Activities（Nishide, Junro）

共通論題Ⅰ
開発援助のインパクト評価（和田義郎）

お昼休み（理事会 11：45 - 12：15 中会議場2）

11：45-12：30
共通論題Ⅱ

自由論題Ⅰ

午後の部Ⅰ

参加型評価の枠組みの政策評価

12：30-14：15

構築をめざして

午後の部Ⅱ
14：30-16：15（源由理子）（山谷清志）

特別セッションⅡ
An Idea of Asia Pacific Evaluation
Association (APEA) Learning From
the Evolution of the African
Evaluation Association（Minato, Naonobu）

共通論題Ⅲ

自由論題Ⅱ

自由論題Ⅲ

民間セクター活動の評価

国際協力

環境

（入山映）

（三輪徳子）（松岡俊二）

共通論題Ⅳ

自由論題Ⅳ

自由論題Ⅴ

午後の部Ⅲ

保健・医療・

評価制度

評価理論・手法

16：30-18：15

福祉サービスの評価（宮崎修二）（牟田博光）（大島巌）
18：30-20：00

懇親会

自由論題報告の時間は原則として、発表17分、質疑8分、交替1分（計26分）です。
（）は座長です。

42

日本評価学会春季第4回全国大会「評価の国際潮流」プログラム
6月2日（土）午前の部 10：00-11：45
共通論題Ⅰ 開発援助のインパクト評価

座長 和田 義郎 国際協力銀行
討論者 大平哲 慶應義塾大学

開発援助におけるインパクト評価の動向

青柳恵太郎（財）国際開発高等教育機構

円借款事業におけるインパクト評価

小林 信行

国際協力銀行ITTによるATE上下限設定

伊藤 成朗

アジア経済研究所

特別セッションⅠ Evaluation of Training Programs and Activities

Chair Nishide, Junro University of the Ryukyus
St Leger, Pamela The University of Melbourne/

The Role of Evaluation in Planning and Learning from Short Training

Hiroshima University

Programs
Evaluation of Training Programs: The Case of JES Accreditation System

Nagao, Masafumi Hiroshima University

Comment

Minamoto,Yuriko Meiji University

午後の部Ⅰ 12：30-14：15
共通論題Ⅱ 参加型評価の枠組みの構築をめざして〜参加型評価の意義と活用可能性を探る〜

座長 源 由理子 明治大学

コミュニティ･キャパシティ・ディベロプメントと参加型評価

三好 皓一

立命館アジア太平洋大学

質的評価−人々のエンパワーメントを評価する

藤掛 洋子

東京家政学院大学

NGO事業における参加型評価の事例と課題

磯田 厚子

女子栄養大学・JVC

自由論題Ⅰ 政策評価座長 山谷 清志 同志社大学
討論者 窪田 好男 神戸学院大学

統合指標を用いた政策評価に関する研究
PFI事業におけるVFM評価の問題点：病院PFI事業を事例として

地方自治体における政策分析手法−政策評価手法としての地域産

○

小塩 篤史

東京大学大学院／日本医科大学

渡里（社）中国地方総合研究センター

司

山下 興一

広島大学大学院

松岡 俊二

早稲田大学大学院

野崎 道哉

弘前大学大学院

星野 芳昭

経営改革プロデューサー/JMAC構造改革推進セクター

業連関分析の可能性−
評価理論と手法の標準化・・・プロジェクト評価の研究

特別セッションⅡ An Idea of Asia Pacific Evaluation Association (APEA) Learning From the Evolution of the African Evaluation Association
Chair Minato,Naonobu Foundation for Advanced Studies on International
Development
Call for Establishing Asia Pacific Evaluation Association (APEA)

Hirono, Ryokichi Seikei University

Joining Forces to Strengthen Evaluation: The Evolution of the African

Ofir, Zenda M

Hiroshima University

Evaluation Association
Comment

Nagao, Masafumi Hiroshima University

43

午後の部Ⅱ 14：30-16：15
共通論題Ⅲ 民間セクター活動の評価

座長 入山

映 前・立教大学大学院

NPOにおけるインターネットを用いた参加型評価の可能性

松尾 武司

立教大学大学院

企業のCSR報告書に対する評価への考察

竹内 正興（財）国際開発センター「日経プリズム」における企業評価法

鈴木 督久（株）日経リサーチ

自由論題Ⅱ 国際協力

座長 三輪 徳子 国際協力機構
討論者 三好 皓一 立命館アジア太平洋大学
討論者 林
薫 文教大学

ODA評価における戦略的Assessment導入の試み〜外務省ザンビア

田中 弥生（独）大学評価・学位授与機構

牟田 博光

東京工業大学

国別評価への適用事例〜
無償資金協力事業の一次／二次結果の比較分析

○

菊田 怜子

東京工業大学

社会理論からの農村開発における参加型評価への考察

渡辺 淳一（財）国際開発センター

教育協力NGOにおけるプロジェクト評価の課題と展望

渡辺 明美

早稲田大学大学院

自由論題Ⅲ 環境座長 松岡 俊二

早稲田大学大学院

中島 清隆

近畿大学／広島市立大学

気候変動の緩和と適応に関する日本の国際協力の現状評価
CSR活動と地域社会との共存のあり方について：ブルガリアKCM○

S.A.社を事例として

児玉十代子

国際協力銀行原

三菱UFJリサーチ＆コンサルティング（株）

洋一

Ozaki, Takao

The University of Tokyo

and Application to Estimate Intangible Economic Benefits of Environment Project inMoazzam Ali

The University of Tokyo

Romania

Kuroiwa, Chushi

The University of Tokyo【発表キャンセル】Long-Run Marginal Cost Pricing: A Theoretical Framework for○

午後の部Ⅲ 16：30-18：15
共通論題Ⅳ 保健・医療・福祉サービスの評価
座長 大島
巌 日本社会事業大学
討論者 山谷 清志 同志社大学
討論者 明石 秀親 名古屋大学
医療の質の評価

伊藤 弘人

国立精神・神経センター精神保健研究所

効果的なプログラムモデルのフィデリティ評価

福井 里江

東京学芸大学

福祉サービス評価の現状と課題

志水田鶴子

仙台白百合女大学

自由論題Ⅳ 評価制度

座長 宮崎 修二 （財）対日貿易投資交流促進協会

フランスにおける新しい予算制度と業績評価

谷口 敏彦

行政経営アナリスト

地域厚生水準の推計に基づく行政評価制度の実効性検証

伊勢 田伸

伊藤忠メカトロニクス(株)我が国の政策評価制度における評価機能の経済的分析 −自己評価と

小林 優輔

総務省

小久保純一

教育改革実践フォーラム

第三者チェック機能−
戦略的学校評価システム の概要と手引き

自由論題Ⅴ 評価理論・手法

座長 牟田 博光 東京工業大学
佐々木 亮

ウェスタン・ミシガン大学

梅原 貞臣

国際医療福祉大学大学院

高他 武始

国際医療福祉大学大学院

野口 隆志

国際医療福祉大学大学院

梅内 拓生

国際医療福祉大学大学院

大学経営におけるバランスト・スコアカード導入に関する考察

山

同志社大学大学院

恣意性排除型・本音抽出型意識調査の凄み

大島 章嘉

一般化可能性はどのように論じられてきたか？：キャンベル、クロンバック、ステイク、イン、ロッシ、スクリヴェンの認識の比較
適切な医薬品使用に関する考察−地域住民健康ケア−薬局に関するアンケート調査（2）−（薬局薬剤師のタイプ別比較）○

その6月2日（土）懇親会 18：30-20：00

市民満足学会44

共通論題セッション報告

共通論題セッションⅠ「開発援助のインパクト評価」
座長 和田 義郎（政策研究大学院大学）
討論者 大平 哲（慶応義塾大学）
本セッションは以下の3件の発表の後、質疑応答があった。
「開発援助におけるインパクト評価の動向」（青柳恵太郎）では、開発援助における厳格なインパクト評
価のメインストリーム化、とくに単純な事前・事後比較やWith-or-Without比較ではなく、計量経済学者による反事実の構築、実験的手法の適用の方向性などの国際的な潮流が論じられ、そして、これらのインパクト評価をめぐる用語の不統一などの議論の混乱、内的妥当性の向上と外的妥当性に関する議論の欠如、また厳格なインパクト評価の適用困難性が報告された。
「円借款事業におけるインパクト評価」（小林信行）では、日本の開発援助におけるインパクト評価の適用事例として、「ペルー：貧困地域における生活環境改善・生計向上」のインパクト評価結果、および「バングラデシュ：ジャムナ多目的橋建設事業」のインパクト評価結果が紹介され、その上で、インパク
ト評価実施上の課題、とくにベースラインデータの有効性、対照群設定上の困難、報告バイアス、評価結果の解釈の困難性およびインパクト評価の有用性が報告された。
「ITTによるATE上下限設定」（伊藤成朗）では、ランダム化の実施による治療効果の計測の際に実際に行われる参加資格の無作為割当においては治療意図による効果（intention to treat, ITT）が推計されるが、ITTを用いれば平均治療効果（average treatment effect, ATE）の上下限が設定可能である点を利用して、インド農村における小規模保険制度の実験的評価での逆選択、モラル・ハザードの効果計測が可能であることから、小保険制度の持続性の評価可能性が拡大される点が報告された。
これらの発表に対し、討議者（大平哲）より、インパクト評価の理解、データ必要量の多さなどの現実適用性、評価改善点、モラル・ハザードと逆選択の優先性判断、計算可能性といった論点について議論が提起され、その後、会場から、評価目的と評価手法の定義の区分、すなわち選択バイアスの計測がインパクト評価と同値ではないのではないか、インパクト評価の全案件への組み入れに対する疑義、事後情報のみでのインパクト評価の限界、評価結果からの実際の案件監理に対する示唆などについて質疑があった。
高度なインパクト評価の計量的・実験的手法は、これまで選択バイアスなどにより評価不可能であったイ
ンパクト評価の可能性を広げるという意味で肯定的に考えられる一方で、適用可能性やデータ必要量、政策的含意の翻訳の困難性などにより、限界も存在しており、インパクト評価の可能性と限界を十分に検討してゆくことが現実の実務への適用には必要であることを改めて感じさせられた。

共通論題セッションⅡ「参加型評価の枠組みの構築をめざして〜参加型評価の意義と活用可能性を探る〜」
座長

源 由理子（明治大学）「事業の関係者が評価に参加すること」は「参加型評価」として近年注目されてきている。参加型評価
は評価の質を高めるとされているが、その理論や形態、実施方法は多様であり、参加型評価について共通

45の理解をもつことがなかなか難しい現状がある。本セッションでは、参加型評価とは何か、その意義と限界は何か、評価現場においてはどのように活用可能なのかについて、理論研究と現場での実践報告を踏まえ論じることを主眼としたセッションであった。まず冒頭説明として、フロアーとともに参加型評価に関する基本的な情報共有を目的に参加型評価登場の背景とその特徴に関する報告があり、続いて3名による理論研究、事例研究報告があった。
第1報告者の三好皓一氏（立命館アジア太平洋大学）からは、コミュニティ・キャパシティ・ディベロ
プメントのための参加型評価の可能性について、「評価の過程」を活用する参加型評価の特質を生かした
コミュニティ・キャパシティ（帰属意識、義務感、問題発見・解決能力、リソースの認識と確保）の開発のプロセスに焦点をあて、評価設問の設定をはじめとする評価デザインの重要性が示された。ついで第2報告者の藤掛洋子氏（東京家政学院大学）から、質的側面の評価に関連して、当事者が考えるエンパワー
メントという質的変化の側面を可視化し評価するモデルが紹介された。開発が展開される当該地域の人々による多様な価値尺度を外部者が評価する事例であるが、参加型評価の課題のひとつである質的評価を考える上での視点が具体的に提示された。また、第3報告者の磯田厚子氏（女子栄養大学・日本国際ボラン
ティアセンター）からは、日本のNGOによる参加型評価の事例報告を踏まえ、モニタリングとの関係、当事者の主体性確保、外部評価との関係などの視点から、参加型評価を行う上での課題提起があった。
これらの報告に対して会場からは、参加型評価の実施体制に関し評価デザインを考えていく際の関わり方や、日本のコミュニティ・ディベロプメントにおける活用について質問・意見が出された。ただし時間が限られていたため、フロアーとの十分な意見交換ができなかったことが残念であった。今後、参加型評
価の意義と活用可能性を継続的に探る上で、本セッションがひとつの契機となれば幸いである。

共通論題セッションⅢ「民間セクター活動の評価」
座長

入山 映（前・立教大学大学院）

その成果が市場機能によって評価される営利セクターとは異なり、そうした「場」が存在しない公的セ
クターないし非営利セクターは、なんらかの成果評価の手段を必要とする。そのための理論と手法を開発する、というのがこれまでの「評価」論の暗黙の前提であった。換言すれば、納税者（tax payer）に対する説明責任（accountability）確保が主目的であり、それによってoutputやoutcomeの質の向上を図ろうとするものであったといってよい。ところが、近時この前提を大きく揺るがす客観情勢が出現しつつある。第一には民間セクターと公的セクターの境界領域の曖昧化である。その典型例は最後まで国家権力の聖域であると考えられてきた軍事部門・戦闘行為への民間企業の進出である。いまひとつは、自発的にかどうかは別にして、民間企業が市場機能の域外に活動の場を拡げつつあるという事実だ。所謂CSRはその例である。
こうした社会動向は「評価」界にどのような変化を要求するのだろうか。この問いかけに対して、第一の傾向から、従来は志を同じくする人々の自発的な集まりであればよかった民間非営利セクターが、それでは足りず、より広いステークホルダーたちからその「代表性」、すなわち新たな正統性を問われるのではないか、という設問を行い、松尾武司（立教大学大学院）氏からインターネットによる参加型評価というひとつの回答例を発表していただいた。第二の分野については、企業のCSR活動それ自体ではなく、その活動報告書の評価軸をどこに求めるのか、という興味深い観点から竹内正興（国際開発センター）氏に、
また、財務的な業績評価に加えて、今日言われるところのトリプル・ボトムラインの思想を早くから体現するプロジェクトとして最も注目を集め、かつ成功を収めている企業評価として日経プリズムの概要について鈴木督久（（株）日経リサーチ）から発表していただいた。
三人の発表の後、フロアーからのコメント・質疑応答に移ったが、余りに非・伝統的な内容であったこ46とに加え、座長の問題提示能力が至らなかったこともあって、全く議論が低調であったのは残念であった。
しかし、「評価」がアカデミックな意味において自らの存在意義を主張しうるものとなるためには、単なる効用論を超えて、マーケティングやマネジメントなど諸学との間に異同を闡明にする努力は、ますますその重要性を増してくるのは確実であり、その努力を惜しんではならないと考える。

共通論題セッションⅣ「保健・医療・福祉サービスの評価」
座長 大島 巌（日本社会事業大学）
討論者 山谷 清志（同志社大学）
討論者 明石 秀親（名古屋大学）
この共通論題は、科学的根拠に基づく実践プログラム（EBP）やサービスの質評価など評価に関連した取り組みが活況を呈している保健・医療・福祉領域のサービス評価について、その現状の到達点と課題を検討し、会員間で共有する一ステップになることを目標に行った。
第一報告者の伊藤弘人氏（国立精神・神経センター精神保健研究所）は、医療の質の評価について報告した。医療の質は、医療へのアクセスの改善、コストの適正化に続く現代のテーマとして国際的な関心が高い。現在、医療の質が注目されている国際的な背景を整理した上で、医療の質を評価する枠組みとして、
構造・過程・アウトカムを示し、近年は過程とアウトカムを指標化する活動が注目されていることを明らかにした。さらに、これからの医療の質評価の課題を、過程評価、および過程評価とアウトカム評価が分かりやすく示されたクリニカルインディケーターの開発と多施設での活用の重要性が指摘された。
第二報告者の志水田鶴子氏（仙台白百合女大学）は、福祉サービス評価の現状と課題を報告した。この報告では、福祉サービス評価の歩みを概観し、最近分野を問わず取り組まれている第三者評価事業の現状と課題を明らかにした。第三者評価事業により、分野を問わず、福祉サービス評価の必要性や評価方法は定着しつつある。しかし、評価の視点は各サービス事業所の支援のオリジナリティや質の高さを測る評価基準になりえていない。社会福祉の特性を踏まえ、サービス評価の限界を理解し、活用することの重要性が指摘された。
第三報告者の福井里江氏（東京学芸大学）は、効果的なプログラムモデルのフィデリティ評価（モデル適合度）について報告した。フィデリティ評価は、効果の実証されたプログラムモデルをサービス機関が実施する場合に、それがモデルにどの程度忠実に行われているかを評価するものである。報告ではまず、保健・医療・福祉領域におけるフィデリティ評価の概要が提示され、代表的な評価尺度としてアメリカで開発された包括型地域生活支援プログラムのフィデリティ評価尺度が紹介された。さらに、日本のサービ
ス評価研究におけるフィデリティ評価の実例を紹介し、フィデリティ評価の今後の課題が示された。
討議では、これら報告の評価研究課題をこれまでの日本評価学会の取り組みに結びつけ、発展させる視点から、同志社大学の山谷清志会員、および名古屋大学大学院医学系研究科明石秀親会員に指定発言をお願いした。明石氏はこれらのサービス評価の新しい動向について前向きな位置づけを、特にモニタリング
やサービスの質評価との関連でコメントを頂いた。山谷氏からは、「評価」の定義が共通論題の各報告ごとに異なっているのではないかとの本質的な疑問が出された。報告者およびコーディネータとの討論の中で、山谷氏の提示された「評価」定義・分類の枠組みと、共通論題で示された「評価」定義・分類の枠組
みに食い違いがある可能性が示唆され、今後継続的に議論する必要性が示唆された。

47

特別セッション報告

特別セッションⅠ Evaluation of Training Programs and Activities座長
討論者

西出 順郎（琉球大学）
源 由理子（明治大学）

本特別セッションでは、研修事業・活動の効果測定の評価について、報告と問題の整理を行った。司会
による簡単な趣旨説明の後、2名の報告者による報告と問題提起が行われた。続けて、コメンテーターによる2報告に対するコメントの後、会場との質疑応答、意見交換が行われた。
第1報告者のパメラ・サンレジェ氏（メルボルン大学・広島大学）からは、短期研修事業における評価の役割について、短期研修事業から期待できる学びの種類、活動の評価手法、活動の付加価値、幅広い研
修イニシアチブの評価手法という4つの点について報告があった。反応、学び、行動・適用、結果というカークパトリックの評価研修のモデルの紹介の後、個人の学びから組織学習に重点が移ってきたこと、評価研修には、より包括的なアプローチが重要であるが、理解不足や一貫性のなさといった課題が提示された。短期研修は、より幅広い組織の戦略計画の中で位置づけられるべきで、評価研修開発のすべての段階で統合される必要があることが提起された。
第2報告者の長尾眞文氏（広島大学）からは、研修事業の評価：日本評価学会の評価研修プログラム認証制度について報告があった。組織における研修の重要性が増している中で、研修事業の評価に対する需要も拡大している、また、個人の自己研修の重要性も高まっている中で評価結果に対する認証に対する需要が増加したという背景から研修事業の評価に注目する意義があるということ、研修事業における評価の枠組みの紹介の後、日本評価学会の評価研修プログラム認証制度および広島県教育委員会の4日間の学校評価研修コースという2つの事例の紹介があった。最後に、定期的な研修コースと単発の研修の評価の範囲の違い、インパクト評価をより明示的に研修切開に取り入れる方法、民間セクターと公共セクターにおける研修評価の違い等の問題提起がなされた。
コメンテーターの源由理子氏（明治大学）からは、評価主体や評価目的の視点から、短期研修制度、認証制度、学校評価事業の自己評価という3つの評価手法の分類や各々に対する含意が述べられた。短期研修事業を組織学習に結びつけるためには、組織が評価からの学びや評価結果の活用に関心を持っていることが前提条件となり、組織学習戦略の一部として位置づけられること、認証評価研修事業については、評価の目的や、認証制度の評価枠組みにおける定期的な評価や、評価の質を含めた認証団体の信頼性は別の問題であること、などが指摘された。
これらの報告に対して、会場からは多岐にわたる質問や意見が出され、活発な議論が行われた。

特別セッションⅡ An Idea of Asia Pacific Evaluation Association (APEA) Learning
From the Evolution of the African Evaluation Association
座長 湊 直信（国際開発高等教育機構）
討論者 長尾 眞文（広島大学）
国際交流委員会主催の本セッションでは、アジア太平洋評価学会構想（Asia Pacific Evaluation

48

Association（APEA））に関して、アフリカ評価学会の経験と学習からのフィードバックを主題に、APEA
構想の内容、アフリカ評価学会（AfrEA）の紹介と経験に関する発表、コメントを踏まえて質疑応答を行った。
第1発表者は廣野良吉教授（成蹊大学）が予定されていたが、健康上の理由で欠席されたため、座長の湊が事前に提出されていた廣野先生のペーパーを紹介した。
第2発表者のDr. Zenda Ofir（広島大学）は Joining Forces to Strengthen Evaluation: Lessons from theevolution of the African Evaluation Association をテーマに以下の内容の発表を行った。
1. 国境を越えて学びあえるネットワークの存在は重要である。「評価」は、40年前にアメリカで生まれ、主に欧米諸国で発展した。アフリカにおける評価の歴史は、10年程度で、他の途上国と同様にドナー主体で進められた。途上国の文脈で主体的にローカルな実践を積み重ねていくことが重要。
2. 国際的な経験から学ぶとともに、アフリカの主体的な評価・評価方法を促進するため、評価者コミュ
ニティの必要性が認識され、1999年にAfrEAが設立された。インフォーマルな組織から始まり、国や国際的な20の組織から構成、個々の評価従事者も含む。今年、公的な組織に発展。
3. 利益としては、国内の評価のネットワークへのサポート、情報・知識の情報交換、アフリカ評価ガイ
ドラインの設立等である。国際的に評価の実践や方法を議論する場で、対等な立場でアフリカを代表する声を届ける。
4. Organizational assessment modelとして、モチベーション、キャパシティ、外部の環境、パフォーマンスが重要である。
コメンテーターとして長尾眞文教授（広島大学）は以下の点にコメントした。
1. 評価実施に対する外部からの圧力
2. 日本評価学会として直面する課題（1）7年目に入るが、500人の会員を獲得した2003年以降拡大していない（2）日本の評価文化−評価への積極的でない姿勢（3）日本で評価実施を促進する制度的枠組みの欠如（4）評価実施に係るトレーニングの機会の欠如。
（5）年会費に比べて、提供するサービスが不十分であること：日本はまだ地域連合（APEA）について考える段階に至っていないのではないか？
3. APEAへの期待（1）知識・情報の国際的な交換は、それぞれの国の刺激になり、発展につながる（2）日本の実践を外部に紹介する機会が増える（3）国際フォーラム等により、評価手法の構築・発展につながる（4）インフォーマルなネットワークの構築（5）地域連合は、the associations for associationsだけではなく、個々の評価機関にも利益質疑応答では以下の論点から議論がされた。
1. Non Profit Organization（NPO）としてのAfrEA
2. APEA設立に向けての日本の役割
3. AfrEAにおけるCommon Projectの実施について
4. 日本国内の評価学会の発展 vs APEA設立
5. AfrEAからの利益
6. AfrEAの資金

49

自由論題セッション報告

自由論題セッションⅠ「政策評価」
座長 山谷 清志（同志社大学）
討論者 窪田 好男（神戸学院大学）
自由論題セッションⅠでは以下の4人から報告があった。
1. 小塩篤史（東京大学大学院・日本医科大学）「統合指標を用いた政策評価に関する研究」
2. 渡里司（社団法人中国地方総合研究センター）・山下興一（広島大学大学院）・松岡俊二（広島大学大学院）「PFI事業におけるVFM評価の問題点−病院PFI事業を事例として」
3. 野崎道哉（弘前大学大学院地域社会研究科）「地方自治体における政策分析手法−政策評価手法としての地域産業連関分析の可能性−」
4. 星野芳昭（日本能率協会構造改革推進セクター）「評価理論と手法の標準化−プロジェクト評価の研究」
上記4つに共通しているのは、いずれも実践的な評価手法に関する報告だという点である。評価研究が制度導入段階の試行錯誤の経緯をめぐる議論を経て、日本評価学会でも実務で使用する実用性の観点からの報告が増えたのは、かなりの定着を見ているということであろう。しかし他方、評価に対する現場からのさまざまな注文や苦情、それに答える研究者の戸惑いが垣間見られるのも事実である。このセッション
では図らずも、そうした状況から脱出する糸口を示すサジェスチョンを与える機会になった。概略は以下のとおりである。
第1報告は「統合指標」に注目した新しい視点である。総合的な評価をめざした評価手法の選択とそのプロセスを概観し、実際への適用（医療供給システム）の可能性を探り、複数指標の活用手法を提案している。第2報告は1999年の「民間資金等の活用による公共施設等の整備用に関する法律」以来盛んになった官民協働（PPP）にもとづく事業に対する評価方法を検討した報告である。PPPによる業院運営というポリシーをどのように評価するのか、その手だてが理解できる。第3報告は基礎地方自治体の経済状況の診断、経済政策の効き目の判断に産業連関分析を使うことが可能かどうかを検討した報告である。この分
析手法は一般的に知られているが、その活用例の蓄積が無いため方法の有効性に疑義はある。ただ、それにしても、地域経済政策の評価分析には不可欠なツールであり、その洗練が望まれる。第4報告は日本評
価学会副会長であった故古川俊一教授が設立した評価手法標準化分科会の中心メンバーの星野氏の報告であり、内容は故古川教授や星野氏が議論していた骨格部分である。すなわち、政策形成過程における活動の評価としての認識、目的を対象・意図・結果に分けて定義する、指標設定を行う前に目的の設定明確化を図る、評価は目的妥当性・有効性・効率性・公平性のロジックで行う、有効性評価は成果向上余地を探ることからはじめる、効率性評価は投入コストを事業費と職員所要時間に分けて絶対評価、有効性評価は効率性評価の後に行うなどである。
一見種類が異なるこれらの4報告で明らかにされたのは、政策評価がさまざまな手法からなるものであ
ること、手法の選択には必要な情報を産出できるかどうかという視点が不可欠であることの二つである。
そして、政策評価は当初われわれが想定したものよりはかなり広い分野にそのフィールドが及んでいることを銘記するべきであろう。

50

自由論題セッションⅡ「国際協力」
座長 三輪 徳子（国際協力機構）
討論者 三好 皓一（立命館アジア太平洋大学）
討論者 林薫（文教大学）本セッションでは、以下の4件の発表及び各報告に対する討論・質疑応答が行われた。
第一報告「ODA評価における戦略的Assessment導入の試み〜外務省ザンビア国別評価の適用事例」（田中弥生）では、援助戦略へのフィードバックに向けて、援助協調の中での日本の援助の「立ち位置」を検証するAssessmentアプローチが提唱され、同アプローチによる評価の試行結果（特定分野の援助全体量、アウトカムの推移、日本の対応を確認のうえ、比較優位・劣位と今後の戦略を考察）が報告された。討論
では、全体の中での日本の援助の役割・効果が把握できる利点があるが、援助協調・調和化の意味に鑑みれば、他のアクターとの相互作用や全体のパーフォーマンスへの貢献といった面もより注目すべきではな
いかとの議論があった。
第二報告「無償資金協力事業の一次／二次評価結果の比較分析」（牟田博光、菊田怜子）では、無償資金協力67案件の事後評価（一次評価）及び同二次評価の結果に基づき、全体として二次評価の方が若干厳しい傾向にあること、また、評価点の差は一次評価の質に関係があること（一次評価の質が低いほど二次評価の評点が低くなる度合いが強い）が報告され、一次評価の質の向上の必要性が提言された。続く討論
では、二次評価の役割と限界に関し、一次評価者と二次評価者の情報の非対称性、二次評価の対象（一次評価の質か案件か）、二次評価件数（全数調査と詳細調査の組み合わせ）などについて議論が行われた。
第三報告「社会理論からの農村開発における参加型評価の考察」（渡辺淳一）では、農村開発における、
住民自身の「学び」を通じた持続的なコミュニティ能力開発の重視の流れに触れたうえで、そうしたコミ
ュニティ開発やその中で用いられる参加型評価をメタ理論として支える社会理論は「意味学派」であり、同学派で説明されているアクターの認識主観と関係性から形成される「意味」や「制度形成」を地域（ローカル）で捉えなおすことが上記コミュニティ開発や参加型評価において必要との報告があった。これに対しては、農村開発、参加型評価、理論、方法に関して言及された様々な概念の定義の一層の明確化と整理を望む指摘があった。
第四報告「教育協力NGOにおけるプロジェクト評価の課題と展望」（渡辺明美）では、日本の教育協力
NGO23団体を対象とした評価実施状況調査に基づき、①モニタリングと評価の混同及びモニタリングに比して評価を実施している団体の少なさ、②評価報告書作成意識の希薄さや作成能力の問題、③評価目的としての説明志向重視の傾向と改善志向評価の限られた活用、④プロジェクト・サイクルへの評価組み入れの不十分さーなどの課題が報告され、これらに対する提案が行われた。討論では、活動目的が国際協力か
国際交流かによって異なる文脈での評価が必要であり、対象NGOの使命をふまえて調査・分析を行う必要があるとの指摘ほか、裨益住民自身による評価実施の可能性、裨益住民に対するインパクトの評価の重要性について意見が出された。

自由論題セッションⅢ「環境」
座長

松岡 俊二（早稲田大学大学院）

本セッションは環境協力に関する評価セッションであった。報告予定3本のうち1本が辞退となったため、
本セッションの報告は、中島清隆会員「気候変動の緩和と適応に関する日本の国際協力の現状評価」と児玉十代子・原洋一「CSR活動と地域社会との共存のあり方について：ブルガリアKCM S.A.社を事例として」の2本であった。

51

中島報告は、地球温暖化問題に対する日本の国際協力事業の評価につき、衡平性、効率性、有効性の観点からアプローチした興味深い報告であった。報告は、気候変動枠組み条約（UNFCCC）および京都議定書にかかわる国際交渉過程と約束履行過程を詳細に検討し、緩和と適応支援について検討したものであった。報告では、緩和に関するクリーン開発メカニズム（CDM）と適応に関する環境ODAの事例について分析し、日本の国際協力は問題解決に向けた世界的な多国間協力に悪影響を及ぼしていないとの結論が示された。
児玉・原報告は、ブルガリアの亜鉛・鉛精錬工場であるKCM社への環境円借款事業の評価を、CSR（企業の社会的責任）の視角から試みた興味深いものであった。同事業は1995年から2004年にかけ円借款事業「プロブディブ地域産業公害改善事業」として行われたもので、報告では同事業により大気汚染、水質汚
濁、土壌汚染の改善が進み、特に大気、水質においてはEU基準を達成できるようになったことが示された。また同社・社長の強いイニシアティブの下、地域への環境情報の公開や環境スクールの開催などの多様なCSR事業が展開され、こうしたCSRの取り組みは円借款事業の「正のインパクト」として位置づけられるとの分析結果が示された。報告は、今後のODA評価におけるCSRの重要性を指摘しており、活発な議論が行われた。

自由論題セッションⅣ「評価制度」
座長

宮崎 修二（対日貿易投資交流促進協会）

本セッションにおいては、評価制度に関する4件の発表があり、それぞれ活発な議論が行われた。いずれの発表も評価制度の課題を多様な切り口から明らかにする試みであり、今後の本分野における研究に示唆を与えるものであった。
まず、「フランスにおける予算制度改革と評価」（谷口敏彦）では、2001年から改革が進められてきたフ
ランスの新しい予算制度（LOLF）が紹介された。LOLFでは、予算編成の単位として政策分野ごとの「ミッション」が設けられ、それぞれ設定される指標による業績評価に基づき予算審議が行われる。この業績評価の活用は、予算編成や行政の推進に好ましい影響を与えているとの報告があった。これに対し、新制度の実効性、今後の方向性等についての質疑があった。
次に、「地域厚生水準の推計に基づく行政評価制度の実効性検証」（伊勢田伸）では、 投入資源 と実行成果 の関係を考慮に入れ、地域の有用性を総合的に表す「地域厚生水準」という概念を用い、行政評価制度の実効性を評価する試みが紹介された。地方自治体のクロスセクションデータから選出した変数と各自治体の一般会計費用とを効用関数に投入し、地域厚生水準の推計を行った結果、行政評価制度導入グループと未導入グループの間で、行政評価制度の実効性の差異が確認されたとの報告があった。これに対し、採用されている変数、更にはモデルが想定している原因と結果のパス等の適切さ、自治体のパフォーマンスと行政評価導入の有無との因果関係の当否等について指摘があった。
「我が国の政策評価制度における評価機能の経済的分析」（小林優輔）では、政策評価法導入以来5年が経過し、政策評価制度の客観性、厳格性が重視されるなか、今後重要性を増すと考えられる第三者的な政策評価について、その必要性や機能に関する理論的考察を行ったことが紹介された。政策を評価する者とその評価をチェックする者（第三者）との関係をゲーム理論を応用して分析し、政策評価制度が機能するかどうかを検証している。これに対しては、評価を行う者が考える評価の適切性と彼らが想定するペイオ
フとの関係に価値観の相違が入らないかなど、モデルの有効性等に関する指摘があった。
最後の「 戦略的学校評価システム の概要と手引き」（小久保純一）では、従来の学校評価が学校改善に結びついていない、教員の参画意識が低い等の問題点を挙げ、学校経営に組織マネジメントの仕組みを導入し、学校経営戦略の策定から展開までを統一的なフォーマットで行う「戦略的学校評価システム」の

52

提案があった。これに対しては、学校評価に参加する者の間で共通の問題意識が醸成され、実行されることが重要等の認識が示され、システムの更なる向上に対する関心と期待が表明された。

自由論題セッションⅤ「評価理論・手法」
座長

牟田 博光（東京工業大学）

本セッションは以下の4件の発表の後、質疑応答があった。
「一般化可能性はどのように論じられてきたか？：キャンベル、クロンバック、ステイク、イン、ロッシ、スクリヴェンの認識の比較」（佐々木亮）は、ウエスタンミシガン大学からのスカイプ利用による発表であった。外部妥当性、推定法、自然的一般化、事例研究による論理的一般化、メタ分析、科学哲学的考察等の概念をレビュ−し、日本ではこれら一般化の議論が少なく、自立発展性の評価項目も一般化可能性の観点から検討されるべき旨の報告がなされた。
「適切な医薬品使用に関する考察−地域住民健康ケア−薬局に関するアンケート調査（2）−（薬局薬剤師のタイプ別比較）」（梅原貞臣、高他武治、野口孝志、梅内拓生）では、薬局薬剤師を3タイプに分類して意識と実態を比較検討した結果、どのタイプの薬局薬剤師とも、地域住民健康ケア−薬局の重要性、将来性については高く評価するものの、活動を行っている薬剤師は少ないこと、実現の障害として、時間的な余裕、意識の切り替え、制度の改善が挙げられる等の結果に基づき、今後モデル作りを含めた介入試験の必要性が報告された。
「大学経営におけるバランスト・スコアカード導入に関する考察」（山 その）では、大学を取り巻く環境が大きく変化し、大学の質保証は重要な課題となっているが、現実には大きな問題を抱えており、評価を改善に結びつけPDCAサイクルを展開させるツ−ルとして、日本の大学組織の特徴を踏まえたバランス
ト・スコアカ−ドの活用が有効であること、まずは経営が厳しい中小規模大学に適した活用が課題である
ことが報告された。
「恣意性排除型・本音抽出型意識調査の凄み」（大島章嘉）は、設問と選択肢から恣意性を排除する方法
として、第一回の意識調査において自由回答方式で回答を得、その回答を分類整理して、似たもの同士をあつめて選択肢の形にし、アンケ−トを繰り返し、必要な統計分析等によって必要な調査項目の変更を行って再度調査する、といった手順を踏むことにより、恣意性を排除した本音に迫る質問を行うことができることが報告された。
これらの発表に関して、理論の構成、理論に基づくモデルの構築、モデルに基づく調査の設計、得られたデ−タの解釈それぞれについて、様々な研究課題があることを改めて感じさせられた。

53

企画委員会
企画委員会は、日本評価学会が行う各種の活動を企画、実行することを通して、わが国の評価学の普及と発展に寄与することを目的としている。最近の活動としては以下の活動がある。
1．受託事業
外部の団体より評価に関する受託を行うものである。平成19年度は平成17、18年度に引き続いて国際協力機構より「事業評価の2次評価」について受託している。この受託については会員からの公募に基づき研究チームを編成し、作業を行っている。なお、成果物の質を担保するために、規則に従って評価委員会を組織し、質の確保に努めている。その成果は平成19年度の国際協力機構「事業評価年次報告書2007」の中に収録される事となっている。
国際協力機構はすべての技術プロジェクト案件について終了時評価を行っているが、年間約50件とその数が多いところから、関係者の内部評価として実施している。しかし、評価内容の透明性、客観性を担保するために、作成された評価報告書を外部有識者事業評価委員会で確認する事にしている。確認が形式的にならないようにするため、外部有識者事業評価委員会の下に作業委員会を設け、計量的な分析を加味して、公正な2次評価を行っている。
平成16年度には日本評価学会はこの作業委員会の委員の推薦を求められ、4名を推薦した。この平成16
年度の実績が認められ、平成17年度からはさらに、作業委員会の仕事の大半を学会が受託することになった経緯がある。この受託事業の成果が高く評価されて、定常的に受託できる事を願うものである。
このような受託事業は学会としての社会的貢献を具体的な形で示すと共に、会員に評価作業を経験してもらう場を提供することにもなる。さらに学会に対しては財政的な貢献もできるなど利点が大きい。企画
委員会としてはこのような受託事業を積極的に拡大していきたいと考えており、他の事業の受託についても検討中である。
2．顕彰事業
日本評価学会では年一回、学会賞の選定という形で会員の顕彰を行うことにしている。学会賞の受賞者
は企画委員会の下に設けられている学会賞審査委員会によって推薦し、理事会で決定される。学会賞としては、本学会誌に掲載された原著論文等が評価学研究に大きく貢献したと認められる者に授与される「日本評価学会論文賞」、評価学研究の進歩に寄与する優れた研究をなし、将来の発展を期待される者に授与する「日本評価学会奨励賞」、評価学の発展に顕著な功績があった者に授与される「日本評価学会功績賞」の3つの賞がある。平成19年度は10月初旬まで受賞者の推薦を受け付けている。詳細は学会ホ−ムページに記載してある。多くの自薦、他薦を期待している。受賞者は所定の手続きを経て決定され、11月10、11日に名古屋大学で開催予定の第8回全国大会の際に表彰される。
企画委員会委員長

牟田

博光

54

研修委員会
活動方針
研修委員会では、「評価の普及および評価に関する人材育成に寄与すること」を目的として、各種セミナーの開催、研修プログラムの開発、教材の作成、講師の派遣、その他人材育成に関わる活動の実施支援を行うことを基本方針としている。
活動状況
1．「評価インターン出前サービス」の企画・実施開始「評価インターン出前サービス」は、学会の学生会員（大学院生）に対して「実際に評価を経験する」
機会を提供すべく、「評価を外部に委託したい」と考えている地方自治体やNGO・NPO、学校等で実際に評価を体験させていただく事業である。今年度は、9月より各インターンによる実質的な調査がスタートした。なお、インターンによる調査結果は11月の全国大会（名古屋大学）の場で発表が行われる予定である。
今年度のインターン受入れ先及びインターン学生会員等は以下のとおりである。
インターン
インターン受入れ先（1）JICAシリア国リプロダクティブヘルス強化プロジェクト
松本知子（早稲田大学）、村田維沙（東京工業大学）（2）社団法人倉敷青年会議所
高田岳志（立教大学）橋本裕人（早稲田大学）
2．学生向け評価研修の実施
学生向けに評価理論の基礎、評価倫理、事業・組織評価ならびに学校評価の基礎を内容とした評価研修を以下のとおり実施した。本研修は上記評価インターン制度の事前研修としての位置づけもあり、インターン希望者の参加を義務付けたものである。
（1）日時：2007年6月3日（日）9：30〜17：00（2）場
所：東京工業大学（3）参加人数：20名（4）講
師：牟田博光（東京工業大学）、高千穂安長（玉川大学）、源由理子（明治大学）、西出順郎（琉球大学）

研修委員会委員長

西出

順郎

55

広報委員会
1．活動方針広報委員会は、その目的である、「評価の意義を広く普及し、学会活動の強化を支援するために、日本評価学会および学会の行う種々の事業を広報し、学会の情報活動に寄与する」ことを目的とします。評価
学会の活動のみならず広く評価に関わる情報も会員の皆さんと共有すべくあらゆる機会を捉えてその実現を目指します。
2．活動状況
（1）「学会活動の強化と学会の健全な運営を目指して会員獲得に努めます」
会員獲得のための学会説明などのツールについては、ホームページを第一に考えていますが、国、自治体、企業などの説明ツールとしては、マス・メディアを使ったパブリシティを利用する方向で検討を進めていきます。
（2）「広報の手段は主として学会ホームページを活用します。従って、学会からのおしらせはホームペー
ジに随時掲載します」
より読みやすく、タイムリーに情報をお伝えすべくホームページリニューアルについては引き続き検討
していきます。
3. 今後の方針
広報委員会は、新委員に杉下会員を加え、5名体制となりました。委員会を開催し、進捗状況管理、新企画の検討などを行い広報面での有効性、効率性を高めて行く所存です。
広報委員会委員長

高千穂

安長

56

国際交流委員会
活動状況
国際交流委員会では、以下のような活動を実施した。
（1）春季第4回全国大会での特別セッション「アフリカ評価学会から学ぶAPEA構想」の実施（2007年6月2日）
座長（湊直信）、原稿発表（廣野良吉）、発表（Ofir, Zenda）、コメント（長尾眞文）
アジア太平洋評価学会（APEA）構想と、アフリカ評価学会の発展から学ぶことに関して発表と議論が行われた。
（2）日本ハビタット協会理事会・総会における「カンボジアにおける国連人間の安全保障基金支援活動の評価」（2007年7月2日）霞山会館
報告（廣野良吉）（3）国際開発学会大学院生部会（2007年7月7日）東京大学農学部
日本評価学会活動報告とアジア太平洋評価協会設立構想の発表（廣野良吉）（4）「開発途上国における評価の役割」FASID主催（2007年7月10日）国連大学
モデレーター（廣野良吉）、発表（牟田博光）、コメンテーター（湊直信）
米国の評価研究者、南アフリカとスリランカの評価専門家、外務省、JICA、JBICの評価関係者を交えて発表と議論が行われた。
（5）「ODA評価セミナー」（2007年7月11日）FASID
モデレーター（佐々木亮、湊直信）、発表（Michel Scriven, Paul Clements, V.Sivagnanasothy）（6）JICA「ネパール国モニタリング評価システム強化計画」本邦研修員の学会訪問受入（2007年8月15日）
ハートンホテル東品川「日本における評価活動と日本評価学会の役割」の報告と意見交換（廣野良吉、湊直信、佐々木亮）
国際交流委員会打ち合わせ（1）2007年3月2日、FASIDにてアジア太平洋評価協会設立に関する国際交流委員会打ち合わせ（廣野、湊、
外務省評価班スタッフ、他数名）（2）2007年4月16日、FASIDにて春季第4回全国大会特別セッションに関する国際交流委員会打ち合わせ（廣野、湊、他数名）（3）2007年6月29日、FASIDにて、7月の国際シンポジウム（国連大学）に関する国際交流委員会打ち合わせ（廣野、湊、他数名）（4）2007年9月、第8回全国大会に関する国際交流委員会打ち合わせ
国際交流委員会委員長

廣野

良吉

57

日本評価学会第8回全国大会のご案内
第8回全国大会
実行委員会委員長
プログラム委員長

松本 哲男
牟田 博光

来たる2007年11月10日（土）〜11日（日）、日本評価学会第8回全国大会が名古屋大学（名古屋市千種区不老町）にて開催されます。
プログラム等詳細につきましては、学会メーリングリストおよびホームページにて随時ご案内いたします。
会員各位におかれましては奮ってご参加くださいますようよろしくお願い申し上げ
ます。

記
1.

日時： 2007年11月10日（土）〜11日（日）2.

場所： 名古屋大学（名古屋市千種区不老町）

以上

58

日本評価学会誌刊行規定
2005.2.15改訂
2002.9.18改訂
2001.9.9改訂（目的および名称）
1. 日本評価学会（以下、「学会」という）は、評価に関する研究および実践的活動の成果を国内外の学界をはじめ評価に関心をもつ個人および機関に広く公表し、評価慣行の向上と普及に資することを目的として、「日本評価研究（仮名）」（英文仮名： The Japanese Journal of Evaluation Studies 、以下、「評価研究」という）を刊行する。
（編集委員会）
2. 「評価研究」の編集は、後で定める「編集方針」にもとづいて編集委員会が行う。
3. 編集委員会は、学会会員20名以内をもって構成し、委員は学会理事会が選任する。編集委員の任期は2年とし、再任を妨げないものとする。
4. 編集委員会は、互選により委員長1名、副委員長2名および常任編集委員若干名を選出する。
5. 編集委員会は、最低年1回編集委員会を開き、編集方針、編集委員会企画、その他について協議する
ものとする。
6. 編集委員会は、その活動等について、随時理事会へ報告し、承認を受けるとともに、毎年1回学会年次大会の場で、過去1年の活動成果と翌年の活動計画に関する報告を行う。
7. 委員長、副委員長および常任編集委員は、常任編集委員会を構成し、常時、編集実務に当たる。
（編集方針）
8. 「評価研究」は、原則として、年2回刊行する。
9. 「評価研究」の体裁は、B5版とし、和文又は英文とする。
10. 「評価研究」に掲載する原稿（以下「論文等」という）の分類は、以下の5カテゴリーからなるもの
とする。
（1）総説
（2）研究論文（3）研究ノート（4）実践・調査報告（5）その他
11. 「評価研究」への投稿有資格者は、学会会員および常任編集委員会が投稿を依頼した者とする。学会会員による連名での投稿および学会会員を主筆者とする非会員との連名での投稿は、これを認める。編集委員による投稿はこれを認める。
12. 投稿原稿を上記分類のどのカテゴリ−として扱うかは、投稿者の申請等をもとに常任編集委員会が、下記の「作業指針」に従って決定する。
（1）「総説」は、評価の理論あるいは慣行について概観する論文とし、その掲載については編集委員会が企画・決定する。
（2）「研究論文」は、評価の理論構築あるいは慣行の理解について重要な学問的貢献となると認められる論文とし、その採否については次項に定める査読プロセスを経て常任編集委員会が決定する。
（3）「研究ノート」は、「研究論文」作成過程での理論的あるいは経験的な研究の中間的成果物に相当する論考で、その採否については次項に定める査読プロセスを経て常任編集委員会が決定する。
（4）「実践・調査報告」は、評価事業の実践あるいは評価にかかわる調査の報告で、その採否については次項に定める査読プロセスを経て常任編集委員会が決定する。

59（5）「その他」には、編集委員会が独自に企画する特集に掲載する依頼原稿や学会誌の刊行に関する編集委員会からの学会会員への連絡等が含まれる。
13. 論文等は2名の査読者により査読することとし、その人選は編集委員会が行う。「研究論文」については、査読結果と編集委員会が査読者とは別に指名する担当編集委員1名の参考意見をもとに、編集委員会が掲載に関する決定を行う。「総説」、「研究ノート」、「実践・調査報告」および「その他」の論文については、査読結果にもとづき編集委員会が掲載に関する決定を行う。
14. 編集委員が「評価研究」に投稿した場合には、当該委員はその投稿に係わる常任編集委員会あるいは編集委員会の議事に一切参加しないものとする。
15. 上記いずれのカテゴリーの投稿についても、常任編集委員会による掲載の判断は可・不可の二者択一で行うこととする。但し、場合によっては編集委員会の判断で、小規模の修正による掲載も認める。「研究論文」としての掲載が適当でないと判断された場合でも、投稿者が希望すれば、常任編集委員会は「研究ノート」あるいは「実践・調査報告」としての掲載を決定できる。
（投稿要領の作成公表）
16. 編集委員会は、上記の編集方針にもとづき投稿要領を作成し、理事会の承認を得て、広く公表する。
（配布先）
17. 「評価研究」は、学会会員に無償で配布するほか、非会員に有償で提供する。
（抜刷の配付）
18. 「評価研究」掲載論文等の抜刷り30部を、投稿者（原著者）に無料で配布する。それ以上の部数を希望する場合は投稿者（原著者）の自己負担とする。
（インターネット上の公開）
19. 「評価研究」掲載論文等は、投稿者（原著者）の了承を得て全文をインターネット上で公開する。
（著作権）
20. 「評価研究」に掲載された論文等の著作権は各投稿者（原著者）に帰属するものとし、編集権は本学会に帰属するものとする。
（事務局）
21. 「評価研究」編集及び配布の事務は、それに関連する会計も含めて学会事務局が担当する。
（以上）

60

『日本評価研究』投稿規定
2003.4.18改訂
2002.3.25改訂
2001.9.9改訂
１.

『日本評価研究』（The Japanese Journal of Evaluation Studies）は、評価に関する論文、論考、調査報
告等を掲載する。

２.

『日本評価研究』は、会員間の研究成果交流の場を提供し、内外における評価研究の一層の発展に資することを主目的として発行されており、原則として会員による寄稿を掲載する。なお、依頼原
稿を除き、ファーストオーサーは学会員でなければならない。

３.

投稿された原稿は、編集委員会の責任において審査を行ない、採否を決定する。審査にあたっては、
1原稿毎に2名の査読者を選定し、査読結果を参考にする。（査読者には、投稿者名を伏せて査読を依
頼する。）

４.

原稿料は支払わない。

５.

『日本評価研究』に掲載された論文等は、その全文をインターネット上の本学会のホームページに
掲載する。

６.

投稿にあたっては、投稿原稿が、①研究論文、②総説、③研究ノート、④実践・調査報告、⑤その他のうち、どのカテゴリーに入るかを明記する。ただし、カテゴリーについての最終判断は、編集委員会で行なう。「研究論文」は評価の理論構築あるいは慣行の理解について重要な学問的貢献となると認められる論文、「総説」は、評価の理論あるいは慣行について概観する論文、「研究ノート」
は「研究論文」作成過程での理論的あるいは経験的な研究の中間的成果物に相当する論考、「実践・調査報告」は評価事業の実践あるいは評価にかかわる調査の報告、「その他」は編集委員会が独自に企画する特集に掲載する依頼原稿等である。

７.

投稿方法
（1）使用言語は日本語又は英語とする。
（2）著者校正は原則として第一校までとする。
（3）英文原稿については、ネイティブスピーカーによる英文チェックを済ませ、完全な英文にして投稿すること。
（4）ハードコピー4部（A4版）を提出する。その際、連絡先（住所、Tel、Fax、Email）と原稿の種類を明記すること。掲載可と判断された原稿については、必要なリライトを経た後に、最終原稿のハードコピー2部とDOS/Vフォーマットのフロッピーを用いたTEXTファイルを提出する。
その際、オリジナル図表を添付すること。
（5）刷り上がりは最大14ページとする。これを超える場合は、その経費は著者負担とする。
（6）日本語原稿の最大文字数は以下のとおり。①研究論文20,000字、②総説15,000字、③研究ノート
15,000字、④実践・調査報告20,000字、⑤その他適宜。それぞれ和文要旨を400字程度、英文要旨を150words程度、及び和文・英文でキーワード（5つ以内）を別に添付する。印刷は1ページ、

61

20字×43行×2段（1,720字）とする。20,000字の原稿の場合、単純計算では英文要旨1ページを加えて合計13ページとなるが、図表の量によっては、それ以上のページ数となり得るので、注意すること。
（7）英文ではA4版用紙に左右マージン30mmをとり、10ポイントフォントを使用し、1ページ43行のレイアウトとする（1ページ約500words）。論文冒頭に150words程度のAbstractをつける。14ペー
ジでは、7,000words相当になるが、タイトルヘッド等を考慮して、最大語数を約6,000words（図表、注、文献込み）とする。図表の量によっては、ページ数が予想以上に増える場合もあり得るので、注意すること。
８．送付先〒140-0002 東京都品川区東品川4−12−6 日立ソフトタワーB 22F
財団法人 国際開発センター内 日本評価学会事務局
TEL: 03-6718-5931
FAX: 03-6718-1651
E-mail: jes̲info@idcj.or.jp

62『日本評価研究』執筆要領
2002.9.18改訂
2002.3.25改訂
１.

本文、図表、注記、参考文献等（1）論文等の記載は次の順序とする。
日本語原稿の場合
第1ページ：表題、著者名、所属先、E-mail、和文要約（400字程度）、和文キーワード（5つ以内）
第2ページ以下：本文、謝辞あるいは付記、注記、参考文献最終ページ：英文表題、英文著者名、英文所属先、E-mail、英文要約（150words程度）、英文キー
ワード（5つ以内）
英文原稿の場合
第1ページ：Title; the author’s name; Affiliation; E-mail address; Abstract (150 words) ; Keywords (5words)
第2ページ以下：The main text; acknowledgement; notes; references（2）本文の区分は以下のようにする。
例１（日本語）
１．
（1）
①
（2）
（3）
例２（英文）
1.
1.1
1.1.1
1.1.2
（3）図表については、出所を明確にする。図表は原則として、筆者提出のものをそのまま写真製版するので、原図を明確に作成すること。写真は図として扱う。
例１：日本語原稿の場合
図１ ○○州における生徒数の推移

（注）
（出所）

63

表１ ○○州における事故件数

（注）
（出所）
例２：英文原稿の場合
Figure １ Number of Students in the State of ○○Note:
Source:Table １ Number of Accidents in the State of ○○Note:
Source:（4）本文における文献引用は、「･…である（阿部1995、p.36）。」あるいは「･…である（阿部1995）。」のようにする。英文では、(Abe 1995, p.36) あるいは(Abe 1995)とする。

64

1

1

（5）本文における注記の付け方は、（･…である 。）とする。英文の場合は、（…. ）とする。
（6）注記、参考文献は論文末に一括掲載する。
注記
1 ………。
2 ………。
（7）参考文献は、日本語文献は著者の五十音順、外国語文献は著者のアルファベット順に記し、年代順に記載。参考文献の書き方については以下のようにする。
日本語単行本：著者（発行年）『書名』、発行所（例）日本太郎（1999）『これからの評価手法』、日本出版社
日本語雑誌論文：著者（発行年）「題名」、『雑誌名』、巻（号）：頁−頁（例）日本太郎（1999）「評価手法の改善に向けて」、『日本評価研究』、1（2）：3-4
日本語単行本中の論文：著者（発行年）「題名」、編者『書名』、発行所、頁−頁（例）日本太郎（2002）「行政評価」、日本花子『評価入門』、日本出版社、16-28
複数の著者による日本語文献：著者・著者（発行年）『書名』、発行所（例）日本太郎・日本花子（2002）『政策評価』、日本出版社
英文単行本：著者 （発行年）. 書名. 発行地：発行所.
（例）Rossi, P. H. (1999). Evaluation: A Systematic Approach 6th edition. Beverly Hills, Calif:
Sage Publications.
英語雑誌論文：著者（発行年）. 題名. 雑誌名, 巻（号）, 頁−頁.
（例）Rossi, P. H. (1999). Measuring social judgements. American Journal of Evaluation, 15(2),35-57.
英語単行本中の論文：著者（発行年）. 題名. In 編者 (Eds.), 書名. 発行地：発行所, 頁−頁.
（例）DeMaio, T. J., and Rothgeb, J. M. (1996). Cognitive interviewing techniques: In the lab andin the field. In N. Schwarz & S. Sudman (Eds.), Answering questions: Methodology for
determining cognitive and communicative processes in survey research. San Francisco, Calif:
Jossey-Bass, 177-196.
2名の著者による英語文献：姓, 名, and 姓, 名（発行年）. 書名. 発行地：発行所.
（例）Peters, T., and Waterman, R.（1982). In Search of Excellence: Lessons from America’s
Best Run Companies. New York: Harper & Row.
3名以上の著者による英語文献：姓, 名, 姓, 名, and 姓, 名（発行年）. 書名. 発行地：発行所.
（例）Morley, E., Bryant, S. P., and Hatry, H. P. (2000). Comparative Performance Measurement.
Washington: Urban Institute.
（注１） 同一著者名、同一発行年が複数ある場合は、（1999a）、(1999b) のようにa,b,cを付加して区別する。
（注２） 2行にわたる場合は2行目移以降を全角1文字（英数3文字）おとしで記述する。

65『日本評価研究』査読要領
日本評価学会『日本評価研究』編集委員会
2005年9月10日決定

1.

本査読要領の趣旨
本査読要領は、『日本評価研究』における掲載論文等の審査の要である査読手続きについて、投稿する会員及び査読を依頼される会員に対して解説を行い、審査手続きを効率的かつ効果的に行うことを目的として、定めるものです。

2.

査読の目的と投稿者の責任
査読は、投稿原稿が『日本評価研究』に掲載される論文等としてふさわしいものであるか否かについての判定を当編集委員会が行う上で必要とされるものです。
査読に伴って見いだされた疑問や不明な事項について、必要な場合は修正意見をつけて、修正を求めることがあります。査読は、その意味で、投稿原稿の改善に資するものでもあります。ただし、修正が求められた場合においても、論文等の内容に関する責任は著者が負うべきものであり、査読者の責に帰するものではありません。
査読者は2名で、編集委員会において学会会員の中から当該分野の専門家を選び依頼されますが、学会会員以外に依頼することもあります。

3.

査読の視点
査読は、以下の5つの視点によりますが、投稿原稿の種類によって、重点が違います。
（1）テーマの重要性・有用度（2）研究の独自性（3）論理の構成（4）実証法・方法論の妥当性（5）評価理論・実践への貢献

・研究論文の査読については、上記の5項目全てに配慮する。
・研究ノートの査読については、上記5項目のうち、特に（1），（2），（3），（4）の諸項目に配慮する。
・実践・調査報告の査読については、上記5項目のうち、特に（1），（3），（5）の諸項目に配慮する。
・総説の査読については、上記5項目のうち、特に（3）と（5）の諸項目に配慮する。
4.

投稿に当たっての留意点
2. に掲げた査読の視点以外に、基本的な論文の完成度の問題があります。例えば、● 論文等として体裁が整っているか、● 執筆要領にしたがっているか、● 簡潔明瞭に記述されているか、● 実証的なデータは適切に位置づけられているか、● 注や参考文献は本文と対応しているか、● 専門用語の使用は適切か、● 語句や文法的な誤りがないか、● 誤字脱字はないか、● 句読点に誤りはないか、● 英文要約などの英文表現は適切か、（必ずしも和文要約の直訳である必要はなく、英文としてまとまっていること）● 字数は規程に従っているか、

66など、内容及び形式に関する留意点があります。
大学院生及び実務家の投稿において、論文としての体裁が整わないまま送付されている例があり、査読そのものに至らないものもあるので、しかるべき指導を受けた後に投稿されるよう強く勧めます。
5.

査読にあたっての判断事例（1）完成度において不十分であるが掲載を考慮できる場合
萌芽的な研究、発展が期待できる論文等は評価論の発展のためにできるだけ評価してください。
● 検証は十分とはいえないが、理論や定式化が学問の発展に有用である。
● 考察は十分とはいえないが、新たな理論の形成・促進に有用である。
● 文献調査は十分とはいえないが、研究の位置づけは明確である。
● 比較研究は十分とはいえないが、適用例としては意義がある。
● 考察は十分とはいえないが、社会的、または、歴史的に重要な事例の評価として意義がある。
● 考察は十分とはいえないが、特定の社会活動の評価として意義がある。
● 論文の構成や表現は適切とはいえないが、内容は評価できるものがある。
● 論理性は十分とはいえないが、実務上の有用性がある。
● 有意義な実践・調査報告である。
（2）掲載を考慮するのが困難と判断される事例● 問題意識や問題の設定が不明確。
● 基本的な用語の概念の理解や分析枠組が不明確または不適切。
● 論拠とするデータ等の信頼性が乏しい。
● 論旨の明確さや論証の適切さがない。
● 論文の構成、表現（用語、引用、図表等）が適切でない（または整合性がとれていない）。

6. 判定
掲載についての判定は以下の4つの類型に分かれ、最終的に常任編集委員会において決定します。ただし、これらの判定は、評価できる項目や問題のある項目の多少によるものではありません。（3）及び（4）にあるように、投稿論文の種類以外であれば、掲載を考慮できるとする場合があります。別の種類となる場合、字数の関係で、大幅に修正を要することがあります。
（1） 掲載可とする。
（2） 小規模の修正による掲載可とする。
（3） 大幅な修正による掲載可とする。
但し、（総説／研究論文／研究ノート／実践・調査報告）として掲載を考慮できる。
（4） 掲載不可とする。
但し、（総説／研究論文／研究ノート／実践・調査報告）として掲載を考慮できる。

67

英文学会誌の刊行について
2007.1.20『日本評価研究』編集委員会
本学会では、学会設立当初以来、学会誌を年2回刊行し、恒常的に学会員の評価に関する研究及び実践
活動の成果を国内外に学会をはじめ評価に関心をもつ個人および機関に広く公表し、評価慣行の向上と普及に努めてきました。しかし、学会誌に掲載した論文等は和文のものが大部分であり、より一層の国内外での評価に関する知識、知見の共有化のためには、英文誌を下記により刊行することとしました。会員皆様の投稿をお待ちいたします。
記
1．現在の学会誌の刊行を、和文誌と英文誌に分け、年度において和文誌2回、英文誌1回、刊行する。
2．刊行時期は、和文誌は、従来どおり、3月および9月、英文誌は、12月を目処に行う。英文誌創刊号の原稿締め切りは、平成19年6月30日とする。
3．学会員の評価に関する研究および実践活動の成果を国内外に広く発表するために、和文誌に掲載された論文等を、英文に翻訳し、英文誌に掲載すること、また、英文誌に掲載された論文等を、和文に翻訳し、和文誌に掲載することを認める。但し、翻訳した論文等は、翻訳言語での体裁等を満たしていることを条件とする。また、翻訳は、執筆者が各自の責任において行うものとし、和文誌または英文誌に掲載された論文等の翻訳であることを掲載誌に明記することとする。
4．投稿および原稿依頼等は、別添の刊行規定等によるものとする。
（1） Publication Policy of the Japanese Journal of Evaluation Studies（2） Information for Contributors (For English papers)（3） Writing Manual of the Japanese Journal of Evaluation Studies (For English papers)（4） Referee-Reading Guideline
以上

68

別添（1）

Publication Policy of the Japanese Journal of Evaluation Studies
Last revised on 15th February 2005
(The Purpose and the Name)
1．The Japan Evaluation Society (hereinafter referred to as evaluation society ) publishes The Japan
Journal of Evaluation Studies (hereinafter referred to as evaluation study ) in order to widely releaseevaluation studies and outputs of practical activities to domestic and international academic societies,
interested individual and institutions, and contribute to the advancement and prevalence of evaluation
practice.
(Editorial Board)
2．The editorial board administrates editing of evaluation study based on the editorial policy stated below.
3．The editorial board is formed with less than 20 members of the evaluation society who are assigned by
the board of directors. Terms of editors are two years but can be extended.
4．The editorial board assigns one editor-in-chief, two vice-editors-in-chief, and a certain number ofstanding editors among the members.
5．The editorial board may hold at least one meeting to discuss the editing policy, plans of editorial board,and others.
6．The editorial board reports activities to the board of directors as needed and receives approval. Also it isrequired to report the progress of the past year and an activity plan for the following year at the annual
conference.
7．The editor-in-chief, the vice-editors-in-chief and the standing editors organize the standing committee andadministrate editing on a regular basis.
(Editorial Policy)
8．The evaluation study, as a principle, is published twice a year.
9．The evaluation study is printed on B5 paper, and either in Japanese or English.
10．Papers published in the evaluation study are categorized as five types;（1）Review（2）Article（3）Study Note（4）Report（5）Others
11．The qualified contributors are members of the evaluation society (hereinafter referred to as members )and persons whose contribution is requested by the standing editors. Joint submission of members andjoint submission of non-members with a member as the first author are accepted. Submission by theeditors is accepted.
12．Submitted manuscripts are treated as the above categories, however, the standing editors will decide
based on the application of the contributors and the following guidelines;（1） Review is a paper, which provides an overview of evaluation theory or practice. The editorial
board will make the decision regarding publication.
（2） Article is considered as a significant academic contribution to the theoretical development ofevaluation or understanding of evaluation practice. The standing editors committee makes adoption
judgments following the referee-reading process described in the next section.

69（3） Study note is a discussion equivalent to the intermediate outputs of a theoretical or empiricalenquiry. The standing editors committee makes adoption judgments following the referee-reading
process described in the next section.
（4） Report is the study report related to a practical evaluation project or evaluation. The standing
editors committee makes adoption judgments following the referee-reading process described in thenext section.
（5） Others includes requested papers for special editions organized by the editorial board andannouncements from editorial board to members regarding publication.
13．The editorial board selects two referee readers. For the article ，the editorial board makes adoption
judgments referring to the results from referee readings and comments provided by one editor assigned by
the editorial board. For review ， study note ， report and others ，the editorial board makes
adoption judgments referring to the results from referee readings.
14．When editors submit a manuscript, the editors are not allowed to attend any of the standing editorscommittee meetings or editorial board meetings regarding the manuscript.
15．The standing editors have alternative of approval or not-approval for adoption judgment of manuscripts
submitted to any categories. However exception is permitted if the editorial board approves the
publication after minor rewrite. Even if the manuscripts are considered insufficient as an article ，standing editors can decide whether the manuscripts are published as a study note or report if theauthors wish to publish.
(Formulation and Release of Submission Procedure)
16．The editorial board formulates the submission procedure based on the editorial policy described above
and release after approval from the board of directors.
(Distribution)
17．The evaluation study is distributed to all members for free and distributed to non-members for a charge.
(Distribution of the Printed Manuscript)
18．30 copies of the respective paper are reprinted and distributed to the authors. The authors must cover any
costs incurred by author,s requests for printing more than 30 copies.
(Release on the Internet)
19．The papers published in the evaluation study are released on the internet with approval from the authors.
(Copyright)
20．Copyright of papers which appear in the evaluation study is attributed to the respective authors. Editorial
right is attributed to the evaluation society.
(Office)21．The office is in charge of administrative works for editing, distribution, and accounting.

70

別添（2）

Information for Contributors(For English papers)
Last revised on 18th April 2003
1． The Japanese Journal of Evaluation Studies is the publication for reviews, articles, study notes, andreports relating to evaluation.
2． The Japanese Journal of Evaluation Studies is primary published to provide opportunities for membersof the Japan Evaluation Society (hereinafter referred to as members ) to exchange findings, and tocontribute to further development of the study of evaluation both domestically and internationally. As aprinciple, this journal publishes the contributions submitted by the members. With the exception ofrequested papers, the first author must be a member.
3．Adoption judgments of the manuscript are made at the discretion of the editorial board. Comments fromtwo referee readers who are appointed for every manuscript are referred to in the screening process (theeditorial board requests referee readers without notifying the author of manuscript).
4．Payment for the manuscript is not provided.
5．Papers published in The Japanese Journal of Evaluation Studies
homepage of this academic society.

are released on the Internet at

6．Regarding submission, manuscripts must be identified as one of the following categories: 1) article, 2)
review, 3) study note, 4) report, and 5) others. However, the final decision of the category is made by theeditorial board.
Article is considered as a significant academic contribution to the theoretical development ofevaluation or understanding of evaluation practice.
Review is a paper which provides an overview of evaluation theory or practice.
Study note is a discussion equivalent to the intermediate outputs of a theoretical or empirical study inthe process of producing an article .
Report is the study report related to a practical evaluation project or evaluation.
Others are manuscripts for special editions requested by the editing committee.
7．Manuscript Submission（1）Manuscripts may be written in either Japanese or English.
（2）Correction by the author is only for the first correction.
（3）English manuscripts should be submitted only after the English has been checked by a native
speaker.
（4）Submit four hard copies (A4 size) of the manuscript. Contact information including mailing address,
telephone number, fax number, and e-mail address, and the category of the manuscript should beclearly stated.
For approved manuscripts, after necessary rewriting, the author needs to submit two hard copies ofthe final paper as well as a text file saved on a DOS/V formatted floppy disk. Original figures, charts,and maps should be provided.
（5）Total printed pages should not exceed 14 pages. Any cost incurred by printing more than 14 pages
must be covered by the author.
（6）The layout for English papers should be 30 mm of margin at left and right side, 10pt for font size, 43
lines on A4 paper (about 500 words per page). An abstract of 150 words should be attached to the71front. 14 pages are equivalent to 7,000 words but the body should not exceed 6,000 words to allow
for the title, header, figure, chart, footnotes, and references. Please note that the number of pages may
be more than expected depending on the number of figures included.
8．Mailing address
Office of Japan Evaluation Society at International Development Center of Japan
Hitachi Soft Tower B 22nd Floor, 4-12-6, Higashi-Shinagawa, Shinagawa, Tokyo,
140-0002, Japan
Phone: +81-3-6718-5931, Facsimile: +81-3-6718-1651
E-mail: jes̲info@idcj.or.jp

72

別添（3）

Writing Manual of the Japanese Journal of Evaluation Studies(For English papers)
Revised on 18th September 2002
1．Text, Charts, Figures, Graphs, Diagrams, Notes, and References(1) The paper should be written in the follow order:First page: Title; the author,s name; Affiliation; E-mail address; Abstract (150 words); Keywords (5 words)
Second page: The main text; acknowledgement; notes; references(2) Section of the text should be as follow:
1.
1.1
1.1.1
1.1.2
(3) Source of the charts, figures, graphs, and diagrams should be clarified. Submitted charts and others will be
photoengraved, therefore it is important that the original chart is clear. Pictures shall be treated as figures.
Figure 1 Number of Students in the State of ○○Note:
Source:Table 1 Number of Accidents in the State of ○○Note:
Source:(4) Citation of literature in the text should be, (Abe 1995, p.36) or (Abe 1995).
(5) Note in the text should be, (------.1 )73(6) Note and references should be written all together in the end.
Note
1 --------.
2 --------.
(7) Reference should list the literature in alphabet order, and arranged in chronological order. Follow theexamples:Book: author (year of publication). Title of the book. Published location: publishing house.
(e.g.) Rossi, P. H. (1999). Evaluation: A Systematic Approach 6th edition. Beverly Hills, Calif: Sage
Publication.
Article from magazine: author (year of publication). Title. Title of the magazine, volume (number), pagepage.
(e.g.) Rossi, P. H. (1999). Measuring social judgments. American Journal of Evaluation, 15(2), 35-37.
Article in Book: author (year of publication). Title. In editor (Eds.), Title of the book. Published location:
publishing house, page-page.
(e.g.) DeMaio, T. J., and Rothgeb, J. M. (1996). Cognitive interviewing techniques: In the lab and in thefield. In N. Schwarz & S. Sudman (Eds.), Answering questions: Methodology for determining cognitiveand communicative processes in survey research. San Fransisco, Calif: Jossey-Bass, 177-196.
Book by two authors: surname, first name, and surname, first name. (year of publication). Title of the book.
Published location: publishing house.
(e.g.) Peters, T., and Waterman, R. (1982). In Search of Excellence: Lessons from America,s Best Run
Companies. New York: Harper & Row.
Book by more than three authors: surname, first name, surname, first name, and surname, first name. (year of
publication). Title of the book. Published location: publishing house.
(e.g.) Morley, E., Bryant, S. P., and Hatry, H. P. (2000). Comparative Performance Measurement.
Washignton: Urban Institute.
(note 1) If some references are from the same author with the same publication year, differentiate by adding
a,b,c as (1999a), (1999b).
(note 2) If the reference is more than a single line, each line from the second should be indented by threespaces.
(e.g.) DeMaio, T. J., and Rothgeb, J. M. (1996). Cognitive interviewing techniques: In the lab and in thefield. In N. Schwarz & S. Sudman (Eds.), Answering questions: Methodology for determining cognitiveand communicative processes in survey research. San Fransisco, Calif: Jossey-Bass, 177-196.

74

別添（4）

Referee-Reading Guideline
The Japanese Journal of Evaluation Studies Editorial Board,
The Japan Evaluation Society
Approved on 10th September 2005
1. Content of the Referee-Reading Guideline
This Referee-Reading Guideline is to provide explanation of the main publication judgment, procedure of thereferee-reading, to the members who submit the manuscript and for the members who are requested to conductreferee-reading in order to carry out the procedure efficiently and effectively.

2. Purpose of Referee-Reading and the Responsibility of the Author
Referee-reading is necessary for the editorial board to make decisions of whether submitted manuscripts areappropriate to publish in the Japanese Journal of Evaluation Studies or not.
If there is doubt or obscurity identified in manuscripts during the referee-reading corrections may be required.
Therefore, referee-reading also contributes to the improvement of the submitted manuscripts. However, although themanuscripts are requested corrections, the author is still solely responsible in regards to the contents and it is not
attributed to the referee-readers.
Referee-readers are two persons who are requested by the editorial board depending on the specialty or the fieldof the submitted manuscript. People who are not members of this academic society also may be requested.

3. Items of Consideration in Referee-Reading
Five points are considered in referee-reading, however, the importance of each may be different depending on
the type of manuscript.
(1) Importance and utility of the theme(2) Originality of the study(3) Structure of the logic(4) Validity of verification and methodology(5) Contribution to evaluation theory and practice-

For the article, all of above five are considered.
For the study note, especially (1), (2), (3), and (4) are considered.
For the report, especially (1), (3), and (5) are considered.
For the review, especially (3) and (5) are considered.

75

4. Attentions in submission of manuscript
Besides above five viewpoints, basic completeness as a paper is also considered, for example;- appearance of the paper is organized- written according to the writing manual- described simply and distinctive- verification data is appropriately used
- notes and references are corresponding with the text
- terminology is appropriately used
- no wording and grammatical mistakes- no errors and omission- no punctuation mistakes- expression in English abstract is appropriate- word count is according to the manual
The above mentioned forms and contents are also considered. There have been cases in which graduate students
and practitioners posted without organizing the manuscripts as a paper. On those occasions, referee-reading was notconducted. Necessary consultation is strongly recommended prior to submission.

5. Judgment Cases in Referee-Reading(1) In the case of the manuscript which is considered acceptable for the publication but is not yet complete:
The referee reader should evaluate carefully whether the paper can contribute to the development of evaluation
theory or evaluation studies.
- Verification is lacking but the theory and formulation are useful for academic development.
- Analysis lacking but useful for formation and promotion of new theory.
- The literature review is not of a high standard but, the overall study is meaningful.
- Comparative study is not up to standard but is meaningful as an example of application.
- Analysis is lacking but it is meaningful as an evaluation of socially and historically important cases.
- Analysis is lacking but it is meaningful as an evaluation of particular social activities.
- Organization and expression are not up to standard as a paper but the contents are worthy to evaluate.
- Logic is not strong enough but useful in practice.
- The paper has significance as a report.
(2) In case of the manuscript which is considered as difficult for publication:- Awareness of the issue or setting of the problem is indecisive.
- Understanding or analytical framework of notion of basic terminology is indecisive or inappropriate.
- There is a lack in credibility of data for the grounds of an argument.
- There is no clear point of an argument or appropriateness of proof.
- Organization of the paper and presentation (terminology, citation, chart, etc) are inappropriate (or notconsistent).

76

6. Judgment
The final decision will be made on publication at the standing editors committee following one of four patterns(listed below). However, these judgments are not based on the number of errors but on the strength of the overall
report. In the case of (3) and (4), there is a possibility to be published as a different type of paper. If it is published asa different type of paper, major rewrite concerning the number of words may be required.
(1) The paper will be published.
(2) The paper will be published with minor rewrite.
(3) The paper will be published with major rewrite, however as a different type of paper (review, article, study
note, or report).
(4) The paper will not be published; however there is the possibility that it will be published as a different typeof paper (review, article, study note, or report).

〜投稿案内〜『日本評価研究』編集委員会
Editorial Board

編集委員長
Editor-in-chief

三好 皓一（立命館アジア太平洋大学）
Koichi MIYOSHI

副委員長
Vice-Editor-in-chief

西野 桂子（ジーエルエム・インスティチュート）
Keiko NISHINO

常任編集委員Standing Editors

牟田 博光（東京工業大学）
Hiromitsu MUTA

日本評価学会では、「日本評価研究」掲載のための投稿原稿を募集しております。1年に2回（3月末／9月末）の投稿締切を設けておりますので、ご興味をお持ちの方は投稿規定・執筆要
領をご参照のうえ、奮ってご投稿ください。
投稿先：特定非営利活動法人日本評価学会 事務局〒140-0002 東京都品川区東品川4-12-6 日立ソフトタワーB 22F
財団法人国際開発センター内
TEL: 03-6718-5931
FAX: 03-6718-1651

山谷 清志（同志社大学）
Kiyoshi YAMAYA
編集委員
Editors

青山 温子（名古屋大学）
Atsuko AOYAMA大沢 真理（東京大学）
Mari OSAWA

岡本 義朗（三菱UFJ リサーチ＆コンサルティング（株））Yoshiaki OKAMOTO
小野 達也（鳥取大学）
Tatsuya ONO

窪田 好男（神戸学院大学）
Yoshio KUBOTA

佐々木 亮（国際開発センター）
Ryo SASAKI

佐藤 眞理子（筑波大学）
Mariko SATO

渋谷 和久（国土交通省九州地方整備局） 鈴木 絲子（神戸女子大学）
Kazuhisa SHIBUYA
Itoko SUZUKI
田中 弥生（大学評価・学位授与機構） 松岡 俊二（広島大学）
Yayoi TANAKA
Shunji MATSUOKA『日本評価研究』第7巻第2号

村松 安子（東京女子大学）
Yasuko MURAMATSU

2007年9月28日
編集・発行

事務局
Office〒140-0002 東京都品川区東品川4-12-6 日立ソフトタワーB 22F
財団法人国際開発センター内
特定非営利活動法人日本評価学会
編集事務担当 薮田 みちる
TEL: 03-6718-5931, FAX: 03-6718-1651
E-mail: jes_ info@idcj.or.jp

特定非営利活動法人〒140-0002

日本評価学会

東京都品川区東品川4-12-6

日立ソフトタワーB 22F
財団法人国際開発センター内
TEL: 03-6718-5931
印

刷

株式会社

FAX: 03-6718-1651

研恒社

C 日本評価学会○
本誌に掲載されたすべての内容は、日本評価学会の許可なく転載・複写はできません。

The Japanese Journal of
Evaluation Studies

ISSN 1346-6151

日
本
評

ISSN 1346-6151

日本評価研究価Vol. 7, No. 2, September 2007

研

ArticlesAnalysis of Qualitative Opinions Stated by Beneficiaries at Evaluation Surveys for ODA
Water Supply Projects in Six Countries
Akio Ito, Kiyoshi Yamada, Victor S. Muhandiki,
Hayato Nakazono, Masanori Matsubara

Research Notes
Evaluation Method Considering the Change of the Reference Point
Tetsuya Hino, Hiromitsu Muta

The Japanese Journal of
Evaluation Studies

The Japanese Journal of Evaluation Studies

CONTENTS

究

Vol.
Vol. 7,
7, No.
No. 2,
2, September
September 2007
2007

研究論文
6カ国におけるODA水供給プロジェクト評価の調査で得られた受益者意見に基づく定性的資料の解析
伊藤 章夫

Necessity of a Project
Akira Sato

Victor S. Muhandiki

松原 正典

日野 哲也

牟田 博光

参照点の変化を考慮した評価測定の研究

事業仕分けからみた行政評価の課題
佐藤 章

日本評価学会春季第4回全国大会開催報告
Report of 4th Spring Conference of the Japan Evaluation Society

September 2007

The Japan Evaluation Society

中園 隼人

研究ノート

Vol. 7, No. 2

A Problem of the Performance Measurement Evaluation Seen from Assortment Based on

山田 淳

日本評価学会
The Japan Evaluation Society