参考資料３
評価学博士

一めoSASAKI,Ph.D.

佐々木亮自TheBasicLogico
fEvaluation【評価学の基礎】

多賀出版

第 5章因果司能性（内的妥当性）の特定方法

2司因果関係を特定するための調査デザイン（定量的手法）
因果関係を特定する方法としては、定性的方法と定量的方法がある。定量的方法としては、もっとも簡易な方法と言われる専門的判断および事前・事後比較デザインから、もっとも客観的と言われる実験デザインまで整理されている。以下の表にその要約を掲載した。それぞれのデザインの利点、制約、利用上の留意点に関する詳細に興味のある方は、出典をあたられたい（龍・佐々木（2004）「第 5章インパクト評価』）。

因果関係性の特定のための評価デザインの類型その 1 （定量的手法）
評価デザイン名

信頼性／概念図①専門家判断（ExpertJudgment)
一

特定分野の知識と経験を有する専門家が、自身の経験に基づいて設定した心の中丘イの基準と実際の状況を比べてインパクトを推定する。例：「私の経験を踏まえると、この村では約 2倍の生産性が実現していると思われます。 I
因果関係の特定の方法としてはまったく勧められないが、広く使われている。
②事前・事後比較デザイン（Before‑AfterDesign)
シンプルに、事前、事後の指標値を比較し、差があれば因果関係があったと推定する。簡便なので広く用いられている。ただし、事前・事後の聞に発生した外部要因による影響値をまったく取り除けないので、因果関係の推定の信頼性は低い。

シンプル事前一事後モデルの概念図
成果指標値

250

200

150．ーーーー−ー−−−−−−ー司ーー− −｜インパク卜100． ーーーーーーーーーーーーーーーーー ー(Bero問｝

50。
1fA向子Ar)プ的 ラ幼実施
510 15 E日

25 3035 4045 50

5560 6570（期／年／月）

出所）筆者作成

r61因果関係性の特定のための評価デザインの類型その 1 （定量的手法）

l
信頼性／ 概念図

評価デザイン名
nterrup
凶 T加 かSeries)③時系列デザイン（J

施策介入前の長期的トレンドを導き出し、施策介入後にトレンドが変わっていれ｜ば、因果関係の存在を推定する。ただし、長期的トレンド以外の外部要因による影響値を取り除けないので、信頼性はそれほど高くない。

時系列モデルの概念図出所）筆者作成
成果指標値
250

200

150

10050

プログラムの実蕗。
1510152025303540

4550

556070箇（期／年／月）④クロスセクションデザイン（ CrossSection)
地域聞の施策実施度合のばらつきとアウトカムのばらつきの相関関係を推定することにより、因果関係の存在を推定する。ある程度の信頼性を確保できる。

直璽Ei6。
長40

凹凹羽田﹄F12翻瑚阻roy(!
i立黒憶標値｝
缶血込.
.
.t＇~川初心…尚一－ i5釦

初1997l珊

1現存

［年〉

日
X（.
戸芥ニメJ柑鱒唱f)（出所） Rossi,FreemanandLipsey;Evaluation:A砂・stematicApproach6thed;p26Iの表を参照して筆者作成。

62中第 5章因果司能性（内的妥当性）の特定方法（定量的手法（続））評価デザイン名／ 概念図 ／ 解説

信頼 性

⑤一般指標デザイン（GenericControl)
全国平均値、全県平均値などの一般指標値を比較に用いる。外部要因による影響｜やや高値をある程度除去して考えることができるので（なぜなら対象地域が受けた影響とある程度同じ影響を一般指標値も受けているはずだから）、因果関係の存在の特定に関しである程度の信頼性を確保できる。わりと簡単に用いることができる。

一般指標モデルの概念図
成 果 指 標 値2

成果指標値1〈全国．全県）（対象市）

50 00025020015020,000100

10,00050

プログラ幼実施I!

1025刊 日 制

＇ ＂ 珂

日

（期／年／月）⑥マッチング・デザイン（Mat油edCantrol)
可能な限り近似のグループを選定して比較に用いる。外部要因による影響はどちらのグループも同程度に受けると考えられるので、因果関係の存在の特定のためにマッチング・モデルの概念図

成果指標

成果指標
（膏）

包髄i.
:;
:.

＇.
；
：
−
ナ
［四機 L繰；；；
.
…
国側
伽機｛健）

｛低｝

（比較ゲルヲ．）（婁施タJトプ）（比較1ループ）（実施ゲルヲ）

63

一
一一−−.
−−ー（定量的手法（続））評価デザイン名／

概念図／解説信 頼性d⑦実験デザイン（Experiment耳IDesign)
施策の実施前に、政策適用を無作為割付（ランダム・アサインメント）により、実施グループと比較グループに分ける。因果関係の存在の特定に関してたいへん高い信頼性を誇るとされる。ただし実際の適用は非常に難しい。

11I，~例iと〉ブルーつごとにー回コインを控げii.
' ．竃が出たらJ集団AJにアサインするe−裏が出たら 聾週B
Jにアザインする鈴.
r

極めて＋雪白島回目

標成指

県

成果指標高いf簾｝

巳官＂（定量的手法（補足）（参考）数値目標との比較（目標管理アプローチ）

信頼 性

数値目標と比較する。いわゆる業績測定（PerformanceMeasurement）の応用で、議論のあらかじめ設定した数値目標の達成を成功・失敗の判断基準にする。因果関係の特範囲外定とは無縁。

3. 因果関係を特定するための調査デザイン（定性的手法）
すでに述べたとおり、因果関係を特定する方法としては、定性的方法と定量的方法がある。
定性的方法としては、直接観察、情報保持者インタビュー、焦点化集団インタビュー、参与観察、アンケート調査（サンプル、悉皆）、文書分析、行政データ分析がある。また最近の手法として、写真やビデオを利用するとし寸方法もある。それぞれのデザインの利点、制約、利用上の留意点に関する詳細に興味のある方は、出典をあたられたい（ Yin,R.(1994). CaseStudy，など）。
Research:DesignandMethods,2ndedition64

第 5章因果可能性（内的妥当性）の特定方法

因果関係性の特定のための評価デザインの類型その 2 （定性的手法）
irectobservatio叫①直接観察（D

評価者が現場訪問して、自分の目で観察して因｜＜強み＞果関係を判断する。前提条件として、評価者が対｜・現時点での事象を扱うことができる
象分野の知識と経験を有していなければ成立し｜ない方法である。

（二過去のデータが必要なし、）。

｜・関連する状況も同時に観察できる（＝匹E「濯概が米の生産増加を実現している」と｜いう因果関係を自分の目で見て判断する。

予期せぬことを発見できる可能性

｜ 大）
。
＜弱み＞
・時聞がかかる（＝実際に現場まで足をのばさねばならなし、）。
−選択的になる（幅広い事例を含むこと

固上記の例で、酬をしている地域と、して｜はできない）。

いない地域の 2箇所を訪問して自分の目で見て、｜・観察による影響（＝観察されることでその違いから判断する。

｜ 人々の行動が改まったりする可能性がある。）：＼塾講；r~，，J議；イ②情報保持者インタビュー（キー・インフォーマント・インタピュー） (KeyInfonnantInterview)
情報を持っている人（キー・インフォーマント）＜強み＞に評価者がインタビューして因果関係を判断す｜・常駐のモニターの代わりとして情報をる。（情報を持っている人を、状況を継続的に観｜提供してもらうのでコストが安い。

察してきたモニターとみなしてインタビューす｜・洞察に富む。人聞によって認知されたるということ）｜ 因果関係が聞き出せる。

困 「2年前に来た新任の校長先生の取り組みに｜＜弱み＞

よって学校は変ったと思いますか？ Jと、長年勤 1・情報保持者と、事業実施者（＝左の例めている用務員さんに聞く。

｜ だと校長先生）の人間関係が回答に影響を与える可能性
・よく思い出せない為に生じる不正確さ．面接者が聞きたいと思っていることを情報保持者が察して答える可能性（再帰性という）65

（定性的手法（続））③焦点化集団インタビュー（フォーカス・グループ・インタピュー） (FocusGroupInterview)
数名の典型的なユーザーあるいは受益者に集まっ＜強み＞てもらって輪になってもらい、評価者がインタ・常駐のモニターの代わりとしてユービューする。

ザー（受益者）に情報を提供しても困 「①現在の学校の状況はどうでしょうか？

②2らうのでコストが安く済む。

年前に新任の校長先生が来てから学校は変うたと思−答える人がお互いの情報を確認し合いますかっいつつ答えることができる。

③それはなぜですか？」というようにインタビューする。このように、現状、過去との比−洞察に富む一人聞によって認知され較、原因と 3段階で聞くと、聞かれた人も頭の中をた因果関係が聞き出せる。
＜弱み＞

整理しながら答えられる。
（情報保持者インタビューではすでに状況に詳しい人に聞くのでいきなり②だけ聞いていることになる）

・よく知らなかったり思い出せないために生じる不正確さ−典型的と思われたがじつは特殊なユーザー（受益者）が入り込んでインタピ、ューに影響を与える可能性．面接者が聞きたいことをユーザー（受益者）が答える可能性（再帰性という）④参与観察（Participatoryobserv
幻ion)
評価者が地元の行事（イベント）に自ら参加して、自分で体験して因果関係を判断する。

＜強み＞

・対人行動とその動機への洞察が可

困農村の「寄り合い」に参加して、農村の結束能。

力が事業の成功につながっているかどうかを判断す−現時点での事象を扱うことができるる。

（＝過去のデータが必要なし、）。
−関連する状況も同時に観察できる

固鞠地域の農村に一年住み込んで一緒に農作（＝予期せぬことを発見できる可能業をして、濯j銃が稲作の増収につながっているかど性大）。

うかを判断する。

＜弱み＞

・評価者が参加することによる影響（＝観察されることで人々の行動がいつもと違う行動になる可能性あり）。
−時聞がかかる（＝実際に現場まで足をのばして長期間観察せねばならない）。
・選択的になる（幅広い事例を含むことはできない）。
66因果可能性（内的妥当性〕の特定方法
第 5主義

なで一な時力あ用結能心一型型聞にがデしと協が費計可削一佐世時と＼︵用︑面に集る↑
択こよる費用両析︑ぃ選るザきに費の分はてにす一引で施の目の合つが一ヤ山慨糊時わぽ儲明慨︒時仲山一恥ソゆブ献眠帥

Jdjj

λMMe一 拍 抽 とμ一w一 切 例 都
m一 ン ン な ︑．．

ン時収にが一言︑ン同ン岡山肌常﹀﹂一

一γ ど明hEJ−−

査一丘町

ス下 1 1 1 1 1 1 1 1 1 1 1Jt

サ一朋じいわ万コ問u

山口百レ一J なっ対一U加ン万﹄一全︒︒供い調全
dz 刊掛竹町MUIF

一a一 強 直 弱 直 に 同 で刊一一強ゆ吃打出入弱査平︿十るつがAW 和 吋 和UU 的u一q w 物寸和机＜周ん一一w関集かかス卯一
h 一 ︿ 一 一 一 川 ︿ 一M U つ一実
e一 ︿ 市 町 利 子 間 川 ト る 機 ト ミ 低 ア −印一新針山町駅川一か象一州︑がイ弘一︵一叶コ叶パぶ︒耐慨いケか対ケ間率パあ一一引一トート一︒尚一一
畑一瞬
j︒一張ずる置のてンがる

利一店らき佐タくア間するアと因果性一も一イとケノとが通．．

二ア一00

111111111111
精一ト一一分増ア等サ一えを増ア﹇一川一ケを入︑︑ン一答係入︑刊一明一行町一晴時同庁一行開晴時川
畑一 Jv一 で い 円 寄 ふ の イ 一 配 即 吾 わ 抑
制口一伸一し一考ど帯ベ一割
市消一日丘一対ケ参か骨︒一一紙℃参か准閉﹃岬唯一止し寸一︑危 E Lla す皆一卜析が一つ1削一ルアがつ置幡一︶針策が九十叩
洲一イム！
策が力一ンうる政なる調一ケを政な
ヴ一駅らい下一川一
べ寸型一い恥一リヴド和一
いげ一たも断いじ静レ数一千ハ緋いいわい調守一
サ一いや糊いい山口一て釦全一七
正一出えを
j なつ抽上一し一
躍一抽答係て加ょを重一対ケて加ょに一湘一オサ細小閣に和団一周川酌劇弘樹
一一法庁果手の査世一一員ア手の直世ト一方配因供い調MN
け一抗出汁晴蜘什川け一昨

7 一定紙て﹁塾一で一象らす﹇塾一帯ァ一寸間レ
日明わ昨ァ一叫抑制俳｜特が酎⑤一卜析岡 1 U加ン間＠一て判嗣

67

（定性的手法（続））⑦文書分析（ Do叩 mentationAnalysis)
対象機闘が発行している年次報告書、｜＜強み＞

ニュースレター、会報、公開しているホーム｜・安定的ー繰り返し戻って分析が可能
ページなどを分析して、事業と成果の聞に因｜・もともと評価のためにとして作成されたも果関係があるかどうかを判断する。
困｜ のではないので中立的。

ある学校において、過去 10年の年次報｜・名称、参考文献、事象の詳細が正確

告書を時系列的に分析して、教育改革プログ｜・長期間、多くの事象、多くの状況が広範囲
ラムと成果の因果関係を判断する。

！ に収集されている可能性大。
＜弱み＞

・文書の執筆者の個性や編集方針により文書の質がぱらぱらになっている可能性あり

0．紙ベースの場合が多く検索可能性が低い

0

・収集が不完全な場合、分析にバイアスがかかる可能性あり。
−公表されていないデータによるバイアスの可能性あり。
−文書を提供してもらえない可能性あり。
＠行政データ分析（ Do叩 m岨 tationAnal戸お）対象機闘が保存しているサーピス記録、出＜強み＞席者記録、活動記録、アンケート結果などを・文書分析（DocumentationAnalysis）と同一。

分析して、事業と成果の聞に因果関係がある＜弱み＞かどうかを判断する。

・文書分析（ DocumentationAnalysis）と同一0困ある専門学校において、過去 2年の出席・プライパシーへの配慮により、データを提生徒数の記録、個人の学力テスト記録、通信供してもらえない可能性が、文書分析の場簿の一覧などを分析して、経営改革プログラ合よりも大きい。

ムと成果の因果関係を判断する。

68

第5章因果可能性（内的妥当性〕の特定方法（定性的手法（続））hotosandvideos)⑨写真やビデオの利用（ Theuseofp

同ーの場所に関して、施策の事前段階で撮影し＜強み＞ていた写真と、施策の事後段階で撮影した写真を・一人の専門家の判断に頼るのではな見比べて、因果関係を判断する。写真の代わりにく、多くの人たちが同時に見比べてビデオを利用することもある。

判断することが可能。

困 「ゴミのポイ捨てをやめよう」というキャン＜弱み＞

ベーンに関して、事前の道路の状況の写真と事後・人聞を撮影対象とする場合には、プの道路の状況の写真を見比べて、キャンベーンとライパシーへの配慮が必要。撮影さ道路の椅麗さの因果関係を判断する。

れる人に事前に承諾を取る必要があ

（事前）

（事後）

るが、承諾が取れない場合がある。

in,R.(1994).CaseStudyRes
印 rch:DesignandMethods,2ndedit
ion、佐々木（ 2010）立教（出所） Y

大学 2
1世紀社会デザイン研究科での授業の配布資料

4. 実験デザインを巡る論争3(1） 実 験 デ ザ イ ン の 基 本 原 理
内的妥当性を検証するためにもっとも望ましいと考えられている調査デザインは、「実験デザxperimentalDesign）と呼ばれるものである。実験デザインは、たどえば被験者 100人イン」（Eをコインの裏と表で 50人ずつのグループにランダム（無作為）に分けて、片方のグノレーフ。だけndicators）に関する差にある介入行為を適用し、一定期間後に、想定した成果指標（ Outcomeiを測定するというデザインである。ランダム（無作為）に分けているので、二つのグ、ノレーフoの全ての特徴の平均値が現在と将来について一致しているので（健康指標、社会指標、学歴指標、生涯賃金、置かれた社会状況などすべての指標値に関してこれが言える）、二つのグループ ~こ現p

れた成果指標の差は、途中の唯一の違いである介入行為を適用されたか否かによって引き起こ
hroder,1997,p.
xvii) （図表 2。
）されたとみなすことができる（ Greenberg& S

3

本節（4.(1（ー）4））のこれ以降の初出は、行政管理研究センター「評価クオータリー」第 10号（2009年 7月）である。
69