プロフェッショナル統計分析ワークショップ
応用編１：DID、PSM、IVQ＆A
このコースを受講いただいた皆様からの質問の一部とインストラクターからの回答を紹介致します。受講後はお気軽にご質問ください。
（インストラクター：佐々木亮）

頁

質問

ご回答・佐々木のコメント

４「インパクト評価では、どのように counterfactual を作り出Counterfactual（仮想現実）は、単純に、介入を受けなかった場合はどういう状態になすかで、評価デザインや統計学的手法が分類されるが、…」っていたかということですね。介入 X という一つの X の有り無しのみが違いというこ→counterfactual について、「仮想現実（介入がなかったとしとを想定します。実際にはそういう現実は存在しないので、Control Group を特定してたらどうなるか）」というご説明でしたが、もう少し具体的そのグループの状況を仮想現実とみなします。RCT ならほぼ完全な仮想現実を作り出に教えてください。単純に介入の有無だけではなく、何を説せたと言える一歩、そこから離れていくと精度が落ちて行って最終的に事前-事後比較明変数とするのか、ということも関連するのでしょうか。になります。

DID の説明で、「単純な事後の２群のｔ検定よりも、より正実際の論文では、単純な事後の 2 群のｔ検定の結果を書いて、そのあとに念のため確に検定したことになる」とのご説明でしたが、DID をした

DID という事前-事後の差の２群のｔ検定を実施しても結果は同じだった、だからより方がベターなことが分かっていても、実際には出来ない（あ強固に差は有意だと言える、という書き方をしますね。ただし、DID には哲学的な問

101

るいは敢えてやらない）というケースは多々あるのでしょう

題があります。それは、（１）事前の段階の差が統計学的に有意でないなら「差はなか。（PSM,IV にも関わることですが、「どこまで正確にやるい」ということだから、事後の差から引かなくてもいいはずだ、（２）一方、事前のべきか」という塩梅について伺いたいです。）

段階の差が統計学的に有意ならそもそも２群は違う群であり「近似の群を設定するという前提条件を満たすことに失敗している」ということになります。ということで、現在、DID がもてはやされていることには懸念を感じています。DID がマッチング（近似群を作る）の失敗を完全に帳消しにするわけではないということです。

10（上記②に関連して）２群のｔ検定と単回帰分析は同じ結果

DID の原理を単回帰分析に使わないのかというのは新鮮な指摘ですね。今まで受けたが得られるにも関わらず、（DID で）後者を使わないことにことがございませんでした。おそらく、DID の原理を使うなら、それぞれの ID ごとには、理由はありますか。（そもそも前者と後者との大きな違事前-事後の引き算をして得た値をＹに使うということになると思います。書いていていは、検定の結果、回帰式を得られるかどうか、ということ思いましたが、DID の原理を単回帰分析にも使えますね。より正確な結果が得られるでしょうか。）とも言えるでしょう。なお、2 群のｔ検定では得られずに、単回帰分析すると得られるのがＲ２です。説明力がどれくらいか分かるので重要な情報と思います。

10Excel での図の作り方について、お薦めの手順があれば具体これは特に私独自のテクニックはなくて、世の中の標準的なやり方しか持ち合わせて的に教えてください。

おりません。ただし、分かりやすさの観点からデータ名・データ数値・（可能ならさらに％）をまとめて髭で引き出して表すことをお勧め致します。以下が例となります。

1113

表中の「Simple DID」の Simple とは何を意味するのでしょう

Simple とは特につけなくてもいいですね。そのあとの PSM や IV に比べて単純だといか。日本語訳も教えてください。

う意味だと思います。DID だけで結構です。

表中の「平均処置効果（ATT）」とは「エンドライン時の両ATT: Average Treatment effect on the Treated ですね。ATE：Average Treatment群の差」―「ベースライン時の両群の差」のことでしょう

Effect とも言うと理解しております。「介入群の効果の平均値」のことですね。なか。ATT の正式名称も教えてください。

お、経済学などでよく使われますが、評価学や社会学では敢えてこの言葉を使わないのではと思います。

17正規分布の式について。f(z)=0.4＊2.72 の「f」とは何でしょf は formula の略ですね。ただし f(x)とか f(z)と書くとなんかすごいことを書いているうか。

ような印象を与えるので、次回のテキストからｙと書くことにします。

2

37「マッチングしても効果はあった」とのご説明でしたが、そマッチングしてから２群の t 検定を行うと効果が上がるも下がることもあるでしょの効果は下がっても（***→*）、「マッチングをした方が良う。しかし、いち読者としては、マッチングして（つまり属性を揃えた上で）効果がかった（より正確に検定ができたため？）」と言えるのでし下がったなら、その結果は信用できますね。そして、単純な場合とマッチングした場ょうか。

合、どちらでも有意な効果が確認されたということなら二重に信頼できると思います。

41

残差（error）について、「borrow だけでは income を説明でそれは、内生的なものと外生的なものがあります（Indogenous と Exogenous）。「内きない複数の要素が残る」とのご説明でしたが、具体的には生的な要因」は、介入適用を知らされてがぜん「やる気」になる場合（ネズミなら起どのような要素が考えられるでしょうか。

きないが人間は知覚できるのでこれが発生する）があります。「外生的な要因」は、分析者が気づいていない第三要因（季節の変化や経済の変化）の影響ですね。外生的な要因の影響は、RCT なら２群で自動的に同一になっていますが、回帰分析だと分析者が気づかずに取りこぼして影響を受けている場合があります。

ご質問を寄せていただいた皆様、たいへんありがとうございました。この場を借りて御礼申し上げます。今後も随時追加していきたいと存じます。
（インストラクター（佐々木）の IV の追加説明）
IV の手続きとして２回回帰分析を行いますが、その２回目の回帰分析をする時にＸの「予測値」を用いましたね。これを聞いて、経済学以外の社会科学分野の研究者は「え！？ Ｘの実測値があるのだからその実測値を使えばいいではないか。‘予測値’はその名のとおり予測に過ぎないのだから不正確でしょう？」と違和感を感じますね。すると経済学者は「いや、予測値の方が正確なんだ」と言うわけです。それを聞いて経済学以外の社会科学分野の研究者は「何言ってんだ、この人たち！！全く理解できない・・」と思うわけです。するとさらに経済学者が言うわけです。
「いいですか、実測値とは世の中のバイアスにまみれにまみれまくった値なのです。そのバイアスを綺麗にそぎ落とした値が予測値なのです。だから予測値こそ正確な値なのです。」と。つまり人間は合理的な存在であり、合理的な判断をすれば予測値を選択するはずだということです。この発想は、他の分野の人たちには理解できませんね。人間世界はそんなに合理的にできていないと・・（いま特段の合理的理由はないながらもビールを飲みながらこれを読んでいるあなたもきっとそう感じるでしょう）。
つまり、経済学の人たちは「人間は合理的な存在だ」という前提があるのですが、その他の分野の人たちは「人間は合理的な判断だけで動いているのではない」という前提に立っています。評価学も明らかに後者です。経済学者は前者の前提に立って IV を生み出してきましたが、それは他の分野の研究者にとっては思いもつかなかったアイディアだったというわけです。これが、３つの手法の最後に出てくる IV が分かりにくい理由だと理解しております。
ここまでの話を私が一人芝居でもっとビビットにできればよかったのですが、ビデオは私の演技力不足でした。稽古に精進して次の収録でよりいい演技を目指したいと思っております。以上です。

3

（最終更新日）2021/08/22
イラスト：いらすとや（https://www.irasutoya.com/）（サイトに説明のある使用許諾の範囲内で使用させていただきました。
このワークショップの全体構成は以下のようになっています。
• 『プロフェッショナル統計分析ワークショップ』（基礎コース） https://www.idcj.jp/seminar/statistical-analysis-workshop.html
講師：佐々木亮（ウェスタンミシガン大学評価学博士）、高木桂一（スタンフォード大学社会学博士）• 『プロフェッショナル統計分析ワークショップ』（応用コース） https://www.idcj.jp/pickup/grow/statistical-analysis-workshop-advanced.html
インストラクター：佐々木亮（ウェスタンミシガン大学評価学博士）
応用コース１：インパクト評価の最新テクニック（DID, PSM, IV）
応用コース２：構造方程式モデリング（SEM：Structural Equation Modeling）
応用コース３：インパクト評価のためのサンプルサイズの計算応用コース４：メタ分析（システマティック・レビュー）の計算

4