“良い” 学校は成績を上げるのか:
回帰不連続デザインの理論と実践

澤田真行

October, 2021
一橋大学経済研究所

無作為化実験ができないときの自然実験
無作為化実験• (ちゃんとやれば) 結果に疑いが一切ない• 費用的・倫理的・物理的に難しいことが多い
自然実験 (natural experiment)• 実際に起きた “割当” をどうにかして無作為に近いとみなす• 実験ができなくても結果が得られるが、妥当性の検証が必要
David Card, Joshua Angrist, and Guido Imbens“Natural experiments help answer importantquestions for society” (The Nobel prize press release)

1/ 17

因果に見えるなにか
良い高校に進学すれば、大学入試もうまくいく……ようにみえる。

2/ 17

因果に見えるなにか
良い高校に進学すれば、大学入試もうまくいく……ようにみえる、が、そうとは限らない。

2/ 17

因果に見えるなにか
良い高校に進学すれば、大学入試もうまくいく

ようにみえるのは、学生 (の能力) がそもそも違うから？

3/ 17

因果を得るには？

4/ 17“よい” 高校の、将来の成績に対する効果を評価するには、同じ学生の高校入試の合否を比較することが必要。

因果を得るには？

4/ 17“よい” 高校の、将来の成績に対する効果を評価するには、同じ学生の高校入試の合否を比較することが必要。

因果を得るには？

4/ 17“よい” 高校の、将来の成績に対する効果を評価するには、同じ学生の高校入試の合否を比較することが必要。
どうやって？

因果推論の王道：無作為化割当実験
無作為割当を行うことで、同質の学生を比較したい

5/ 17

因果推論の王道：無作為化割当実験

6/ 17

無作為割当を行えば、合格者・不合格者を同質にできる。

因果推論の王道：無作為化割当実験

6/ 17

無作為割当を行えば、合格者・不合格者を同質にできる。

が、このような非倫理的実験はゆるされない。

良い高校に進学すると成績が上がる？
Pop-Eleches and Urquiola (2013) の問い：
良い学校は学力を向上するのか？
それとも単に元々学力の高い学生を選別しているだけ？
Table 1: ルーマニアの義務教育スケジュール

幼稚園
小学校
中学校
高校

(3-) 5 歳
6-10 歳
11-14 歳 : 全国統一試験
15-18 歳 : 統一試験結果で割当統一試験の GPA が合格最低点を• ギリギリ上回る学生 (志望校合格)• ギリギリ下回る学生 (志望校不合格)を比較 ⇒ Regression Discontinuity (RD) の発想。

7/ 17

回帰不連続デザイン (Regression Discontinuity)

8/ 17

アイディアは古い (Thistlethwaite and Campbell, 1960) が、フォーマルな分析は比較的最近 (Hahn et al., 2001).

回帰不連続デザイン (Regression Discontinuity)
RD は当落ラインギリギリにおける “擬似” 無作為割当(参照：Lee, 2008)9/ 17

Pop-Eleches and Urquiola (2013)

Figure 1: 進学先の平均成績

10/ 17

Figure 2: バカロレアの平均点(Pop-Eleches and Urquiola, 2013, Figure 1 より抜粋)• 右側は確かに “良い” 高校のようだ• “良い” 高校だと (ちょっと) 成績が上がる近傍無作為化条件
RD は当落ラインギリギリにおける “擬似” 無作為割当

擬似無作為割当であって、真に無作為とは限らない。

11/ 17

GPA が操作できたらどうなるのか？
GPA を操作して、裏口入学が可能かもしれない！

12/ 17

サンプル欠損による無作為化の失敗
不合格がきっかけで (合格したら残っていたのに)サンプルから消えるかも (バカロレア受験者は約 8 割)。

13/ 17

近傍無作為化の失敗はチェックできる
ふたつの失敗は当落線状の人数比として現れる

失敗を検定したり、操作した学生の割合がわかる(McCrary, 2008,Ishihara and Sawada, 2021)

14/ 17

最悪ケースバウンドのアイディア

15/ 17

裏口入学が可能：ギリギリ合格者の平均は、加重平均(A) 不正をせずにギリギリ合格 (比較可能)(B) 裏口入学でギリギリ合格 (比較不可能)
観測平均 = A| の平均{z } ∗A の割合 + B の平均 ∗ (1 − A の割合)
知りたいA の平均 = (観測平均−B の平均∗(1−A の割合))/A の割合
したがって、(観測平均−最大値 ∗ (1 − A の割合))/A の割合≤A の平均 ≤(観測平均 − 最小値 ∗ (1 − A の割合))/A の割合

最悪ケースバウンドのアイディア

15/ 17

裏口入学が可能：ギリギリ合格者の平均は、加重平均(A) 不正をせずにギリギリ合格 (比較可能)(B) 裏口入学でギリギリ合格 (比較不可能)
観測平均 = A| の平均{z } ∗A の割合 + B の平均 ∗ (1 − A の割合)
知りたいA の平均 = (観測平均−B の平均∗(1−A の割合))/A の割合
したがって、(観測平均−最大値 ∗ (1 − A の割合))/A の割合≤A の平均 ≤(観測平均 − 最小値 ∗ (1 − A の割合))/A の割合

Application to Pop-Eleches and Urquiola (2013) 16/ 17
いい学校に行くとバカロレア試験の成績はどうなる？

P(grade ≥ 25%-tile)
P(grade ≥ median)P(grade ≥ 75%-tile)
P(grade ≥ 25%-tile)
P(grade ≥ median)P(grade ≥ 75%-tile)
非操作の割合(実効) 観測数(1)(2)
RD 推定値
部分識別0.016[0.015,0.028]
0.041[0.036,0.049]
0.020[0.012,0.025]
95% 信頼区間[0.013,0.019] [0.008,0.038][0.037,0.045] [0.003,0.057][0.015,0.025] [0.004,0.031]
0.987
760,796
760,796

上位校に対する合否に限ったサンプルでの分析では頑健な結果。

結論17/ 17

1. 無作為化実験ができれば困らない、が実際には困難。
2. 代わりに自然実験が可能だが、仮定の検証が必要。
3. 回帰不連続デザインの仮定は、制度から「擬似的な無作為割り当て」が生じていること。
(4.) 擬似無作為化は必ずしも成立しないが、当落線上の人数比の不一致で検出できる。
(5.) 不一致の度合いから、部分識別が可能。
制度の非連続性を見つけたら、RD を使ってみましょう！

References
HAHN, J., P. TODD, AND W. VAN DER KLAAUW (2001): “Identification and Estimation ofTreatment Effects with a Regression-Discontinuity Design,” Econometrica, 69,201–209.
ISHIHARA, T. AND M. SAWADA (2021): “Manipulation-Robust Regression Discontinuity
Designs,” arXiv:2009.07551 [econ, stat].
LEE, D. S. (2008): “Randomized Experiments from Non-Random Selection in U.S. House
Elections,” Journal of Econometrics, 142, 675–697.
MCCRARY, J. (2008): “Manipulation of the Running Variable in the Regression
Discontinuity Design: A Density Test,” Journal of Econometrics, 142, 698–714.
POP-ELECHES, C. AND M. URQUIOLA (2013): “Going to a Better School: Effects andBehavioral Responses,” American Economic Review, 103, 1289–1324.
THISTLETHWAITE, D. L. AND D. T. CAMPBELL (1960): “Regression-discontinuity analysis: An
alternative to the ex post facto experiment.” Journal of Educational Psychology, 51,309–317.