東京財団政策研究所 記者発表会
2023年10月11日

出所: https://doi.org/10.1016/j.jjie.2023.101284

1

資料
• 元論文
• オープンアクセスですので、無料で全文お読みいただけます• https://www.sciencedirect.com/science/article/pii/S088915832
3000394• 一般向け記事• 東洋経済（無料の会員登録で、全文お読みいただけます）• https://toyokeizai.net/articles/-/698497

2

要約• 回帰不連続デザイン（RDD）を用いて留学の因果効果を推定• 留学のための奨学金により、大学生・院生の留学確率・留学期間↑• 英語力・国際的志向性↑• 「トビタテ！留学JAPAN日本代表プログラム」の事務局と協力してデータ収集• 経済学者、応用言語学者、行政の協働• 日本における、証拠に基づく政策立案（EBPM）の事例

3

どうすれば留学の因果効果を測れる？
• 留学に行った学生 v.s. 留学に行かなかった学生？
→ 自己選抜（セレクション）の問題• 留学のための奨学金の合格者 v.s. 不合格者？
• ぎりぎり受かった学生 v.s. ぎりぎり漏れた学生• 審査員と相性がよかった、面接で得意な話題が出た等、ほぼランダムな要素で合否が決まる→ 回帰不連続デザイン（RDD：Regression discontinuity design）• RDDを含む因果推論（原「因」と結「果」）の手法を開発・応用した経済学者3名が、2021年のノーベル経済学賞を受賞

4

5

本研究の意義• 政府や大学は奨学金や留学プログラム導入により留学を促進→ そもそも留学に効果はあるのか？
• Waibel et al.（2017 Educational Research Review）が分析した65本の研究のうち、6本のみが因果推論の手法を用いており、この6本の対象は全てヨーロッパ諸国→ 英語と言語間距離が遠く、文化の相違が大きい非ヨーロッパ圏における研究は限定的
6

日本における関連研究
横田・太田・新見編（2018）『海外留学がキャリアと人生に与えるインパクト：大規模調査による留学の効果測定』• ウェブ調査により、留学した人としていない人の比較• 多角的で多大で、年収にして100万円以上の「インパクト」

Kato and Suzuki (2019 Journal of Studies in International Education),
Kashima and Kato (2020 unpublished)• 某国立大学における、1か月の短期留学プログラム• ランダム化比較試験（705名から300名を抽選）で、因果効果を測定• その後の長期的な留学を後押し→ 本研究では、様々な大学の学生の、より長期の留学を分析する

7

研究対象（論文のTable 1）• 1496名の大学生・院生が応募• 709名が書類審査合格• 709名を対象として、面接審査時に留学前調査を実施• 書類審査と面接審査の加重平均のみで基本的には合否が決定→ 合格点をカットオフ値としたRDD• 451名が最終合格して奨学金受給• 合格者・不合格者を対象として、2.5年後にかけて追跡調査

8データ収集• 留学前調査（2018年1月）：合格者＝93％、不合格者＝96％• アンケート調査を面接審査時に持参、謝礼無し• 第1回追跡調査（2019年10月）：合格者＝58％、不合格者＝43％• ウェブ調査、Amazonギフト券1000円• 第2回追跡調査（2020年6月）：合格者＝47％、不合格者＝38％• ウェブ調査、Amazonギフト券2000円→ 調査回答者と非回答者に、大きな相違はないことを確認（論文のTable 2）9補足：調査の回収率
既存研究もattritionで苦戦している✓ Parey and Waldinger (2010 EJ): 5年後で25%✓ Oosterbeek and Webblink (2011 Economica): 2-4年後で53%✓ Di Pietro (2012 EL, 2015 EFP): 3年後で70%

Attrition regressionの説明力は弱い
調査依頼メールが届いた学生に限ると（全体の90％）、合格者と不合格者の回答率の差は有意ではなくなる

10

データ
英語力試験（追跡調査時のみ）• Versantという試験は全然受けてくれなかった・・・• 4択式の12問で英語の語用力（Pragmatics）測定するテストを開発 → PTと呼ぶ• SFC新入生804名を対象に質問票調査を実施し、直前に受けたTOEFLとPTの相関係数をみると0.59• 応用言語学の学術誌に掲載：Roever et al. (2023 Applied Pragmatics）• https://www.jbe-platform.com/content/journals/10.1075/ap.20015.roe

出所: https://doi.org/10.1016/j.jjie.2023.101284

11

データ
質問票調査（パネル）• 国際的志向性• 外国での出来事や国際問題への関心、身近な異文化へのリアクション等から成る指標で、日本の学生で、この伸びが将来の英語力の伸びにつながったことがわかっている（Yashima 2009）• 外国語コミュニケーション能力の認知• 非認知能力（BIG 5、やりぬく力、自己効力感）• 家計の社会経済的属性（ベースラインのみ）

12

RDDに必要な仮定• 割当変数に操作がない→ OK（論文のFigure 2）• カットオフ値（合格点）近傍の学生は類似している→ OK（論文のTable 4）• 性別、学年• 所得基準• 応募時の英語力（CEFR換算）• 両親の教育水準、文化資本

13補足：割当変数に操作がない

出所: https://doi.org/10.1016/j.jjie.2023.101284

14

補足：カットオフ値の上下で、観察可能な属性に統計的に有意な差はない

出所: https://doi.org/10.1016/j.jjie.2023.101284

15

奨学金の留学確率・月数への効果（左）4週間以上留学（＝1）

出所: https://doi.org/10.1016/j.jjie.2023.101284（右）留学期間（月）16補足：推定方法
１．ITT（intention to treat)• スコアがカットオフ値以上かどうか２．LATE（Fuzzy RDD）
• スコアがカットオフ値以上かどうかを、留学したかどうかの操作変数（IV）とする• Bias-variance tradeoffを最小にするデータ・ドリブンな方法でバンド幅を選定• Imbens and Kalyanaraman (2012)の方法なら1.145• Calonico et al. (2014)の方法なら0.747

出所: https://doi.org/10.1016/j.jjie.2023.101284

17

結果
留学（4週間以上）の効果• 英語力＋33%（1.15標準偏差）• 国際的志向性＋14％（0.68標準偏差）• 外国語コミュニケーション能力の認知＋43％（1.14標準偏差）
出所: https://doi.org/10.1016/j.jjie.2023.101284

18

結果の異質性• 英語力への効果は、女子学生・学部生の間で大きい• 態度面への効果は、男子学生・大学院生の間で大きい• 英語力・態度面ともに、応募時の英語力が低い学生への効果が大きい→ 奨学金により、こうした学生の留学を後押しする意義は大きい19

補足：頑強性のチェック（論文のFigure 3）• 異なるバンド幅での推定

出所: https://doi.org/10.1016/j.jjie.2023.101284

20

おわりに
• 研究者と行政の協力による研究成果• 相互理解、信頼関係の構築、密なコミュニケーションが必要• 研究、特に、データ収集はたいへん• 不合格者のデータがあることではじめて、プログラムの効果を測定できる• トビタテ事務局、調査回答者のみなさま、研究にコメントをくれた同業者の方々、どうもありがとうございました！

21

ご清聴どうもありがとうございました
higuchi@sophia.ac.jp22