2020年度 第20回公開研究会

研究⼤学における国際化戦略とその効果分析-広島⼤学の取り組みを事例とした因果分析2021年3⽉29⽇（⽉）
広島⼤学 ⾼等教育研究開発センター

2021/4/26

Research Institute for Higher Education, Hiroshima Univ.

1

趣旨説明
n「広島⼤学スーパーグローバル⼤学創成⽀援事業×RIHE連携研究プロ
ジェクトシリーズ」（仮）の第1回⽬として企画
n⼤学の機関レベルで取得できる教学関係データを活⽤
p国際化等の⼤学における諸改⾰の状況、取り組み
証⇨

学⽣の成⻑︓多⾓的に検n個別⼤学の改⾰の効果を検証⇨フィードバック
p従来︓⼤学の業務にとどまる
Ø 研究にできないから・・・・ボソ⇨

関わる教員のインセンティブ⾼くない

p今後︓否否︕⼤学内部にとどまらず、学術的にも意義あることを、もっと発信しよう︕
Ø EBPM＋因果推論の⽂脈下にもありますし・・・。IR必要論も⾼まってますし・・Ø ただ、IRと安易に結びつけるのは慎重になろ・・・・。ぼそn今後シリーズ化しますので、⼀緒に皆さんと議論できれば︕
2021/4/26

Research Institute for Higher Education, Hiroshima Univ.

2

プログラムn14:00-14:05
p趣旨説明

n14:05-p広島⼤学のスーパーグローバル⼤学創成⽀援事業の取り 組
み・BEVI-Jの紹介等
⻄⾕ 元（広島⼤学）
p広島⼤学のデータを使った学⽣の成⻑に関する分析（その1）p広島⼤学のデータを使った学⽣の成⻑に関する分析（その2）Øその1・その2︓村澤昌崇（広島⼤学）中尾
学院）

⾛・樊 怡⾈（広島⼤学⼤

p総括討論
p閉会挨拶
2021/4/26

Research Institute for Higher Education, Hiroshima Univ.

3

広島⼤学
学⽣データ分析
その1（前座）広島⼤学⾼等教育研究開発センター
村澤昌崇
2021/4/26

Research Institute for Higher Education, Hiroshima Univ.

40.1 個々の⼤学における、

取り組み・改⾰の“効果検証”が必要とされる時代が到来︕

n鍵となる概念・キーワード
pエビデンス
pEBPM
p因果推論
pIR

2021/4/26

Research Institute for Higher Education, Hiroshima Univ.

50.2 先駆的取り組み︓
広島⼤学startプログラムの効果分析
n広島⼤学のStart、Start＋の取り組み⇨

https://bit.ly/3fjHu40

n川⽥・⻄⾕（2017）︓Startプログラム（短期留学）への参加に関する平均的な効果（平均処置効果）を検討 → あり︕
p川⽥・⻄⾕論⽂･･･https://cutt.ly/7zBx0Njp上記報告は、⻄⼭他編,2019,『計量経済学』有斐閣にも引⽤される︕（https://amzn.to/3qR1wF1)

p⼀⼤学の事例だが・・・厳密な因果推論・⾼い内的妥当性
2021/4/26

Ø 学術性の⾼さ

Research Institute for Higher Education, Hiroshima Univ.

※川⽥・⻄⾕(2017:20)より引⽤

6

0.3 分析【村澤】︓留学の効果を分解する
広島⼤学startプログラムの効果分析
n分析その1︓意識・志向性・価値観・信念等に、⼤学の働きかけが効果をもたらしているか︖
pBEVIを⽤いたStartプログラムの効果検証
p現段階では、BEVIの外部の⼈間が、BEVIのデータ提供を受けて、試⾏的分析を⾏った、というもの。

n分析その2︓語学⼒に対し、⼤学の働きかけが効果をもたらしているか
pTOEICを⽤いたStartプログラムの効果検証

2021/4/26

Research Institute for Higher Education, Hiroshima Univ.

71.BEVIをいじってみる

2021/4/26

Research Institute for Higher Education, Hiroshima Univ.

81.0 まず、BEVIを眺めてみよう
nBEVI︓17の価値観、信念、志向性を測定
p特徴︓⼀般的な社会調査の素朴な質問項⽬では、避けがた
い「社会的望ましさ」バイアスを排除を試みる等、尺度の妥
当性・信頼性を⾼める技術的応⽤がすさまじい^^Ø使ってみたくなる︕

p（私のように横着な⼈間は）17の指標を丁寧に診るのが正
直しんどい
p情報縮約して外観

2021/4/26

Research Institute for Higher Education, Hiroshima Univ.

91.1 BEVIの分析︓因⼦分析による情報の縮約
⼈間的
成⻑

閉塞性・
旧時代的

h2

u2

com

欲求充⾜

.949

.012

.901

.099

1.000

社会情動的⼀致

.890

-.086

.792

.208

1.020

意味の探求

.835

.007

.697

.303

1.000

⾃⼰認識

.779

-.003

.606

.394

1.000

社会⽂化的オープンさ

.771

-.292

.659

.341

1.280

世界との共鳴

.733

-.345

.632

.368

1.420

感情の調整

.708

.189

.550

.450

1.140

基本的な開放性

.573

.251

.405

.595

1.370

⾃分に対する確信

.462

.282

.306

.694

1.660

⽣態との共鳴

.451

.287

.299

.701

1.700

⾝体的共鳴

.433

.220

.245

.755

1.480

ジェンダー的伝統主義

.220

.599

.420

.580

1.270

アイデンティティの拡散

.123

.742

.574

.426

1.050

基本的な決定論

.082

.751

.577

.423

1.020

欲求の抑圧

.028

.953

.912

.088

1.000

⼈⽣におけるネガティブな出来事

-.008

.860

.738

.262

1.000

宗教的伝統主義

-.012

.681

.463

.537

1.000

固有値

5.650

4.124

寄与率

.332

.243

累積寄与率

.332

.575

因⼦間相関

2021/4/26

p最尤法、独⽴クラスター回転法による
p2因⼦抽出p因⼦1︓⼈間的成熟度
p因⼦2︓閉塞性・旧時代性
pこれら2因⼦に対し、Startへの参加経
験が影響を及ぼしているかを検討.049

Research Institute for Higher Education, Hiroshima Univ.

101.2 BEVI:⼈間的成熟度，閉塞性・旧時代性スコア

2021/4/26

Research Institute for Higher Education, Hiroshima Univ.

111.3 BEVI︓⼈間的成熟度，閉塞性・旧時代性スコア

2021/4/26

Research Institute for Higher Education, Hiroshima Univ.

121.4 BEVI︓⼈間的成熟度，閉塞性・旧時代性スコア

2021/4/26

Research Institute for Higher Education, Hiroshima Univ.

13

1.5 因果分析その1︓
BEVIを⽤いたStartプログラムの効果検証
nデータ︓2016ー2019年度⼊学の広島⼤学の学⽣
pただし、⽋損が認められる（傾向スコア分析時に障害）のでmissForesによる⽋損補完を⾏っている

nY（⽬的変数）︓BEVI2019年12⽉実施分
p本来であれば、BEVI(留学後)ーBEVI(留学前)
Ø BEVIのシステム⾃体は、留学前後でデータを採り、パネルになっているらしい・・・。
Ø ワシは外部者なので、データ利⽤が限定されている・・・トホホü データがクロスセクショナルになってる点は、どうかご容赦を・・・

nX（処置・介⼊とは⾔い切れないが）︓Startの参加／不参加
nZ（交絡）︓性別、⼊学年度、所属学部、TOEICの1年次5⽉のテスト
n⽅法︓傾向スコア(CBPS:)による交絡調整2021/4/26

Research Institute for Higher Education, Hiroshima Univ.

141.6 分析のモデル
Startへの参加/不参加

BEVI

交絡要因

1.7 ⽅法:
共変量調整傾向スコア分析(Covariate Balancing Propensity Score︓CBPS)n因果推論の興隆⇨「猫も杓⼦も傾向スコア(Propensity Score:
PS)」（康永 2018, 中村 2019）
p･･･はい、すんません、でも有⽤なんで使いたいっす︕

nPS（やIPW(Inverse Provability Weighting)による重み付け）よりも、利点のある共変量調整傾向スコア(CBPS)にて（Imai & Ratkovic 2014, Fong & Imai 2018）
pPS:平均値による共変量の分布を等しく調整←必ずしも等しくならない
pCBPS:他のモーメント（分散、歪度、尖度など）でも釣り合うよう調整←分布が等しくなりやすい、頑健性が⾼いØ⽇本語による解説・事例分析は中村・南(2017)、中尾(2019)を⾒よ︕

1.8 CBPSの実⾏︓ATE（平均処置効果）を導くための処理
ATE

Balance Measures

Type Diff.Adj
M.Threshold V.Ratio.Adj
prop.score
Distance
0.0510
Balanced, <0.1
0.9744sex
Binary0.0044
Balanced, <0.1.
school2_1.Integrate
Binary0.0044
Balanced, <0.1.
school2_2.Literature
Binary0.0055
Balanced, <0.1.
school2_3.Education
Binary -0.0148
Balanced, <0.1.
school2_4.Law
Binary0.0084
Balanced, <0.1.
school2_5.Economics
Binary -0.0067
Balanced, <0.1.
school2_6.Science
Binary -0.0167
Balanced, <0.1.
school2_7.Medicine
Binary -0.0074
Balanced, <0.1.
school2_8.Dentistry
Binary0.0024
Balanced, <0.1.
school2_9.Pharmacy
Binary0.0015
Balanced, <0.1.
school2_91.Engineering
Binary0.0121
Balanced, <0.1.
school2_92.Bio
Binary0.0071
Balanced, <0.1.
school2_93.Information
Binary0.0040
Balanced, <0.1.
year.entrance_2016
Binary -0.0101
Balanced, <0.1.
year.entrance_2017
Binary -0.0050
Balanced, <0.1.
year.entrance_2018
Binary0.0081
Balanced, <0.1.
year.entrance_2019
Binary0.0070
Balanced, <0.1.
t_w1
Contin.
0.1386 Not Balanced, >0.1
0.7841
Balance tally for mean differences
count
Balanced, <0.1
18 ※標準化差＜0.1
Not Balanced, >0.1
1 ※標準化差＞0.1

性別
所属学部

総科
文
教育
法
経済
理
医
歯
薬
工
生生
情報
2016年度入学
2017年度入学
2018年度入学
2019年度入学
TOEIC１年次得点

ほとんどの変数においてバランス調整Good！

Variable with the greatest mean difference
Variable Diff.Adj
M.Threshold
t_w1
0.1386 Not Balanced, >0.1 ※0.1を超えているが、許容範囲のバランス調整

pStart参加/不参加＝性別＋
所属学部＋⼊学年度＋1年次
TOEIC得点pこの分析により、擬似的に、Start参加/不参加学⽣を、ランダムに割り付けたかのよ
うに装える
p割り付けは、うまくいってそうØ 基準︓Diff.Adj＜0.1

Effective sample sizes
Control TreatedUnadjusted 8988.
1430.
Adjusted
8730.45794.8

2021/4/26

Research Institute for Higher Education, Hiroshima Univ.

171.9 CBPSの実⾏︓ATT（処置群の平均処置効果）を導くための処理
ATT

Balance Measures

Type Diff.Adj
prop.score
Distance -0.0138.
sex
Binary0.0001school2_1.Integrate
Binary0.0009school2_2.Literature
Binary0.0000school2_3.Education
Binary -0.0010
school2_4.Law
Binary -0.0002
school2_5.Economics
Binary -0.0001
school2_6.Science
Binary0.0000school2_7.Medicine
Binary0.0007school2_8.Dentistry
Binary -0.0003
school2_9.Pharmacy
Binary -0.0002
school2_91.Engineering
Binary0.0000school2_92.Bio
Binary0.0002school2_93.Information
Binary -0.0001
year.entrance_2016
Binary0.0007
year.entrance_2017
Binary -0.0004
year.entrance_2018
Binary -0.0008
year.entrance_2019
Binary0.0005
t_w1
Contin.
0.0078

M.Threshold V.Ratio.Adj
Balanced, <0.1
0.8386
Balanced, <0.1.
Balanced, <0.1.
Balanced, <0.1.
Balanced, <0.1.
Balanced, <0.1.
Balanced, <0.1.
Balanced, <0.1.
Balanced, <0.1.
Balanced, <0.1.
Balanced, <0.1.
Balanced, <0.1.
Balanced, <0.1.
Balanced, <0.1.
Balanced, <0.1.
Balanced, <0.1.
Balanced, <0.1.
Balanced, <0.1.
Balanced, <0.1
0.5839pATE以上に、擬似的なラン
ダム割り付けはうまくいってそう。

Balance tally for mean differences
count
Balanced, <0.1
19
Not Balanced, >0.1
0Variable with the greatest mean difference
Variable Diff.Adj
M.Threshold
t_w1
0.0078 Balanced, <0.1
Effective sample sizes
Control TreatedUnadjusted 8988.
1430
Adjusted
3569.531430

2021/4/26

Research Institute for Higher Education, Hiroshima Univ.

18

1.10 BEVI(2因⼦)に対するStart効果
ウェイト調整なし：Y=人間的成熟度
Coefficients:
Estimate Std. Error t value Pr(>|t|)(Intercept) 49.85316
0.07188 693.575 <2e-16 ***start
1.86101
0.19401
9.592<2e-16 ***--Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

ウェイト調整なし, Y=閉塞性・旧時代性
Coefficients:
Estimate Std. Error t value Pr(>|t|)(Intercept) 50.64182
0.07523 673.12 <2e-16 ***start-1.73826
0.20307-8.56<2e-16 ***--Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

ATE, Y=人間的成熟度
Coefficients:
Estimate Std. Error t value Pr(>|t|)(Intercept) 49.90595
0.06576 758.940 <2e-16 ***start
0.877200.342912.558
0.0105 *--Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

ATE, Y=閉塞性・旧時代性
Coefficients:
Estimate Std. Error t value Pr(>|t|)(Intercept) 50.66466
0.07149 708.69< 2e-16 ***start-1.42616
0.30542-4.67 0.00000306 ***--Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

ATT, Y=人間的成熟度
Coefficients:
Estimate Std. Error t value
Pr(>|t|)(Intercept) 50.2191
0.1088 461.600< 2e-16 ***start
1.49510.27575.422 0.0000000602 ***--Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

ATT, Y=閉塞性・旧時代性
Coefficients:
Estimate Std. Error t value Pr(>|t|)(Intercept) 50.7993
0.1070 474.543 < 2e-16 ***start-1.8957
0.2564 -7.393 1.55e-13 ***--Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

2021/4/26

Research Institute for Higher Education, Hiroshima Univ.

19

1.11 Startプログラムの効果- BEVIn諸条件を統制した上でも、ATE,ATTともに、Startプログラムの効果は確認された。
p「⼈間的成熟度」には＋p「閉塞性・旧時代性」にはーp短期留学が、⼈間的成⻑を促し、旧来的・旧習的態度・発想を低減させうる︖

n課題︓
p留学前後のBEVI⽐較をしているわけではないØ もともとこれら諸能⼒・諸特性の⾼い学⽣がStartプログラムに参加している・・・︖

ü 性別、⼊学年度、所属学部、留学前のTOEICの英語得点を、留学前のBEVIに代替させる形で統制（疑似的ランダム割り付け）はしているが・・・

Ø BEVIのフルデータを頂戴して、広⼤内部の各種データをくっつけた分析は、今後︕
ü ⻄⾕先⽣、データの⽅、よろしくお願いします︕︕︕
ü 今後研究会をシリーズ化するので、乞うご期待︕（⼤⾵呂敷︕︕︕︕）

2021/4/26

Research Institute for Higher Education, Hiroshima Univ.

20

2.TOEICとStartプログラム

2021/4/26

Research Institute for Higher Education, Hiroshima Univ.

212.0 分析その2︓留学の効果を分解する
広島⼤学startプログラムの効果:派遣国別効果
n川⽥・⻄⾕（2017）︓Startプログラム（短期留学）への参加に関する平均的な効果（平均処置効果）を検討 → あり︕
n⼀歩踏み込んだ分析へ
p留学→留学先別に分解︓これまでのStart派遣国別派遣者の状況

2021/4/26

Research Institute for Higher Education, Hiroshima Univ.

222.1 TOEICスコアの派遣国別分布

2021/4/26

Research Institute for Higher Education, Hiroshima Univ.

232.1 TOEICスコアの派遣国別分布

4地域に統合2021/4/26

Research Institute for Higher Education, Hiroshima Univ.

24

2.1 TOEICスコアの派遣国別分布

2021/4/26

Research Institute for Higher Education, Hiroshima Univ.

25

2.2 分析のモデル・⽅法
Start派遣国
未留学

TOEIC

交絡要因

2.2 分析のモデル・⽅法
nデータ︓2008ー2019年度⼊学の広島⼤学の学⽣
pただし、⽋損が認められる（傾向スコア分析時に障害）のでmissForesによる⽋損補完を⾏っている
pStartプログラムのうち、Start+プログラム参加者を除いた30,894名
Ø Start＋は、Start派遣後の、より任意性の⾼い参加プログラムなので･･･

nY（⽬的変数）︓TOEICスコア（Start留学前、留学後）
nX（処置・介⼊変数）︓Start派遣国（英語圏／欧州圏／アジア圏／Start不参加）nZ（交絡）︓性別、⼊学年度、所属学部、TOEICの1年次5⽉のテスト
n⽅法︓傾向スコア(CBPS)による交絡調整＋DID（Difference in
Difference:差分の差分法）
2021/4/26

Research Institute for Higher Education, Hiroshima Univ.

27

2.2 留学効果の分解︓DID

留学効果
留学

留学せず

TOEIC
1回⽬

2021/4/26

留学

TOEIC
2回⽬

Research Institute for Higher Education, Hiroshima Univ.

時間28

2.3 留学効果の分解:国別
英語圏

英語圏
等しい

欧州圏
亜細亜圏

亜細亜圏

未留学

未留学
留学の効果
国別の効果

TOEIC
1回⽬

2021/4/26

留学

TOEIC
2回⽬

異なる

欧州圏

有
無

留学の効果
国別の効果
TOEIC
1回⽬

留学

Research Institute for Higher Education, Hiroshima Univ.

TOEIC
2回⽬

有
有

29

2.4 ⽅法（再掲）
共変量調整傾向スコア分析(Covariate Balancing Propensity Score︓CBPS)n因果推論の興隆⇨「猫も杓⼦も傾向スコア(Propensity Score:
PS)」（康永 2018, 中村 2019）
p･･･はい、すんません、でも有⽤なんで使いたいっす︕

nPS（やIPW(Inverse Provability Weighting)による重み付け）よりも、利点のある共変量調整傾向スコア(CBPS)にて（Imai & Ratkovic 2014, Fong & Imai 2018）
pPS:平均値による共変量の分布を等しく調整←必ずしも等しくならない
pCBPS:他のモーメント（分散、歪度、尖度など）でも釣り合うよう調整←分布が等しくなりやすい、頑健性が⾼いØ⽇本語による解説・事例分析は中村・南(2017)、中尾(2019)を⾒よ︕

ATE（平均処置効果）の検討

2021/4/26

Research Institute for Higher Education, Hiroshima Univ.

31

ATE
n全サンプルについて、p処置を受けた場合
p処置を受けなかった場合

n･･･の間の差をとって検討する
p実際に経験できないケースについては、仮想現実を推定する
Ø処置を受けた⼈は、「処置を受けてない」を経験できない
Ø処置を受けなかった⼈は、「処置を受けた」を経験できないü これらを統計⽅法により推計し、仮想現実を作り出す

2021/4/26

Research Institute for Higher Education, Hiroshima Univ.

32

2.5 ATE(平均処置効果）の検討:傾向スコアの算出
ATEのための交絡調整：CBPS
Callweightit(formula = country.r4 ~ sex + school + nyuugaku_year +t_w1, data = d1, method = "cbps", estimand = "ATE")
Balance summary across all treatment pairs
Type Max.Diff.Adj
M.Threshold Max.V.Ratio.Adj
sex
Binary0.0454
Balanced, <0.1
.性別
school_1.Integrate
Binary0.0502
Balanced, <0.1
.学部
school_2.Literature Binary
0.0201
Balanced, <0.1.
school_3.Education
Binary0.0868
Balanced, <0.1.
school_4.Law
Binary0.0241
Balanced, <0.1.
school_5.Economics
Binary0.0213
Balanced, <0.1.
school_6.Science
Binary0.0334
Balanced, <0.1.
school_7.Medicine
Binary0.0578
Balanced, <0.1.
school_Dentistry
Binary0.0133
Balanced, <0.1.
school_Pharmacy
Binary0.0439Balanced, <0.1.
school_Engineering
Binary0.0260
Balanced, <0.1.
school_Bio
Binary0.0103
Balanced, <0.1.
school_Information
Binary0.0115
Balanced, <0.1.
nyuugaku_year
Contin.
1.6452 Not Balanced, >0.1
30.1931
t_w1
Contin.
0.6823 Not Balanced, >0.1
1.6843
Balance tally for mean differences
count
Balanced, <0.1
13 ← 標準化差＜0.1
Not Balanced, >0.1
2 ← 標準化差＞0.1

総科
文
教育
法
経済
理
医
歯
薬
工
生生
情報
入学年
TOEIC

pStart参加/不参加＝性別＋所属
学部＋⼊学年度＋1年次TOEIC
得点
pこの分析により、擬似的に、派
遣国に、学⽣を、ランダムに割り付けたかのように装える
p割り付けは、⼊学年、TOEICの得点が難Ø 基準︓Diff.Adj＜0.1

Variable with the greatest mean difference
Variable Max.Diff.Adj
M.Thresholdnyuugaku_year
1.6452 Not Balanced, >0.1
Effective sample sizes
0.NotP 1.ENG 2.EUR 3.ASIA
Unadjusted 29452.
686. 96.
660.
Adjusted
28919.19 228.5 57.64 322.52

2021/4/26

Research Institute for Higher Education, Hiroshima Univ.

33

2.6 ATEの検討︓派遣国別の効果検証
CBPSによる分析
Call:
svyglm(formula = t ~ country.r4 * wave, design = d.w., data = d1.long)

普通にglmCall:glm(formula = t ~ country.r4 * wave, data = d1.long)

Coefficients:

Coefficients:

Estimate Std. Error t value Pr(>|t|)(Intercept)
483.930
1.757 275.402 < 2e-16 ***country.r4[T.1.ENG]
25.58919.4361.317 0.188003
country.r4[T.2.EUR]
4.487
28.4320.158 0.874606
country.r4[T.3.ASIA]
8.493
12.9420.656 0.511689
wave
2.638
1.081
2.441 0.014669 *country.r4[T.1.ENG]:wave
47.93512.3853.870 0.000109 ***country.r4[T.2.EUR]:wave
23.84218.6571.278 0.201288
country.r4[T.3.ASIA]:wave
24.2938.295
2.929 0.003406 **--Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Estimate Std. Error t value Pr(>|t|)(Intercept)
477.2804
1.5474 308.439< 2e-16 ***country.r4[T.1.ENG]
102.6796
10.2565 10.011< 2e-16 ***country.r4[T.2.EUR]
67.5150
27.1477
2.487
0.01289 *country.r4[T.3.ASIA]
31.1145
10.45212.977
0.00291 **wave
3.85800.97873.942 0.0000809 ***country.r4[T.1.ENG]:wave
26.9911
6.48684.161 0.0000317 ***country.r4[T.2.EUR]:wave
5.044517.1697
0.294
0.76891
country.r4[T.3.ASIA]:wave 21.6638
6.61053.277
0.00105 **--Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1(Dispersion parameter for gaussian family taken to be 12202.64)(Dispersion parameter for gaussian family taken to be 14104.36)
Null deviance: 905269569 on 61787 degrees of freedom
Residual deviance: 871367093 on 61780 degrees of freedom
AIC: 765694
Number of Fisher Scoring iterations: 2

Number of Fisher Scoring iterations: 2

p 英語圏、アジア圏への留学は、英語⼒を⾼める効果があり
p CBPSによる疑似的ランダム割り付けにより、英語圏への留学効果が倍近くに⾼まっているØ 単純な⽐較だと留学効果を過⼩評価する恐れ ← ただし割付がうまくいってないからかも︖

2021/4/26

Research Institute for Higher Education, Hiroshima Univ.

34

ATT（処置群の平均処置効果）の検討

2021/4/26

Research Institute for Higher Education, Hiroshima Univ.

35

ATT
n処置を受けた群に限定した分析
p処置群が「もし処置を受けなかったら」を統計⽅法により推計し、仮想現実を作り出す。
p処置群の実際の状況ー処置群が「もし処置を受けていなかった場合」の状況

n処置が複数ある場合
p今回のケース︓“不参加”，“英語圏へ派遣”，“欧州圏へ派遣”，“アジア圏へ派遣”
Ø“不参加者”がもし“英語圏”へ派遣されたら︖“欧州圏”へ派遣されたら・・・
Ø“アジア圏へ派遣された学⽣”が、もし“英語圏”へ派遣されたら・・・etc

2021/4/26

Research Institute for Higher Education, Hiroshima Univ.

36

2.7 ATTの検討:傾向スコアの算出
ATTのための交絡調整：CBPS（留学していない）

ATTのための交絡調整：CBPS（英語圏留学）

Callweightit(formula = country.r4 ~ sex + school + nyuugaku_year +t_w1, data = d1, method = "cbps", estimand = "ATT", focal = "0.NotP")Callweightit(formula = country.r4 ~ sex + school + nyuugaku_year +t_w1, data = d1, method = "cbps", estimand = "ATT", focal = "1.ENG")

Balance summary across all treatment pairs
Type Max.Diff.Adj
M.Threshold Max.V.Ratio.Adj
sex
Binary0.0169Balanced, <0.1.
school_1.Integrate
Binary0.0092
Balanced, <0.1.
school_2.Literature
Binary0.0192
Balanced, <0.1.
school_3.Education
Binary0.0432
Balanced, <0.1.
school_4.Law
Binary0.0111
Balanced, <0.1.
school_5.Economics
Binary0.0234
Balanced, <0.1.
school_6.Science
Binary0.0280
Balanced, <0.1.
school_7.Medicine
Binary0.0345
Balanced, <0.1.
school_8.Dentistry
Binary0.0145
Balanced, <0.1.
school_9.Pharmacy
Binary0.0249Balanced, <0.1.
school_91.Engineering Binary
0.0180
Balanced, <0.1.
school_92.Bio
Binary0.0110
Balanced, <0.1.
school_93.Information Binary
0.0082
Balanced, <0.1.
nyuugaku_year
Contin.
1.0009 Not Balanced, >0.1
29.3929
t_w1
Contin.
0.6964 Not Balanced, >0.1
1.6443

Balance summary across all treatment pairs
Type Max.Diff.Adj
M.Threshold Max.V.Ratio.Adj
sex
Binary0.0014
Balanced, <0.1.
school_1.Integrate
Binary0.0111
Balanced, <0.1.
school_2.Literature
Binary0.0124
Balanced, <0.1.
school_3.Education
Binary0.0076
Balanced, <0.1.
school_4.Law
Binary0.0012
Balanced, <0.1.
school_5.Economics
Binary0.0017
Balanced, <0.1.
school_6.Science
Binary0.0137
Balanced, <0.1.
school_7.Medicine
Binary0.0047
Balanced, <0.1.
school_8.Dentistry
Binary0.0007
Balanced, <0.1.
school_9.Pharmacy
Binary0.0248
Balanced, <0.1.
school_91.Engineering Binary
0.0047
Balanced, <0.1.
school_92.Bio
Binary0.0071
Balanced, <0.1.
school_93.Information Binary
0.0102
Balanced, <0.1.
nyuugaku_year
Contin.
0.1090 Not Balanced, >0.1
3.7452
t_w1
Contin.
0.2404 Not Balanced, >0.1
2.5339Balance tally for mean differences
count
Balanced, <0.1
13
Not Balanced, >0.1
2

Balance tally for mean differences
count
Balanced, <0.1
13
Not Balanced, >0.1
2

Variable with the greatest mean difference
Variable Max.Diff.Adj
M.Thresholdnyuugaku_year
1.0009 Not Balanced, >0.1

Variable with the greatest mean difference
Variable Max.Diff.Adj
M.Threshold
t_w1
0.2404 Not Balanced, >0.1

Effective sample sizes
1.ENG 2.EUR 3.ASIA 0.NotP
Unadjusted 686.
96.
660.
29452
Adjusted292.06 55.57 383.54 29452

Effective sample sizes
0.NotP 2.EUR 3.ASIA 1.ENG
Unadjusted 29452.
96.
660.
686
Adjusted
3534.74 62.16 333.85686

2021/4/26

Research Institute for Higher Education, Hiroshima Univ.

37

2.7 ATTの検討:傾向スコアの算出
ATTのための交絡調整：CBPS(欧州圏)

ATTのための交絡調整：CBPS(アジア圏)

Callweightit(formula = country.r4 ~ sex + school + nyuugaku_year +t_w1, data = d1, method = "cbps", estimand = "ATT", focal = "2.EUR")

Callweightit(formula = country.r4 ~ sex + school + nyuugaku_year +t_w1, data = d1, method = "cbps", estimand = "ATT", focal = "3.ASIA")

Balance summary across all treatment pairs
Type Max.Diff.Adj
M.Threshold Max.V.Ratio.Adj
sex
Binary0.0000 Balanced, <0.1.
school_1.Integrate
Binary0.0000 Balanced, <0.1.
school_2.Literature
Binary0.0000 Balanced, <0.1.
school_3.Education
Binary0.0001 Balanced, <0.1.
school_4.Law
Binary0.0000 Balanced, <0.1.
school_5.Economics
Binary0.0000 Balanced, <0.1.
school_6.Science
Binary0.0000 Balanced, <0.1.
school_7.Medicine
Binary0.0000 Balanced, <0.1.
school_8.Dentistry
Binary0.0000 Balanced, <0.1.
school_9.Pharmacy
Binary0.0000 Balanced, <0.1.
school_91.Engineering Binary
0.0000 Balanced, <0.1.
school_92.Bio
Binary0.0000 Balanced, <0.1.
school_93.Information Binary
0.0000 Balanced, <0.1.
nyuugaku_year
Contin.
0.0005 Balanced, <0.1
14.7115
t_w1
Contin.
0.0002 Balanced, <0.1
1.6158

Balance summary across all treatment pairs
Type Max.Diff.Adj
M.Threshold Max.V.Ratio.Adj
sex
Binary0.0465
Balanced, <0.1.
school_1.Integrate
Binary0.0056
Balanced, <0.1.
school_2.Literature
Binary0.0114
Balanced, <0.1.
school_3.Education
Binary0.0233
Balanced, <0.1.
school_4.Law
Binary0.0008
Balanced, <0.1.
school_5.Economics
Binary0.0035
Balanced, <0.1.
school_6.Science
Binary0.0072
Balanced, <0.1.
school_7.Medicine
Binary0.0021
Balanced, <0.1.
school_8.Dentistry
Binary0.0082
Balanced, <0.1.
school_9.Pharmacy
Binary0.0030
Balanced, <0.1.
school_91.Engineering Binary
0.0119Balanced, <0.1.
school_92.Bio
Binary0.0041
Balanced, <0.1.
school_93.Information Binary
0.0091
Balanced, <0.1.
nyuugaku_year
Contin.
0.2868 Not Balanced, >0.1
3.3281
t_w1
Contin.
0.0732
Balanced, <0.1
1.6866

Balance tally for mean differences
count
Balanced, <0.1
15
Not Balanced, >0.1
0Balance tally for mean differences
count
Balanced, <0.1
14
Not Balanced, >0.1
1

Variable with the greatest mean difference
Variable Max.Diff.Adj
M.Thresholdnyuugaku_year
0.0005 Balanced, <0.1

Variable with the greatest mean difference
Variable Max.Diff.Adj
M.Thresholdnyuugaku_year
0.2868 Not Balanced, >0.1

Effective sample sizes
0.NotP 1.ENG 3.ASIA 2.EUR
Unadjusted 29452.
686.
660.
96
Adjusted
6325.61 315.56 488.08
96

Effective sample sizes
0.NotP 1.ENG 2.EUR 3.ASIA
Unadjusted 29452.
686.
96.
660
Adjusted
7106.94 311.11 79.98
660

2021/4/26

Research Institute for Higher Education, Hiroshima Univ.

38

2.7 ATT(アジア圏留学の平均処置効果）の検討①CBPSによる分析（留学せず）
Coefficients:
Estimate Std. Error t value
Pr(>|t|)(Intercept)
477.2804
1.5698 304.033< 2e-16 ***country.r4[T.1.ENG]
102.6796
8.4071 12.213< 2e-16 ***country.r4[T.2.EUR]
67.5150
25.67382.630
0.008548 **country.r4[T.3.ASIA]
31.11459.03163.445
0.000571 ***wave
3.85800.98453.919 0.000089136 ***country.r4[T.1.ENG]:wave
26.99115.49584.911 0.000000907 ***country.r4[T.2.EUR]:wave
5.044516.27470.310
0.756591
country.r4[T.3.ASIA]:wave 21.6638
5.83703.711
0.000206 ***--Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1②CBPSによる分析（英語圏）
Coefficients:③CBPSによる分析（欧州圏）
Coefficients:④CBPSによる分析（アジア圏）
Coefficients:
Estimate Std. Error t value
Pr(>|t|)(Intercept)
535.708
4.048 132.341< 2e-16 ***country.r4[T.1.ENG]-46.10314.959 -3.082
0.00206 **country.r4[T.2.EUR]-7.49726.161 -0.287
0.77443
country.r4[T.3.ASIA]-27.3139.772 -2.795
0.00519 **wave-1.8372.344 -0.784
0.43317country.r4[T.1.ENG]:wave
53.5239.394
5.697 0.0000000122 ***country.r4[T.2.EUR]:wave
11.30715.8380.714
0.47528
country.r4[T.3.ASIA]:wave
27.3596.213
4.404 0.0000106560 ***--Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Estimate Std. Error t value Pr(>|t|)(Intercept)
563.6025.372 104.908 < 2e-16 ***country.r4[T.1.ENG]-59.373
13.765 -4.313 1.61e-05 ***country.r4[T.2.EUR]-18.806
26.183 -0.718 0.47259
country.r4[T.3.ASIA]-24.868
11.972 -2.077 0.03780 *wave-9.9043.062 -3.234 0.00122 **country.r4[T.1.ENG]:wave
59.3938.806
6.744 1.55e-11 ***country.r4[T.2.EUR]:wave
18.807
16.5311.138 0.25526
country.r4[T.3.ASIA]:wave
24.8737.743
3.213 0.00132 **--Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Estimate Std. Error t value Pr(>|t|)(Intercept)
638.020
8.095 78.816 < 2e-16 ***country.r4[T.1.ENG]-58.060
11.565 -5.020 5.17e-07 ***country.r4[T.2.EUR]-45.555
35.284 -1.291 0.19667
country.r4[T.3.ASIA]-42.00318.315 -2.293 0.02183 *wave-27.435
4.598 -5.967 2.44e-09 ***country.r4[T.1.ENG]:wave
58.2847.098
8.212 2.22e-16 ***country.r4[T.2.EUR]:wave
23.06521.8291.057 0.29068
country.r4[T.3.ASIA]:wave
37.20811.352
3.278 0.00105 **--Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

n ①Startプログラム不参加者が仮に参加した場合、英語⼒は向上するが、英語圏への参加者ほどの英語⼒向上は得られない
n ②英語圏派遣学⽣がもしアジア圏へ派遣された場合、実際にアジア圏に派遣された学⽣よりも英語⼒が向上する（︕）Ø Startの選抜効果がある︖／Startでの選抜をしなくても、⼀定程度の英語⼒向上は⾒込める・・︖
n 英語圏への派遣効果は⼤きい︓
Ø 他の圏域に派遣された学⽣が、仮に英語圏に派遣された場合、実際に派遣された地域よりも英語⼒が向上する
n （⾮英語圏であるはずの）ASIA圏への派遣に、⼀定程度の英語⼒向上が⾒られる点、欧州圏に英語⼒向上が⾒られない点が謎・・・
2021/4/26

Research Institute for Higher Education, Hiroshima Univ.

39

⼀応前座は終わり・・・
n キレキレの野⼼的分析は、次に控えていますので、お楽しみに〜
n 本研究会はシリーズ化しますので、今後も是⾮お越しください〜^^

2021/4/26

Research Institute for Higher Education, Hiroshima Univ.

40

Reference:n Austin, P.C.,2018, “Assessing the performance of the generalized propensity score for estimating the effect of quantitative orcontinuous exposures on binary outcomes”, Statistics in Medicine, pp.1-21.
n Austin, P.C., 2019,” Assessing covariate balance when using the generalized propensity score with quantitative or continuous
exposures”, Statistical Methods in Medical Research,Voi.28(5),pp.1365-1377.
n Fong, C., Hazlett, C. & Imai, K., 2018, “Covariate Balancing Propensity Score for a Continuous Treatment: Application to the Efficacy of
Political Advertisements”, Annals of Applied Statistics, Vol.12, No.1, pp.156-177.
n Fong, C., Ratkovic,M. & Imai, K., 2019, “Package ʻCBPSʼ”, The Comprehensive R Archive Network, https://cran.rproject.org/web/packages/CBPS/CBPS.pdf(2021.03.17)
n Imai, K., Ratkovic, M.,2014,”Covariate balancing propensity score”, Journal of the Royal Statistical Society, B., 76(1), 243-263.
n ﻿Hirano, K., & Imbens, G. W., 2004. “The propensity score with continuous treatments”, In D. B. Rubin, A. Gelman, & X.-L. Meng
(Eds.), Applied Bayesian modeling and causal inference from incomplete-data perspectives: An essential journey with Donald Rubinʼsstatistical family, New York, NY: John Wiley, pp. 73–84
n Leite, W. L.. 2017, Practical Propensity Score Methods Using R. SAGE Publications.
n Stekhoven, D.J., Bühlmann, P., 2012, “MissForest̶non-parametric missing value imputation for mixed-type data”, Bioinformatics,
28(1), pp.112-118.
n Stekhoven, D.J., 2013, “missForest: Nonparametric Missing Value Imputation using Random Forest”, R package version 1.4.
n Yamamura, K., 1999, “Transformation using (x + 0.5) to stabilize the variance of populations”, Researches on Population Ecology,
41,pp.229-234.
n Zhang Z, Zhou J, Cao W, et al.,2016, “Causal inference with a quantitative exposure”, Statistical Methods in Medical Research, 25(1):315–335.
n 川⽥恵介・⻄⾕元,2017,「短期留学プログラムが語学⼒到達度に与える影響について:広島⼤学 START プログラムの事例から」
https://cutt.ly/7zBx0Nj（2021/03/29)
n 川⼝太司,2019,「政策評価モデル」,⻄⼭他編著『計量経済学 (New Liberal Arts Selection)』有斐閣,301-457⾴.
n 中村知繁,2019,「統計的因果推論とデータ解析〜適切な運⽤を⽬指して〜」https://bit.ly/3lfqQTS, 2021.0317アクセス.
n 中村知繁,南美穂⼦,2017,「Covariate Balancing Propensity Scoreを ⽤いた，スクイズ作戦の有効性の解析」『統計数理』第65巻第2号,217234⾴.
n 中尾 ⾛,2019,「外部資⾦獲得の効果は?─ ⺟集団情報を反映した因果効果の試⾏的分析 ─」『広島⼤学⼤学院教育学研究科紀要』第三部,第68号,151-159⾴.
n 中尾 ⾛,村澤昌崇,2018,「⼤学教員の⽣産性分析︓再考ｰ新たな計量分析の試み︓⽋損値補完・サンプリングバイアスの補正・“ゼロ”の意味の解釈ｰ」広島⼤学⾼等教育研究開発センター編『ディスカッションペーパーシリーズ』 No.9.
n 康永秀⽣,2018,「第1回 傾向スコア分析（その1） 」『m3 Peer Review スペシャリストの視点』https://bit.ly/3lfvams,2021.0317アクセス.

謝辞
n本研究を進めるにあたり、以下のJSPS科研費の助成を受けています。
pJP19H00621（研究代表者︓⼩林信⼀,「知のオープン化時代の⼤学・科学相関システムの再構築」）
pJP19H01690（研究代表者︓⻄⾕元,「海外留学プログラムの効果検証︓⼤規模パネル
データによる学⽣の⼼理特性の変化の分析」）
pJP18K18652（研究代表者︓⻄⾕元，「英語⼒向上と教育プログラムとの相関関係︓⼤規模データによる統計的分析」）
pJP20H01643（研究代表者︓村澤昌崇,「EBPMの批判的検討を通じた⾼等教育政策・研究の⾼度化とEIPMへの展開可能性」）
pJP18K18651（研究代表者︓村澤昌崇,「多様な使命と⽬的を同時最適化する卓越した⼤学モデルの探索」）
pJP20J14673（⽇本学術振興会特別研究員︓中尾⾛,「⾼等教育政策を事例にしたEBPMの批判的検討」 ）nSpecial Thanks to:p⻄⾕ 元 先⽣（広島⼤学）
p妹尾 薫 ⽒（広島⼤学・職員︓データの提供にはホンマ世話になり、ご迷惑をおかけしました･･･）p樊 怡⾈ ⽒（広島⼤学⼤学院），中尾 ⾛ ⽒（広島⼤学⼤学院）