社会科学における実験研究の再現性と透明性
今井 泰佑 — 大阪大学 社会経済研究所

カリフォルニア工科大学
Ph.D. / Postdoc– 2017.07

ルートヴィヒ・マクシミリアン大学 ミュンヘン
Assistant Professor

2017.08 – 2023.09

大阪大学 社会経済研究所教授

2023.10 –1 / 14

• 行動・実験経済学• 意思決定の理論モデル ⇝ 基礎研究

• 不確実性下，異時点間の意思決定• 実験デザイン，データ分析手法の開発• ラボ・オンライン実験への応用• 気候変動・温室効果ガス排出 ⇝ 応用研究

• CO2 排出量の情報提供による行動変容• カーボンプライシング政策の受容性• アメリカ，ドイツの代表サンプルを対象とした大規模オンライン実験• メタサイエンス (“Science of Science”) • 実験研究の再現性の検証• メタ分析による既存の研究結果の統合• 研究者を対象とした，オープンサイエンスに関するサーベイ調査
2 / 14

•「再現性の危機」reproducibility/replicability crisis• 心理学の主要 3 誌に掲載された 97 の実験⇝ 再現成功率は 36% Open Science Collaboration (2015)

Baker (2016)

3 / 14

Experimental Economics Replication Project
Camerer, Dreber, ... Imai, ... Wu (2016) Science• 経済学の二大トップジャーナル• American Economic Review• Quarterly Journal of Economicsに，2011 年から 2014 年の間に掲載された18のラボ実験が対象• 直接的再現実験 ⇝ オリジナルの実験プロトコルに（可能な限り）従う

4 / 14

Experimental Economics Replication Project
Camerer, Dreber, ... Imai, ... Wu (2016) Science3333• 61.1% (11/18)で統計的に有意な結果

3333• 再現実験で得られた効果量は平均でオリジナルの 65.9%333（標準化）効果量
5 / 14

Social Science Replication Project
Camerer, Dreber, ... Imai, ... Wu (2018) Nature Human Behaviour• 対象：21の実験研究• Nature, Science• 2011 年から 2015 年の間に掲載• 社会科学分野全般• 61.9% (13/21)で統計的に有意な結果• 再現実験で得られた効果量は平均でオリジナルの 46.2%

6 / 14

Social Science Replication Project
Camerer, Dreber, ... Imai, ... Wu (2018) Nature Human Behaviour

23

Hauser et al. (2014) , Nature

Market belief (replicated, p < 0.05)

22

Gneezy et al. (2014) , Science

Market belief (not replicated, p > 0.05)

24

Janssen et al. (2010) , ScienceSurvey belief (replicated, p < 0.05)

18• 再現成功の予想確率

Survey belief (not replicated, p > 0.05)

Balafoutas and Sutter (2012) , Science31

Pyc and Rawson (2010) , Science
17

Aviezer et al. (2012) , Science30

Nishi et al. (2015) , Nature20

Duncan et al. (2012) , Science• サーベイ，予想市場

25

Karpicke and Blunt (2011) , Science19

Derex et al. (2013) , Nature
27

Kovacs et al. (2010) , Science29

Morewedge et al. (2010) , Science• 社会科学分野の研究者・博士学生

36

Wilson et al. (2014) , Science
33

Rand et al. (2012) , Nature
32

Ramirez and Beilock (2011) , Science
35

Sparrow et al. (2011) , Science
34

Shah et al. (2012) , Science21

Gervais and Norenzayan (2012) , Science
26

Kidd and Castano (2013) , Science28

Lee and Schwarz (2010) , Science
1600

90100%
1.

80

0.

700.

600.

500.

400.

300.

0.

2050%
Prediction market and survey beliefs
再現成功の予想確率

0.

00

0.

0%

10Ackerman et al. (2010) , Science0.

• 予想確率と再現結果は強く相関

6 / 14

再現性問題の原因• 疑わしい研究慣行 questionable research practices• P 値ハッキング p-hacking• 結果の選択的報告 selective reporting• 仮説の後付け hypothesizing after the results are known• 結果を見た後の追加データ収集⇝「研究者自由度」の操作 researcher degree of freedom• 出版バイアス publication bias⇝ 統計的に有意 (p < 0.05) で，新奇な結果の方が学術誌に掲載されやすい⇝「お蔵入り」問題 file-drawer problem

7 / 14

研究者自由度の問題に対する取り組み• 研究の「事前登録」
pre-registration, pre-analysis plans• 疑わしい研究慣行• P 値ハッキング• 結果の選択的報告• 仮説の後付け• 結果を見た後の追加データ収集⇝「研究者自由度」の操作• 仮説・デザイン• 変数の定義と測定方法• サンプリング計画• 詳細な分析計画• タイムスタンプ付きでレジストリに登録・公開• AEA RCT Registry• AsPredicted• Open Science Framework 実験研究コミュニティ内でも意見が分かれる
8 / 14• Economic Science Association に所属する実験経済学者を対象にサーベイ調査を実施
Imai et al. (in progress)•「事前登録」の現在の実施動向や態度• 500 人以上の回答• パネルディスカッション• ESA 2023 World Meeting（モデレーター）• ASSA 2024 Annual Meeting（パネリスト）• 今後の活動計画
2023.06 @ Lyon

• 学会レベルでのディスカッションを継続• メタサイエンスによる「エビデンス」提供

 実験研究の透明性と信頼性を高める

9 / 14

行動・実験経済学の評価と統合• システマティック・レビュー，メタ分析⇝ 他分野に比べ，経済学ではあまりポピュラーではない• 行動経済学の二大トピックに応用• 現在志向バイアス present bias
• 損失回避 loss aversion

10 / 14

現在志向バイアスのメタ分析 Imai, Rutter, Camerer (2021) Economic Journalu(x0 ) + β∑

δt u(xt )• 論文 × 28• β 推定値 × 220

Barton (2015)
Janssens et al. (2017)
Sawada and Kuroishi (2015a)
Abebe et al. (2017)
Koelle and Wenner (2018)
Andreoni et al. (2017)
Boonmanunt et al. (2018)
Yang and Carlsson (2016)
Augenblick et al. (2015)
Bartos et al. (2018)
Imas et al. (2018)
Liu et al. (2014)
Hvide and Lee (2016)
Balakrishnan et al. (2017)
Chen et al. (2018)
Banerji et al. (2018)
Luehrmann et al. (2018)
Bousquet (2016)
Sun and Potters (2016)
Ashton (2015)
Carvalho et al. (2016a)
Andreoni et al. (2015)
Barcellos and Carvalho (2014)
Lindner and Rose (2017)
Carvalho et al. (2016b)
Sawada and Kuroishi (2015b)
Andreoni and Sprenger (2012a)
Corbett (2016)
Brocas et al. (2018)
Aycinena et al. (2015)
Aycinena and Rentschler (2018)
0.6

0.7

0.8

0.9

1.0

1.1

Aggregate PB estimate

11 / 14

損失回避のメタ分析 Brown, Imai, Vieider, Camerer (in press) Journal of Economic Literature
0.8v(x) =xα− λ (−x)β• 論文 × 150

if x ⩾ 0if x < 00.6
Density{n = 522

median = 1.69

0.40.2• λ 推定値 × 607

max = 23.5

0.0

01234
Loss aversion coefficient (λ)

5612 / 14展望：オープンサイエンス2.0

メタ分析
仮説

デザイン

実験

分析

報告

「失敗」
•「再現性の危機」以降のオープンサイエンスの動き ⇝「結果」に重点• 実験研究の「プロセス」
 単独のラボでは困難
13 / 14 Lab2 ⇝ “laboratory of laboratory”• 共同研究ネットワーク
ベルリン
ストックホルム
オックスフォード
リヨン
ミュンヘン
大阪
⇝ アジア太平洋地域のハブ

https://labsquare.net
14 / 14 taisuke.imai@iser.osaka-u.ac.jp
 https://www.taisukeimai.com
 https://labsquare.net