社会⼼理学グループ

社会⼼理学グループ• 本グループの報告は⽂学部の平⽯⼀名による報告となります。

（社会）⼼理学の理論と再現性の微妙な関係
慶應義塾⼤学⽂学部
平⽯界
kaihiraishi@keio.jp@kaihiraishi

構成• 昨年のおさらい• 再現性危機• Questionable Research Practices• Registered Replication Reportやってみた。
• 「⼼理学評論」誌の特集号• Pre-registrationは冗⻑？
• 妙に⾃信あり気な⼼理学者たち（個⼈の感想です）。

• 追試失敗＝理論の間違い？
• 「強い理論」と「弱い理論」論争• ⼼理学はどこに向かうのか。

Open Science Collaboration, 2015

おさらい

2008年に主要雑誌に掲載された論⽂を追試（OSC,2015, Science）。追試”成功率“＜40%
R ES E A RC H | R E S EA R C H A R T I C LE

p−value

Replication Power0.60.7
0.8
0.9

1.00

0.75

Replication Effect Size

先⾏研究：
何らかの効
果が認められた研究＝
緑

Not Significant
Significant

0.50

0.25

0.00

−0.25

−0.50
0.00

0.25

0.50

0.75

1.00

Original Effect SizeFig. 3. Original study effect size versus replication effect size (correlation coefficients).

smaller than original results, and reprodu
success was correlated with indicators
strength of initial evidence, such as lower oP values and larger effect sizes. This sugges
lication, selection, and reporting biases as p
explanations for the difference between oand replication effects. The replication studnificantly reduced these biases because rep
preregistration and pre-analysis plans e
confirmatory tests and reporting of all reThe observed variation in replicatio
original results may reduce certainty ab
statistical inferences from the original
but also provides an opportunity for theo
innovation to explain differing outcom
then new research to test those hypoth
explanations. The correlational evidence
ample, suggests that procedures that archallenging to execute may result in l
producible results, and that more suroriginal effects may be less reproducib
less surprising original effects. Further, satic, repeated replication efforts that fail ttify conditions under which the originalcan be observed reliably may reduce conin the original finding.

追試結果：
何らかの効
果が認められた研究＝
緑Implications and limitations

おさQRPs: Questionable Research Practices らい• ⼭ほど変数をとって、⼿を変え品を変え分析しまくる。
• サンプルサイズの⼩さい実験をいくつも繰り返す。
• データを少しずつ取り⾜しながら、その都度、検定をかける。
有意になったら、そこで終了。
• ⾊々やりまくって、有意になったものだけを報告する。
• 何かが有意になったら、理由（仮説）を考え、最初からその仮説を検証するつもりだったと。
• 「確証バイアス」「調整なしの多重検定」「後知恵バイアス」の特盛三点セット。「記憶の再構成」がトッピングされることも。

Pre-registered Replication

おさらい•研究計画事前登録。
•Supporters• ネガティブ結果のFile-drawer化•Skeptics• ポジティブ結果のFile-drawer化•Open ScienceFramework
https://osf.io/8cepf/

おさ
平⽯ラボ追試成績 (up to Jan 2019) らい仮説

Replication results

男性は⼥性の⾏動から性的な意図を過⼤視しするよ（Haselton & Buss, 2000）。

ポジティブ。しかしオリジナルで検討されていない条件を吟味すると違う絵が⾒えてきた…？

⻑⼦はしっかり者、次⼦は⾰新的（Healey &Ellis, 2007）。

ポジティブ。年齢による効果が考えられるので、中⾼年世代で検証中（これからデータ分析）。

中間⼦は家族との絆が弱い(Salmon & Wilson,1998)。

ネガティブ。先⾏研究と同じデザインでの実施ができなかった可能性があるか？

⺟⽅祖⺟との愛着が⼀番強くて、⽗⽅祖⽗とが最弱だよ(Laham et al, 2005)。

ポジティブ。団塊より上の世代で実施した調査ですらポジティブ。

サバイバル状況を想像して評価した単語は、休暇の場合より覚えられるよ(Nairne et al., 2008)。

ネガティブ。「固い」という評判があっのに…。
Betweenデザインにしたせいか？（4ラボ共同）

⼿がかりが多いほど、裏切り検知推論が強くなる
よ (Cosmides et al., 2010)。

ネガティブ。⼿がかり量とのリニアな関係は⾒られず。
⽅法上の問題か。リベンジしたい。

偶然⽬にした数字に引っ張られてしまうよ（Crithcer & Gilovich, 2008）。

ネガティブ（４ラボ共同）。

2点を近くに打つと、不健康⾷品のカロリーが⾼く感じられるよ（Williams & Bargh, 2008）

ネガティブ（４ラボ共同）。

男は若さと⾒た⽬、⼥は成熟と経済⼒を重視する（Buss, 1989; Sorensen-Beck & Pollet, 2016）

⼀部ネガティブ。現代⽇本では「⾒た⽬」を重視する程度の性差が⼩さくなっている？？（追試の追試計画中）

事前登録事前審査
でやってみました（本⽇の主題）事前登録＋事前審査

おさらい• 事前審査• 事前登録内容に従って論⽂の掲載可否が決まる。
• 結果は論⽂掲載の可否に影響しない。

• QPRsやHARKingを抑⽌できる。
• 研究アイディアの⾯⽩さ⾃体で勝負できる。
• アイディアが「間違っていた」場合にも、そのことが論⽂としてきちんと記録に残る。
• 研究プロセス、研究データの透明化に繋がる。
• ※「新奇性」が好まれることは変わりない。

• 事前登録のincentiveにもなる。

「⼼理学評論」
特集号“そこで本特集号では，⼼理学の明⽇に向けた「新しいかたち」の典型例として，国際的には実践が進みつつある⼀⽅で⽇本の学術誌ではまだ前例のない，研究計画の「事前登録と事前審査」⽅式を私たちの⼿で実践し，その顛末をまとめ，評価するという企画を⽴案した。”
http://team1mile.com/sjpr62-3/

実際の流れ（平⽯ら, 2019の場合）• 2018年度にStudy 1実施• 平⽯ゼミ3年⽣の後期プロジェクトとしての追試研究。
• この時点では⼼理学評論の特集号企画も始まっていない。

• 2019年前半にStudy 2事前登録• Study 1で先⾏研究と異なる結果となった点を検証する計画を⽴案。
• Stage 1 Peer Reviewを経て確定した計画を6⽉25⽇に事前登録。
• 6⽉末に研究倫理申請を提出。

• 2019年後半にStudy 2を実施し、Stage 2査読• 7⽉にデータ収集、8⽉に第1稿提出、2度の査読を経て10⽉に受理• 詳しい経緯はこちら参照• 論⽂やデータはこちら

やってみて分かった、事前登録・事前審査のメリット• 事前登録• そもそも予定していた分析（確認的分析）と、データを⾒てから思いついた分析（探索的分析）を峻別できる。
• 多重検定に⾃覚的になれる。
• 事前審査• 分析⽅針への「お墨付き」が得られる。
• 「性差が⼗分に⼩さいことを確認する」
検定（inferiority test）を⾏うに」あたって、「⼗分に⼩さい」基準設定を、査読者と相談して決めることができた。
• 編集者、査読者の意⾒についてはこちら。

Lakens, D., Scheel, A. M., & Isager, P. M.
(2018). Equivalence Testing for
Psychological Research: A Tutorial.

「事前登録無意味？」論争• “Preregistraion is redundant, at best”• PsyarxivにPreprint登録＞⼤論争• Wagenmakersによる“反論”• A breakdown of preregistration isredundant at best
• タイトルを変更してTICS掲載• Is preregistration worthwhile?
• 個⼈的な感想• 懐疑派は「性善説」、推進派は「性悪説」。
• ⼈間の認知の頼りなさを追求してきた⼼理学の歴史を」踏まえれば「⾃分たちは違う」といい切れる懐疑派（≒性善説派）の態度は不可解だし、不誠実にすら思える。

Openな⼼理科学を⽬指して• 事前登録や事前審査という⼿続きは本質ではない。⼤事なのは科学の透明性。
• 某雑誌にてEditorが⽣データを要求したら、かなりの著者がデータ出さずに取り下げなんて事件も。
• データと分析スクリプトの原則的共有は、研究倫理の⼀環として求められるようになるべき（個⼈の信条です）（⾯倒くさいのも、よく分かります）。
• Japanese Community for Open andReproducible Science (JCORS)やってます。
• 充実のアドベントカレンダーはこちら。
• 参加希望のかたはこちらから。