再現性の危機

再現性の危機（さいげんせいのきき、英: replication crisis, replicability crisis）とは、多くの科学実験の結果が他の研究者やその実験を行った研究者自身による後続の調査において再現することが難しい、もしくはできないという科学における方法論的な危機のことである。この危機には長い歴史があるが、「再現性の危機」というフレーズそのものは2010年代初頭に注意を集める問題の一部として名づけられた。
実験の再現性は科学的方法論において欠かせない部分であるため、有意な理論が再現できない実験研究に基づいている科学の多くの領域において、研究の再現ができないことは潜在的に破滅的な結果をもたらす。
再現性の危機は特に心理学（社会心理学）と医学の領域で広く議論されてきた。これらの領域においては古典的な結果の再調査やその結果の妥当性の評価、そしてもし妥当でないならばなぜ実験の再現が失敗するかの理由について多くの努力が行われてきた。

医学

1990年から2003年にかけての、1000件以上引用された49の医学研究のうち、45の研究で研究された治療法が効果的であったと主張された。これらの研究のうち、16%は後続研究により否定され、16%は治療法の効果が誇張され、24%は再現されなかった。アメリカ食品医薬品局は1977年から1990年にかけて、医学研究の10%から20%に欠陥を発見した。アムジェンに勤務する生命技術コンサルタントの Glenn Begley とテキサス大の Lee Ellis が2012年に出版した論文では、癌の前臨床研究のたった11%しか研究の再現に成功しなかったと主張している。学術雑誌 PLOS Medicine で最近出版された論文のタイトルは "Why Most Clinical Research Is Not Useful"（なぜほとんどの臨床研究は使えないのか）である。

心理学

実験の再現の失敗は心理学に固有のものではなく、科学の全ての領域で発見される。しかしながらいくつかの要素が合わさって心理学を論争の中心に置いてきた。臨床心理学のような他の心理学の領域においても関係はあるものの、多くの焦点は社会心理学の領域に当てられてきた。
まず最初に、疑わしい研究慣習（英: questionable research practices, QRPs）が心理学において一般に認知されてきた。故意のねつ造ではないものの、このような慣習の結果として許容可能な科学的慣習におけるグレーゾーンが利用されるか、もしくは望ましい結果を得るための努力としての柔軟なデータ収集、分析、報告が利用されてきた。QRPsの例として、データを選択して報告する事や部分的な出版（出版にあたって研究条件や収集した従属変数の一部のみを報告する事）、恣意的な停止（データ収集をいつ止めるかをしばしば検定が統計的に有意になるかに基いて選ぶ）、p値の丸め（統計的に有意であることを述べるためにp値を5%となるように丸める事）、ファイル・ドロワー効果（英: file drawer effect）（データが出版されないこと）、ポストホックなストーリー展開（（仮説が無い状況での）探索的な分析を（何らかの仮説についての）確証を得るための分析として見なすこと）、外れ値の操作（統計的検定が有意となるようにデータセットから外れ値を削除したり除去したりすること）などがある。2000人以上の心理学者による聞き取り調査によれば、回答者の多くは少なくとも一つのQRPを用いたことを認めている。出版への圧力、もしくは著者自身の確証バイアスに依ることが多い偽陽的な結論は心理学に固有の災いであり、一部の読者はある程度の懐疑主義を持たなくてはならない。
第二に、特に心理学と社会心理学は明かな研究不正に伴ういくつかのスキャンダルの中心に巻き込まれてきた。最も注記すべきはDiederik Stapelが認めたデータのでっちあげだが、他の研究者に対しても疑惑はある。しかしながら多くの研究者は研究不正は、おそらくは、再現性の危機について大きな寄与はないと認めている。
第三に、心理科学におけるいくつかの効果は現在の再現性の危機以前より再現することが難しいということが発見されてきた。例えば、科学雑誌 Judgment and Decision Making は無意識的思考理論を支持する事に失敗した研究を数年にわたっていくつか発行している。理論に対し強い疑念を持っていない研究グループによって研究実験が事前登録され施行される時、研究の再現は特に難しくなるように思われる。
これら三つの要素は結果として実験の再現についてダニエル・カーネマンによる新たな注意をもたらした。多くの効果の精密な調査はいくつかの中心的な信念は再現する事が難しいことを示してきた。学術雑誌 Social Psychology の最近の特集号のひとつは再現研究に焦点を当てており、今までの固定観念の多くが再現することが難しいことを発見した。学術雑誌 Perspectives on Psychological Science の2012年の特集号でもまた出版バイアスからナル・アバージョン（否定的な結果を避けようとする考え方）まで含む心理学における再現性の危機に寄与する問題について焦点があてられた。2015年、心理学において最初の再現性の公開実証研究が出版された。これはReproducibility Projectと呼ばれている。三つの心理学の最も有力な学術雑誌における100個の実証研究の再現のため世界中の研究者が協力した。行われた再現実験の多くが事前に予期された結果と同じ傾向を示したものの、統計的に有意な水準で再現することに成功したものは半数以下となった。
学者James Coyneは多くの研究実験とメタアナリシスが質の悪さと著者とプロの組織の両方に関連する利益相反によって毀損されており、結果としてある種の精神療法の効果について多くの偽陽性をもたらしていると著している。
再現性の危機は心理学が非科学的であるということを意味しない。むしろこのプロセスは、科学的なプロセスの辛辣な部分ではあるが、健康的である。このプロセスにおいて古い考えや入念かつ精密な調査に耐えることのできない考えが（この方法が常に効率的であるとは限らないものの）排除される。この結論として、かつて信頼できると見なされた心理学のいくつかの分野、例えば社会的プライミング、が再現実験の失敗により詳細な調査の対象となっている。イギリスのインデペンデント紙はReproducibility Projectの結果は出版された研究の多くがただの"心理バブル"（psycho-babble）であることを示したと記している。
ノーベル賞受賞者で心理学の名誉教授であるダニエル・カーネマンは、出版された方法は曖昧であることが多いので、原著者は再現性への努力に携わるべきだと主張している。他の科学者、例えばAndrew Wilson博士はこれに同意せず、出版された方法の詳細を書くべきだと主張している。2012年における心理学分野の再現率調査は、著者が研究の原著者と共同した時、再現研究において高い再現成功率が得られることを示唆している（原著者と共同しない場合の再現成功率は64.6%なのに比べ原著者と共同した研究における再現成功率は91.7%である）。

心理学における再現率

Open Science CollaborationがBrian Nosekと共同して行った2015年8月の報告では三つの高ランクの心理学の学術雑誌から100個の心理科学における研究の再現性を推定した。元々の研究では97%の研究が統計的に有意な効果（p 値が0.05以下）を持っていたのに比べ、再現実験全体の36%が統計的に有意である結果が得られた。再現実験における効果量の平均は元々の研究で報告された効果量のおよそ半分程度の大きさだった。
同じペーパーでは学術雑誌（Journal of Personality and Social Psychology [JPSP], Journal of Experimental Psychology: Learning, Memory, and Cognition [JEP:LMC], Psychological Science [PSCI]）と分野（社会心理学と認知心理学）の再現率と効果量も調査された。研究の再現率はJPSPは23%、JEP:LMCは38%、PSCIは38%であった。認知心理学における研究の再現率は50%で社会心理学における研究の再現率（25%）より高かった。
1900年から2012年の間の心理学の学術雑誌の上位100誌における出版履歴による分析が示唆するところによると、全ての心理学の出版論文の内およそ1.6%については再現実験が行われていた。もし「再現」（"replication"）という用語が論文中に登場したならば、その論文は再現実験が行われていると考慮した。これらの研究の一つのサブセット（500個の研究）を更なる調査の為にランダムに選ぶと、その再現率は低く、1.07%（500個の研究の内342個は再現実験が行われていた）となった。500の研究のサブセットにおいて分析が示すところによれば、出版された再現実験の78.9%が成功していた。少なくとも一人以上の原著者が再現実験に参加した時、再現実験の成功率は有意に高くなった（64.6%に比べて91.7%である）。