再現性の危機
編集スタッフは草稿を出版受理する前に、小さいサンプルサイズにおける試行からの驚くべき発見を行った研究の再現性について尋ねるようにしている、と筆頭編集者は記している。
2016年7月に、Netherlands Organisation for Scientific Research(英語版)は再現研究のために300万ユーロを拠出した。この資金は現在あるデータの再解析に基づいた再現と新しいデータの収集と分析による再現のためのものである。資金は社会科学、健康についての研究、ヘルスケア・イノベーションの領域で使用可能である。
2017年6月に72人の著名な研究者が、新たな発見をしたと主張する際の証拠の統計的基準の低さが再現性の危機の一因になっているとする論文を発表した。新発見の統計的有意性を評価するために、科学者が好んで用いるP値の閾値は0.05から0.005に引き下げるべきであると、統計学の大家たちは主張する。その一方、イリノイ工科大学の計算機科学者Shlomo Argamonは「実験する方法が多数ある限り、どんなに小さいP値の閾値を用いてもその中に一つの実験方法が偶然に有意になる可能性が極めて高い」と新しい方法論的な基準を求める。実際小さいP値の閾値を用いたらお蔵入り問題がより著しくなり、多数の論文が出版できなくなる。
これら三つの要素は結果として実験の再現についてダニエル・カーネマンによる新たな注意をもたらした。多くの効果の精密な調査はいくつかの中心的な信念は再現する事が難しいことを示してきた。学術雑誌 Social Psychology の最近の特集号のひとつは再現研究に焦点を当てており、今までの固定観念の多くが再現することが難しいことを発見した。学術雑誌 Perspectives on Psychological Science の2012年の特集号でもまた出版バイアスからナル・アバージョン(否定的な結果を避けようとする考え方)まで含む心理学における再現性の危機に寄与する問題について焦点があてられた。2015年、心理学において最初の再現性の公開実証研究が出版された。これはReproducibility Project(英語版)と呼ばれている。三つの心理学の最も有力な学術雑誌における100個の実証研究の再現のため世界中の研究者が協力した。行われた再現実験の多くが事前に予期された結果と同じ傾向を示したものの、統計的に有意な水準で再現することに成功したものは半数以下となった。
学者James Coyneは多くの研究実験とメタアナリシスが質の悪さと著者とプロの組織の両方に関連する利益相反によって毀損されており、結果としてある種の精神療法の効果について多くの偽陽性をもたらしていると著している。
1990年から2003年にかけての、1000件以上引用された49の医学研究のうち、45の研究で研究された治療法が効果的であったと主張された。これらの研究のうち、16%は後続研究により否定され、16%は治療法の効果が誇張され、24%は再現されなかった。アメリカ食品医薬品局は1977年から1990年にかけて、医学研究の10%から20%に欠陥を発見した。アムジェンに勤務する生命技術コンサルタントの Glenn Begley とテキサス大の Lee Ellis が2012年に出版した論文では、癌の前臨床研究のたった11%しか研究の再現に成功しなかったと主張している。学術雑誌 PLOS Medicine で最近出版された論文のタイトルは "Why Most Clinical Research Is Not Useful"(なぜほとんどの臨床研究は使えないのか)である。