Replikatsioonikriis

Replikatsioonikriis viitab teadusmetodoloogilisele kriisile, mis seisneb erinevate teadusharude uuringutulemuste mittekorratavuses. 
Replikatsioon on üheks teaduse nurgakiviks – eksperimendi tulemuste kordamine originaaleksperimentaatorist sõltumata annab kinnitust tulemuste objektiivsusele. Originaaluuringust erinev tulemus replikatsiooniuuringu(te)s viitab aga sellele, et kusagil on viga – kas tehti eksimus replikatsiooniuuringus või on originaaluuringus midagi valesti ning selle järeldused on eksitavad.
Ajakirjas Nature avaldatud replikatsioonikriisi ulatust uurivast küsitlusest selgub, et 1576 küsitletud teadlasest 70% on ebaõnnestunud teiste teadlaste eksperimendi kordamises ning 50% iseenda eksperimendi replikeerimisel. Replikatsioonikriisi teaduses eitab 3% küsitlusele vastanud teadlastest, 7% ei oska vastata ning 38% ja 52% vastanutest arvab vastavalt, et teadust iseloomustab kerge või tõsine replikatsioonikriis.

Replikatsiooni mõiste

Teadusuuringu replikatsioon tähendab olemasoleva teadusuuringu tulemus(t)e kordamist tuginedes uutele andmetele, kuid järgides täpselt originaaluuringus kasutatud protseduure. Antud kontekstis eristatakse replikatsioon reprodutseerimise mõistest, mis viitab uuringutulemuste kordamisele kasutades esialgse uuringu andmeid. Reprodutseerimise ja selle sarnaste mõistete selgemaks määratlemiseks on välja pakutud kolmene eristus: metoodite-, tulemuste- ja järelduslik reprodutseeritavus. Meetodite reprodutseeritavus tähendab uuringu eksperimentaalsete ja/või komputatsiooniliste protseduuride täpset kordamist. Tulemuste reprodutseeritavuse all peetakse silmas seda, mille kohta traditsiooniliselt öeldakse replikatsioon ehk tulemuste kordamist samade meetodite rakendamisel uues uuringus. Järelduslik reprodutseeritavus osutab aga replikatsiooniuuringu või teistkordse analüüsi tulemustele tuginedes sarnaste ja sama tugevate järeldusteni jõudmisele.

Psühholoogia

2015. aastal avaldatud psühholoogiauuringute korratavust hindavast aruandest selgub, et ligikaudu 30–50% sajast 2008. aastal mõjukas teadusajakirjas avaldatud uuringutulemusest on replikeeritavad. Vastuseks sellele artiklile avaldati teadusajakirjas Science kommentaar, milles väidetakse, et eelnevalt mainitud uuring sisaldab kolme statistilist viga ning andmeid õigesti analüüsides toetavad need seisukohta, mille kohaselt psühholoogiteaduse replikeeritavus on suhteliselt kõrge. Gilberti ja teiste kommentaari on omakorda kritiseeritud,, ja ühe vahekokkuvõttena väidetud, et replikatsiooniprojekti tulemusi võiks kokkuvõtlikult tõlgendada kui 40% uuringutest replikeerub, 30% ei replikeeru ning 30% puhul ei saa lõplikku järeldust teha.
Teises ülevaate uuringus, tuginedes saja mõjuka psühholoogia teadusajakirja artiklite analüüsile aastast 1900, selgub, et kõikidest psühholoogiauuringutest 1,07% on replikatsiooniuuringud. Ühtlasi leiti antud ülevaates, et enamus replikatsioonide puhul õnnestus uuringutulemusi korrata ning et õnnestumise määr kasvas, kui kordajaks oli artikli originaalautor.

Küsitavad uurimispraktikad (QPRs)

Üheks uuringutulemuste korratavust mõjutavaks allikaks peetakse mitteteaduslikke uurimispraktikaid nagu selektiivne tulemuste või andmete avalikustamine, valikuline andmekogumise peatamine (lähtudes soovitud statistilisest olulisusest), p-väärtuste ümardamine, statistiliselt mitte oluliste tulemuste mitteavaldamine, katse järgselt uuringu ümbermõtestamine või erindite eemaldamine andmeanalüüsi käigus. Rohkem kui 2000 uurimistööga tegeleva psühholoogi vastustele tuginedes leiti 2012. aastal tehtud uuringus, et suurem osa teadlastest tunnistas vähemalt ühe eespool nimetatud praktika kasutamist.

Madal statistiline võimsus

John Ioannidis on simulatsioonimudelitele tuginedes näidanud, et avaldatud teadustulemustest oodatust palju suurem osa on tõenäoliselt valepositiivsed. See tuleneb teadustulemuste usaldusväärsuse ülehindamisest, avastuste üldisest madalast baasmäärast, uurijate paindlikkusest andmete analüüsimisel ning madalast statistilisest võimsusest ehk tõenäosusest tuvastada statistiliselt oluline erinevus, kui see tõesti eksisteerib. Adekvaatseks statistiliseks võimsuseks peetakse üldiselt .80, mis tähendab, et 10 uuringu puhul, kus kõigis tõesti eksisteerib statistiliselt oluline erinevus, jääks see kahes uuringus tuvastamata. Psühholoogiauuringute keskmiseks võimsuseks on hinnatud .40 Sarnases analüüsis neuroteaduse uuringute kohta leitakse, et neuroteaduse keskmine statistiline võimsus on ligikaudu 0,20. See tähendab, et isegi kui tegelikult võiks kümnest psühholoogia või neuroteaduse uuringust kõigis leida statistiliselt olulise erinevuse, jääks see neist üle pooltes tuvastamata. Ühtlasi on madal võimsus indikaatoriks sellest, et uuringute valimid on liiga väikesed ning negatiivsete uurimistulemuste süstemaatilisest mitteavaldamisest.

Näited ebaõnnestunud replikatsioonidest psühholoogias

Ego kurnamise (ego depletion) teooria järgi on inimese tahtejõud piiratud ressurss, mis enesekontrolli rakendamisel (näiteks ahvatlusele mitte järgi andmisel) väheneb ja omab seeläbi mõju sooritusele. Seda teooriat toetavaid eksperimente püüti korrata 2016. aastal 23 laborit hõlmanud replikatsiooniuuringus, mille valim moodustus 2141 inimesest ning mille tulemusel leiti, et ego kurnamise efekt on väga väike või nullilähedane. Tulemus on seda hämmastavam, et 2010. aastal viidi läbi 83 uuringut hõlmav metaanalüüs, mille tulemusel leiti, et ego kurnamise efekt tõesti eksisteerib. See vastuolu seab kahtluse alla ka metaanalüüside usaldusväärsuse – kuivõrd paljudes individuaalsetes uuringutes rakendatakse küsitavaid uurimispraktikaid, publitseerimine on kallutatud ja statistiline võimsus on väike, siis kanduvad kallutatud tulemused süstemaatiliselt üle ka metaanalüüsidesse,
Praimimisuuringute replikatsioonid