Bit By Bit - Running eksperimente - 4.6 Advies
Of jy dit doen jouself of saam met 'n vennoot, wil ek graag twee stukke van die raad wat ek veral nuttig op my eie werk het gevind bied. In die eerste plek dink so veel as moontlik voordat enige data is ingesamel. Hierdie raad waarskynlik lyk voor die hand liggend om navorsers gewoond aan loop eksperimente, maar dit is baie belangrik vir navorsers wat gewoond is aan die werk met 'n groot data bronne (sien Hoofstuk 2). Met groot databronne meeste van die werk gebeur nadat jy die data het nie, maar eksperimente is die teenoorgestelde; die meeste van die werk moet gebeur voordat jy data in te samel. Een van die beste maniere om jouself te dwing om goed na te dink oor jou ontwerp en analise is om te skep en te registreer 'n ontleding plan vir jou eksperiment. Gelukkig het baie van die beste praktyke vir die ontleding van eksperimentele data is geformaliseer in riglyne verslagdoening, en hierdie riglyne is 'n groot plek om te begin wanneer jy jou analise plan (Schulz et al. 2010; Gerber et al. 2014; Simmons, Nelson, and Simonsohn 2011) .
Die tweede stuk van die raad is dat niemand eksperiment gaan perfek te wees, en as gevolg van daardie, moet jy probeer om 'n reeks eksperimente wat mekaar versterk ontwerp. Ek het selfs gehoor beskryf as die armada strategie; eerder as om te probeer om 'n massiewe slagskip bou, kan jy 'n beter gebou baie kleiner skepe met aanvullende sterkpunte. Hierdie soort van 'n multi-eksperiment studies is roetine in sielkunde, maar hulle is skaars elders. Gelukkig het die lae koste van 'n paar digitale eksperimente maak hierdie soort van 'n multi-eksperiment studie makliker behoort.
Ook, sou ek graag twee stukke van die raad wat nou minder algemeen is, maar is veral belangrik vir die ontwerp van digitale ouderdom eksperimente bied: skep nul marginale koste data en etiek te bou in jou ontwerp.