Die meeste A/B -toetsinstrumente maak staat op een van twee tipes statistiese afleidings: Frequentistiese of Bayesiaanse statistieke. Elke skool het verskillende voor- en nadele - Die frekwensistiese statistieke vereis dat 'n steekproef vasgestel word voordat 'n eksperiment uitgevoer word, en Bayesiaanse statistieke gee veral om goeie rigtinggewende besluite, eerder as om 'n enkele figuur vir impak te noem, om twee voorbeelde te noem. Die supermoondheid van Optimizely is dat dit die enigste hulpmiddel op die mark is om vandag 'n die beste van albei wêrelde benadering.
Resultate word as afdoende beskou in die konteks van 'n Optimizely -eksperiment wanneer dit bereik is statistiese betekenis. Statistiese betekenis is 'n moeilike wiskundige term, maar in wese is dit die waarskynlikheid dat u waarnemings die gevolg is van 'n werklike verskil tussen twee populasies, en nie net 'n toevallige kans nie.
Optimisely se gerapporteerde statistiese betekenisvlakke is "altyd geldig" danksy 'n wiskundige konsep opeenvolgende toetsing - dit maak hulle eintlik baie betroubaarder as dié van ander toetsinstrumente, wat geneig is tot allerhande probleme om na te kyk as u dit te gou lees.
Dit is die moeite werd om te oorweeg watter statistiese betekenisvolheid u vir u toetsprogram belangrik ag. Alhoewel 95% die konvensie in die wetenskaplike gemeenskap is, toets ons veranderings op die webwerf, nie entstowwe nie. Nog 'n algemene keuse in die eksperimentele wêreld: 90%. Maar is u bereid om 'n bietjie meer onsekerheid te aanvaar om eksperimente vinniger uit te voer en meer idees te toets? Gebruik u 85% of selfs 80% statistiese betekenisvolheid? Om doelbewus te wees oor u risiko-beloning-saldo kan mettertyd eksponensiële dividende uitbetaal, dus dink goed hieroor na.