Для чего нужно вычислять статистическую значимость А/Б-теста?
Чтобы определить, насколько можно верить результатам, полученным в ходе А/Б-тестирования на калькуляторе или другим способом. Метод основан на математической модели, которая просчитывает релевантность данных. Для расчетов необходимо знать уровень достоверности данных и коэффициент конверсии. Также важно значение уровня повышения, то есть увеличения коэффициента конверсии между версиями А и Б. Еще в расчет принимается параметр P-value — вероятность того, что данные получены случайно.