Что такое a/b-тестирование?

 

При таком тестировании вы сравниваете два варианта страницы — a и b. a — это исходная страница, которая также называется контрольной, а страница b практически идентична странице a, за исключением одной небольшой модификации. Можно протестировать и больше вариантов (c, d, e…и т.д.), но, чтобы получить статистически значимые результаты, мы рекомендуем сравнивать страницы a и b.

Как проводится a/b-тестирование?

 

Чтобы провести a/b-тестирование, вам понадобится исходная страница (вариант a). Как только ваша страница a будет готова, вам нужно продублировать ее, а затем внести в дубликат одно небольшое изменение, чтобы получилась страница b. Это может быть небольшой кусочек текста, заголовок, кнопка, призыв к действию, или даже просто другой цвет/стиль используемого шрифта. Затем вам нужно показывать эти две страницы двум одинаковым по размеру группам пользователей не менее недели. Собирая данные об активности пользователей за эту неделю, вы сможете понять, какой вариант имеет более высокий уровень конверсии, то есть является победителем.

Как долго нужно проводить a/b-тестирование?

 

Вам нужно проводить a/b-тестирование так долго, сколько потребуется для получения статистически значимых результатов. Ключевой момент здесь в количестве пользовательских сессий на сайте. Если страницу веб-сайта помещают за день 1 миллион пользователей, то a/b-тестирование покажет четкие результаты за несколько часов. Для веб-сайта, который посещает всего 2 пользователя в день, может потребоваться год, чтобы получились статистически значимые результаты. Поведение пользователей обычно меняется за неделю, поэтому мы рекомендуем проводить a/b-тестирование как минимум неделю.

Что такое статистическая значимость?

 

Статистическая значимость — это вероятность того, что более удачный вариант страницы показывает хорошие результаты не случайно. То есть вы можете сделать вывод, что выигрышный вариант стал таким благодаря изменениям, которые вы внесли.