Test A/B pozwala na zbadanie popularności jednej z dwóch alternatyw. W przypadku sklepów e-commerce polega np. na przygotowaniu dwóch wersji interfejsu sklepu – z daną modyfikacją oraz bez niej – a następnie skierowaniu ruchu użytkowników na każdą z tych wersji po połowie w celu sprawdzenia, która będzie chętniej wybierana, a więc lepsza z punktu widzenia user experience. Aby wyniki testów A/B były wartościowe, należy zadbać o ich tzw. istotność statystyczną – czyli o miarę prawdopodobieństwa, że wynik odzwierciedlać będzie rzeczywistość i że można będzie na jego podstawie wyciągać racjonalne wnioski. Innymi słowy należy wykluczyć, że uzyskany wynik jest dziełem przypadku wynikającego z przeprowadzenia badania na zbyt małej, niereprezentatywnej próbie.