Man tester med et representativt utvalg testpersoner, og resultatene er basert på deres subjektive preferanser og ferdigheter. Testlederens kompetanse vil kunne påvirke testresultatene. Brukerne kan også bli hemmet av testsituasjonen og at de blir observert. I tillegg vil testen bare ta for seg et utvalg scenarier, og ikke dekke alle mulige oppgaver nettstedet legger opp til.