Да.
Понятно, что если будут проблемы с интернетом или сайт будет лежать - тест не пройдет. 
Другой вариант поднимать до тестов еще какой-либо простейший сервис, который будет каким-то образом отвечать на запросы (эмулировать некий бэкенд), а потом опускать его.. Но будет ли от это лучше?