Det viste seg imidlertid å være upraktisk å ha et hospital så langt fra København. De fikk lite oppmerksomhet og donasjonene var beskjedne og selv om det opprinnelig hørte en del landbruksjord til gården, hadde man vanskelig for å klare seg økonomisk. Hospitalet ble derfor flyttet ut i 1630 og det gamle Vartov ble omdannet til tiggerhjem i en årrekke.