Endelig i 1666 ble Farvergaarden til Vartov da man gjendannet hospitalet med 130 senger i det tidligere barnehjemmet og enda en gang flyttet navnet med. Stiftelsen fikk økonomisk støtte av dronning Sophie Amalie som donerte riksdaler som bidrag til kjøpesummen, men allikevel var det smått med penger og bygningens tilstand var dårlig.