I 1607 flyttede Christian 4. de gamle og syge fra Helligåndshuset ud til sin lystgård Vartov i Hellerup, og etablerede i stedet tugthus og arbejdsanstalt i hele kvarteret omkring det tidligere hospital. Løsgængeri var udbredt, og der var flere omstrejfere i København, end der var plads til i det gamle farveri i Farvergade, som fungerede som tugthus. De blev nu flyttet til det nedlagte hospital for at lære nyttige håndværk, og kongen anså produktionen fra denne håndværkerskole som en fremtidig indtægtskilde for nationen. Men løsgængerne lod sig ikke motivere til nogen videre indsats; selv om kønnene blev holdt strengt adskilt, gik kvindehuset alligevel under kaldenavnet "horestuen". Efter nogle år satte kongen i stedet sin lid til de indbragte børn i børnehuset. Efter Københavns brand 1728 stod kun Helligåndshuset tilbage; men navnet levede videre som Tugthusporten frem til 1843.