I 1795 brændte Vajsenhuset igen i den næste bybrand. Vajsenhusets aktiviteter blev derefter spredt til flere forskellige steder, hvorfra der blev drevet skole og bogtrykkeri etc. I 1811 flyttede det til Købmagergade, og ophørte i 1826 som skolehjem. Vajsenhuset flyttede i 1875 til sin nuværende beliggenhed i Nørre Farimagsgade i en bygning opført 1874–75 af Carl Ferdinand Rasmussen, der vandt en konkurrence. Bygningen er inspireret af florentisk renæssance.