I 1795 brant Vajsenhuset igjen da det ble offer for Københavns brann i 1795. Vajsenhusets aktiviteter ble deretter spredd til flere forskjellige steder, hvor det ble drevet skole og boktrykkeri etc. Skolen flyttet i 1875 til sin nåværende beliggenhet i Nørre Farimagsgade i en bygning oppført 1874–75 av Carl Ferdinand Rasmussen, som vant 1. premie i en konkurranse. Bygningen imiterer florentisk renessanse.