Befestningen ved Ladegården skulle verne demningen mellom Sankt Jørgens Sø og Peblingesøen. Gården ble aldri lønnsom, og kongen måtte årlig dekke underskuddet til den omsider ble forpaktet bort. Etter dette begynte en utstykking av jordene til blant andre nederlandske bønder, som derved la grunnen til som ble anlagt med 10 gårder på hver side av den nåværende Allégade langs Frederiksberg Have. Under svenskenes beleiring av København i 1658/59 ble bygningen skutt i grus. Ruinen ble i starten av 1660-tallet kjøpt av embetsmannen Christoffer Gabel, og i 1710 ble den innrettet til kvesthus. Under pesten 1711-13 huset gården hundre pestsyke om gangen, og sammen med pesthospitalet Vodroffsgård hadde den en barber (dvs. bartskjær, kirurg) som sjef.