Etter Napoleonskrigene ble det nedgangstider, og mange familier kunne ikke lenge opprettholde to husholdninger. De måtte velge mellom å beholde byboligen, eller bruke lystgården som fast bopæl.