Carsten Anker bygde om huset etter at han tok over som eier slik at det fikk en samlet golvflate på mer enn 2 000 kvadratmeter, inspirert av tidens moderne franske og danske arkitektur, og med nyklassisistiske drag i utformingen av eksteriøret. En rekke tegninger i Riksarkivet viser flere forslag om hvordan det eksisterende huset på to etasjer kunne bygges ut med for eksempel en ekstra etasje.