Like før sin død i 1675 ervervet Greger von Schönfeldt eiendommen og satte i gang med en omfattende om- og påbygging av huset. Arkitekt var trolig Jean de la Vallée med hjelp av billedhuggeren Burchardt Precht. Den ombyggingen som von Schönfeldt startet, ble fullført av hans hustru Anna Hanssen (1645–1693), som sammen med fire barn flyttet inn på begynnelsen av 1680-tallet.