Ved Gyldenløves død i 1704 gikk eiendommen over til sønnen grev Ferdinand Anton Danneskiold-Laurvig som eide den frem til sin død i 1754. Det var under hans eierskap at huset ble endret i årene mellom 1716 og 1723 av arkitekt Johan Cornelius Krieger.