Herregården ble bygget som residens for Ulrik Frederik Gyldenløve, bygningen ble påbegynt i 1674 og stod ferdig til hans tredje bryllup med Antoinette Augusta von Aldenburg den 16. august 1677. Gyldenløve var første eier av Laurvigen grevskap og stattholder i Norge. Grevskapet gikk i arv til Gyldenløves etterkommere. Fortsatt er noen rom bevart fra den eldste fasen, mens de fleste rom i hovedbygningen har malte interiører fra 1730-årene. Gyldenløves sønn Ferdinand Anton Danneskiold-Laurvig påbygget tømmerbygningen til den form den har i dag. Dette skjedde i anledning kong Christian 6's norgesbesøk i 1733.