Herregården er den første i Danmark i barokk og er oppført i røde mursten samt i sandsten med rødt tegltak. Den er omgitt av en vollgrav på opprinnelig fire, men siden 1780-årene tre sider. Fra 1809 inntil lensavløsningen var herregården sentrum for Baroniet Stampenborg.