Rundt 1723 bygde Henrich Henrichsen Weinwich trolig nytt hele eller deler av hovedbygning. Huset ble ombygget i rokokkostil rundt 1784, da Johan Frederik Cappe eide Store Milde. Et maleri fra 1851 av Tycho Christoffer Jæger (1819–1889) viser at inngangspartiet mot hagen tidligere hadde en søylebåret portiko. På 1880-tallet ble denne erstattet av en ark og altan i sveitserstil.