Den nåværende hovedbygningen er til dels fra sist på 1600-tallet da den var eid av den opprinnelig tyske general Johan Arnold og hans ektefelle Anne Clausdatter fra Skien (kjent fra bl.a. visen «Stolt Anne» på bygdemål og skrevet av presten Hans Paus). Malte portretter av Anne og Johan Arnold har fulgt gården og henger der fremdeles. I Arnolds tid fikk Borgestad celebert besøk av kong Frederik IV. Værelset som han overnattet i, ble siden beholdt uforandret, visstnok helt til Gunnar Knudsens ombygging av hovedbygningen i 1880-årene.