Gården har hatt en bebyggelse som storgård fra middelalderen, med flere hus bygd av tømmer og rundt et gårdstun. I lange tidsrom var bebyggelsen dårlig vedlikeholdt og mindre egnet som bolig for lensherrene. I stedet bodde lensherren i kronens gård på Eidet i Skien, mens Bratsberg tjente som "ladegård" eller "avlsgård". I 1640 måtte Ove Gjedde la utføre store utbedringer og moderniseringer av bebyggelsen på Bratsberg. Allerede hans forgjenger Eiler Urne hadde funnet bebyggelsen så dårlig at han mente den var ubeboelig. På 1800-tallet eksisterte det en to etasjes hovedbygning i treverk. Den ble revet og i 1880 ble det oppført en ny hovedbygning i sveitserstil, etter tegninger av ingeniør Johan Christie som eide «Lagmannsgården» ved Skien. Den nye, store hovedbygningen brant ned i 1911 og ble ikke gjenoppbygd.