Gården var i sagatiden eid av bl.a. lendermennene Dag Eilivsson og Gregorius Dagsson. Dag fikk antakelig bygd den nærliggende kirken på Kapitelberget som nå eksisterer som ruin, og som hørte til gården. Sammen med Bratsberg gård hørte også omfattende jordeiendommer. I 1156 ble Gregorius Dagsson overfalt på gården av Øystein Haraldsson, som også brente gården. Bratsberg gård lå fra 1398 under Gimsøy kloster, men eiendommen var kommet under kronen iallfall fra 1400-tallet. Etter brannen på Gimsøy kloster i 1546 ble gården brukt som residens for lensherrer i Bratsberg amt (som stort sett tilsvarer dagens Telemark), blant annet Iver Jensen «Jernskjegg», før han kjøpte Fresje ved Larvik, samt de opprinnelig danske adelsmennene og Ove Gjedde (død 1660). Fra Ove Gjedde og ektefellen Dorthe Urne finnes i Gjerpen kirke to messing lysestaker med deres slektsvåpen (disses våpen finnes også i Tjølling kirke).