Gjemsø klosters virksomheter og eiendommer ble administrert fra hovedgården på Klosterøya. Eiendomskomplekset var krongods fra reformasjonen og inntil 1662. Da ble det overdratt til general og lensherre i Bratsberg, Jørgen Bjelke, som dekning av de store beløpene som kronen skyldte ham. Han solgte i 1666 eiendommene til visestattholder Frederik Gabel som samme år solgte dem til admiralen Cort Adeler som var født i Brevik og hadde familie i distriktet. Eiendommene ble deretter eid av hans etterkommere i flere generasjoner.