På øya lå Gimsøy kloster som var nonnekloster og ble overtatt av kronen som statlig eiendom ved reformasjonen. På midten av 1500-tallet var Klosterøya senter for bergverksdrift. Klosterbygningene brant i 1546 og deretter var det en enklere bebyggelse der. Lensherrene i Bratsberg hadde en tid en bolig der. Kronen solgte i 1662 øya med tilhørende eiendommer fra klostertiden. Et par danske adelsmenn eide dette inntil det ble kjøpt av admiral Cort Adeler i 1666. Hans etterkommere lot oppføre en herregård med store uthusbygninger, et større haveanlegg, senere med veksthus, badehus m.m. Hovedbygningen ble ombygd etter at eidsvollsmannen Didrich (von) Cappelen hadde kjøpt eiendomskomplekset med bl.a. Klosterøya i 1820, og da hans sønn Hans Cappelen (1803-1846) hadde overtatt stedet. Hovedbygningen brant i 1885 og ble ikke gjenoppført. Portbygningen eksisterer imidlertid fortsatt, den ble flyttet og er nå hovedinngangen til Brekkeparken, Telemark museum.