Kongen solgte i 1662 Bratsberg sammen med Gjemsø kloster til lensherren, general Jørgen Bjelke. Denne solgte snart eiendommene til Christoffer Gabel, som i 1666 solgte dem til admiral Cort Adeler. Eiendommene ble holdt sammen og solgt av Adelers etterkommere til eidsvollsmannen Didrich von Cappelen (død 1828), Skien. Ved arveoppgjøret etter Cappelen, ble Bratsberg og Gjemsø skilt fra hverandre. Bratsberg ble arvet av hans datter (død 1834), gift med Christopher H. Blom (død 1879) fra slekten Blom. Deres sønn Didrik Cappelen Blom (1834–94), eide og bodde på gården, samt fikk oppført den nye hovedbygningen i 1880. Han var far til Dorothea Blom, gift med godseier Harald Løvenskiold (1868–1934).