Da den store nordiske krig var over var kongens økonomi så svak at han måtte selge unna de fleste av sine eiendommer, inkludert gården Buskerud. De mest kjente eierne var Collett-familien. Peter Collett (født 1740) kjøpte gården i 1762 og den var i familiens eie fram til 1883. Gården ble bl.a. eid av høyesterettsdommer Peter Collett, av sønnen John Collett og sønnesønnen Albert Collett. I Collettiden ble det oppført en herskapsbygning med navnet .