De første private eierne, borgermesteren Christen Andersen og ektefellen Anne Gundersdatter, overtok i 1638. Anne var siden gift med Gjert Clausen (Niemand). I 1691, kort før sin død, pantsatte Anne gården til svigersønnen Halvor Borse. Allerede rundt 1695 overtok imidlertid Annes datterdatter Anne Clausdatter og hennes daværende ektemann Stig Andersen Tonsberg. De fikk oppført dagens hovedbygning.