Gården har vært delt, men major Fredrik Christian Coldevin og kaptein Ulrik Ferdinand Klüwer samlet den hver sin gang i siste halvdel av 1700-tallet. Gården ble kjøpt av major Jacob (Jobst) Conrad von Hirsch i 1786. Den senere oberstløytnant og stortingsmann Robertus Hirsch fikk skjøte på By av faren i 1821, men solgte gården til Ole Øvre Richter på nabogården Mæle i 1840.