Etter Fastings død ble eiendommen solgt til kjøpmann Hansen, som «til Erindring om dens første Eiermand kaldte den Fastings Minde». Hansen bodde her med sin hustru, Magdalena Christine von der Lippe, frem til sin død i 1825. Svigerinnen, Wenche von der Lippe, overtok da eiendommen sammen med sin mann, Conrad Mowinckel. Huset hadde i Fastings tid ingen fløyer, og tar seg på ett av Dreiers prospekter ut som et lite tårn. Da huset i 1834 ble avbildet i et maleri av I. C. Dahl, hadde bygningen ennå ikke sidefløyer. Først på et kart fra 1848, samme året som Johan Ernst Mowinckel kjøpte eiendommen, er sidefløyene tegnet inn. Huset ble solgt videre til Hagmann og dr. Frants Theodor Rosenberg (1817-1878).