Eiendommen ble først bygslet av handelsmann og grosserer Eskild Larsen. Eiendommen hadde da et areal på 50 mål. Han dyrket opp jorden og bygget bare et lite hus. I 1818 ble eiendommen kjøpt av regjeringsadvokat Jonas Anton Hielm, som navnga denne etter sin hustru Sophie Magdalene. Hielm bygget både om og på huset til dagens form, før han flyttet til Alby gård på Jeløya i 1824, og solgte da Sofienlund til generalkonsul og bankier Hans Faye i 1824 som fikk pusset tømmerfasadene og fikk et påbygg mot hagen. Etter dennes død i 1852, ble eiendommen året etter solgt til eieren av storgården Vestre Holmen gård, Hans Olssøn Holmen som moderniserte sidebygningen.