Gården ble i 1746 delt mellom brødrene Lars og Søren Eriksen i gårdene Høvik Nordre og Høvik Søndre. I 1833 var det registrert 7 husmannsplasser tilknyttet de to gårdene. Slottsprest Sverdrup kjøpte Søndre Høvik i 1788. Han bygget et nytt hovedhus og Høvik ble nå benyttet som sommerhus. Høvikodden og Høvikstranden ble utskilt i 1845. Etter en rekke eierbytter ble Søndre Høvik i 1919 kjøpt av fabrikkeier Fredrik Møller. Hans etterkommere eide gården frem til 1970-tallet.