Esviken tilhørte frem til 1999 familiekretsen Schou, Egeberg, Wedel-Jarlsberg og Paus, som alle var etterkommere etter industrimannen Halvor Schou. Schou kjøpte Løkenes gård med over mål i slutten av 1860-årene, og fikk bygget sommerboligen Esviken i nygotisk sveitserstil på eiendommen i 1872 etter tegninger av Wilhelm von Hanno.