Datteren Birgitte Halvordine Schou (1857–1930) var gift med industrimannen Einar Westye Egeberg, og de overtok Esvigen og rundt 400 mål av eiendommen. Deres datter Hermine Egeberg (1881–1974) ble i 1901 gift med baron, senere lensgreve, Peder Anker Wedel-Jarlsberg, og de overtok Esvigen, reelt tidlig på 1900-tallet, formelt i 1930. Deres eldste sønn Herman Wedel-Jarlsberg, som senere overtok som stamhusbesitter på Jarlsberg, ble født på Esvigen i 1902. Hermine og Peder brukte Esvigen som sommerbolig, og utvidet hageanlegget betydelig. Peder Anker Wedel-Jarlsberg var knyttet til hoffet som bl.a. hoffsjef og en av kong Haakons nærmeste fortrolige i flere tiår, og kong Haakon og dronning Maud var derfor på besøk på Esviken en rekke ganger. Esviken ligger ikke langt fra Skaugum.