Wildenveys kom til Stavern i 1923, på leting etter et landsted. Leiligheten de hadde bodd i København 1913–20 hadde brent ned, og forsikringsoppgjøret ble en innledende byggekapital. Tomten ble kjøpt på hennes initiativ, og hans brødre utførte byggearbeidene. De flyttet inn til jul i 1927, etter tidligere å ha bodd til leie i Stavern.