Historien begynte i 1892 da prins Eugen, som var sønn til Oscar II, leide et rom i «Gula huset» på Waldemarsudde, fordi han ville «ha några vackra dagar med guldskimrande aftonljus». Oppholdet ble imidlertid lenger; syv år senere kjøpte han hele eiendommen. Han ba arkitekten Ferdinand Boberg om å tegne og bygge et nytt hus her.