Prins Carl og hans ektefelle Ingeborg med barna bebodde villaen frem til 1923 da familien av økonomiske grunner flyttet ut. I 1928 ble huset kjøpt av Alfonso XIII av Spania som offisiell residens for den spanske ambassadøren.