Da Henrik VIII døde i 1547 var ikke palasset ferdig. Maria I solgte det i 1556 til Thomas FitzAlan, 12. jarl av Arundel. I 1590-årene ble det igjen kongelig eiendom, og Elizabeth I tilbrakte en del av sin tid der. Det forble en kongelig residens inntil 1670, da Karl II gav det til sin elskerinne Barbara Palmer. Grunnen til dette var at hun trengte penger til å betale spillegjeld.