I 1630-årene brukte ikke kongefamilien lenger palasset, og Anthony van Dyck fikk en suite der som landsted. Under den engelske borgerkrig ble bygningen stående og forfalle, og den ble aldri skikkelig restaurert.