Etter restaurasjonen tok Karl II over huset og gjorde det til residens for , en ærstittel som alltid innehas av noen som er står monarken nær.