La mayor parte del edificio se construyó entre 1699-1712 para el conde de Carlisle, siguiendo un diseño de "sir" John Vanbrugh.