En 1719, mientras la duquesa se encontraba fuera de su casa, Vanbrugh consiguió ver el palacio de forma secreta; pero cuando intentó realizar una visita junto a su esposa en 1725, entrando como una persona más del público, le fue prohibida la entrada, incluso a los jardines.