Aunque nunca fue un castillo, la mansión estuvo protegida por murallas desde 1195, cuando Richard Vernon recibió el permiso para construirlas.