Isabel I vivía a menudo en el palacio, y se dice que pasó allí la noche mientras esperaba que la Armada española navegara el canal durante la guerra anglo-española.