Según la tradición, en el torreón estuvo alojado el rey Francisco I de Francia (1494–1547), hecho prisionero en la Batalla de Pavía (1525).