Es conocida la leyenda, según la cual la marquesa Ana de Velasco se enfrentó valerosamente en 1516 a las gentes de armas del coronel Cristóbal Villalba, impidiendo que se llevase a cabo la demolición de la fortaleza, decretada por el Cisneros.