Los castillos de la ciudad fueron totalmente derribados en 1572, por orden de Felipe II, siendo virrey Vespasiano Gonzaga.