Sin embargo, se dice que Pedro de Alvarado contribuyó al despoblamiento del sitio, cuando embarcó a varios individuos para su expedición al Perú; por lo que se volvió a restablecer en 1535 por Cristóbal de la Cueva y bajo la advocación de Nuestra Señora de la Victoria.