Sin embargo, los nuevos pobladores fueron atacados por los indios que habitaban en los alrededores y la villa estuvo a punto de desaparecer; en 1581 varias familias se refugiaron en Mazapil y en Durango.