Tendría que pasar cinco años, cuando en 1524 en su viaje a las Hibueras, Cortés pasa cerca de la Villa de Santa María de la Victoria y es informado por un grupo de españoles de la precaria situación en la que viven los pocos habitantes, a causa del abandono de las autoridades españolas y la hostilidad de los indígenas, teniendo que vivir atrincherados en la villa y solo salían para robar comida y así poder sobrevivir.