La colonia sufrió un gran declive durante los años venideros debido al abandono por parte de los conquistadores, que habían zarpado a México y Perú en busca de riquezas.