Ya en 1856, una grave epidemia de cólera había afectado a su crecimiento, pero fue en 1861 cuando otra epidemia, esta vez de fiebre amarilla, redujo su población a la mitad y cortó el tráfico portuario de forma drástica.