Een kentering in het succes komt omstreeks het midden van de 16e eeuw met de razernij van de beeldenstorm en de Spaanse furie. Het sluiten van de Schelde voor het scheepsverkeer naar en van de zee, op het einde van de 16e eeuw, betekent het einde van de overweldigende internationale rol van de havenstad.