I 1555 abdiserte Karl V som herre over Nederlandene. Han ble etterfulgt av sønnen Filip II. Under hans regjeringstid gikk gobelinindustrien nesten helt i stå. På den tiden var det byens viktigste inntektskilde, og i 1556 var det mer enn 8000 arbeidsledige. Da hertugen av Alba kom til byen, emigrerte mange protestantiske innbyggere til de nordlige Nederlandene. Byen ble okkupert av nederlandske opprørere i 1577, før Alessandro Farnese inntok byen 5. juli 1582 etter en beleiring som begynte 19. april, og annekterte den til de spanske Nederlandene.