Na brand in 1583 werd de beurs onmiddellijk naar dezelfde plannen heropgebouwd. Het Beleg van Antwerpen (1584-1585) en de overgave aan het 'Spaanse' Leger van Vlaanderen deed het handelsleven helemaal verkommeren. Tussen 1661 en 1810 werd het gebouw onder meer gebruikt als tekenacademie en zetel van de Sint-Lucasgilde. De open binnenruimte werd in 1853 van een vooruitstrevende koepel voorzien door Charles Marcellis, naar het voorbeeld van het Londense Crystal Palace.