Alle bygningene i byen var av tre og faren for brann var stor. I 1328 ble nettopp byen rammet av en stor brann og nesten hele byen brant ned. Kirken Sint-Bavokerk ble kraftig ødelagt og det tok nesten 150 år før den ble gjenoppført. I 1347 ble byen igjen rammet av brann, og nok en gang i 1351, da blant annet grevens slott og rådhuset brant ned. Greven gjenoppførte ikke slottet siden slottet i Haag hadde tatt over alle funksjonene. Rådhuset ble derimot gjenoppført med støtte fra greven.