В то время все городские постройки были деревянными и огонь представлял для города огромную опасность. Так, в 1328 году город был практически сожжён дотла. Была сильно повреждена церковь Св. Бавона, на восстановление которой потребовалось более 150 лет. 12 июня 1347 года случился очередной сильный пожар. Третий большой пожар произошёл в 1351 году, разрушив среди прочих зданий графский дворец и здание ратуши. Поскольку к тому времени дворец в Харлеме графам был уже не нужен (его функции взял на себя замок Риддерзаал в Гааге), земля, на которой он стоял, была подарена городу и позднее на этом месте было воздвигнуто новое здание городской ратуши.
Какое здание было сильно повреждено?