I 1355 fikk Veere byrettigheter, og senere i det 14. århundre ble det reist bymurer og utgravd vollgraver. Landsiden hadde fem byporter, mens man på sjøsiden hadde bygget forsvarstårn. Et av disse tårnene, , ble senere omgjort til herberge av Maximiliaan av Bourgondie.