Det tidigaste försvarsverket i form av en palissad uppfördes troligtvis redan under 700-talet. En mur av sten började uppföras under 1100-talet och fram till 1600-talet skedde flera tillbyggnader och förstärkningar. De största och viktigaste tillbyggnaderna skedde under 1400–1500-talet. Den senaste tillbyggnaden, bastionen S:t Stefan ("Bastion sv. Stjepana"), uppfördes 1660. Murens robusta konstruktion gjorde att den inte tog någon större skada vid den stora jordbävningen 1667.