宣和三年（1121年）郡守高至临重修旧城，奠定了后世的规模，当时的城墙“周回四千五十步”，建有六门：东曰迎和、南曰礼贤、西曰航远、北曰永清、小南曰清将、小西曰和丰，城外建有濠沟。此后于南宋绍兴、嘉定、元至正、明弘治、嘉靖、万历、天启、崇祯年间多次重修。清顺治至民国五年也曾维修20余次。
现状.现有城墙基本为明、清、民国的遗迹，除了六个城门不同程度地保存下来之外，还保存有东段城墙约700米，北段城墙约300米，西段城墙约120米，南段城墙约65米，城墙遗址约1000米，在城内还有建于