兵进攻舟山佛渡岛双屿港，港口以木石淤塞，城市被大火烧光。数百葡萄牙人被杀，侥幸活命的乘船逃走。嘉靖三十三年（1554年），倭寇入城洗劫，城内部分建筑受损，古城继续凋零。清顺治八年（1651年），清军攻佔舟山岛，城墻再毁。舟山羣岛的衰落延续了三百多年。清朝康熙取得台湾后，沿海解禁，舟山群岛人口日增。清康熙二十六年五月（1687年6月）再次设县，因认为“舟”字动而不稳，直接将其定名为定海山（县则称定海县）——「海定则波宁」, 以祈「海波永定」。原定海县治实位于浙江大陆（即今宁波市镇海区），为此，原定海县同时