和海盗影响，明朝廷实行「禁海徙民」政策，直接废除昌国县，将四乡合併爲一昌国乡，属定海县（现宁波镇海）。洪武二十年（1387年），将舟山岛城区和镇外的居民和其他46山（岛）的居民徙迁内陆，舟山羣岛人口剧减，经济倒退。其后，浙江海商及葡萄牙人建立港口。明嘉靖二十七年（1548年），浙江巡抚朱纨派都指挥卢镗率兵进攻舟山佛渡岛双屿港，港口以木石淤塞，城市被大火烧光。数百葡萄牙人被杀，侥幸活命的乘船逃走。嘉靖三十三年（1554年），倭寇入城洗劫，城内部分建筑受损，古城继续凋零。清顺治八年（1651年），清军攻佔舟