竿塘居民尽徙内地，当地成为荒岛，倭寇、海盗因而经常出没。明朝中叶开放海禁，福建沿海贫民又陆续迁来，极力开拓，至明末时，人烟已经稠密如昔。清初实行更为严厉的海禁和「迁界移民」政策，迫迁海岛居民，并将房舍焚毁，再度使竿塘成为禁地。康熙后期开始，陆续有人迁入。嘉庆16年，肃清蔡牵等海盗之后，长乐、连江等县沿海贫民更大举迁居岛上谋生。清朝李鼎元的《使琉球记》记载，福建兴化军孝女林默娘，人称「妈祖」，因父兄驾船于闽江口海域遭遇船难，林默娘跳入海中以救父兄，却因而罹难，遗体当年随海漂流至闽江口附近的小岛（即今日南竿）