民主要是渔民、农民及打石工人；渔民最多，赤柱当时人口最多。1623年，荷兰船只入侵佛堂门水域、近岸停泊；1630年，海盗船只百余艘闯入佛堂门外水面，企图在南头半岛登陆。
香港清朝时期（1644年－1841年）.清朝的香港属宝安县管辖。清廷为防沿海居民接济明朝遗臣郑成功，遂于1662年（康熙元年）下令迁海，沿海居民须向内陆迁徙50里，使居民家园尽失。加上实施海禁，香港本区受到严重影响。迁海后渔盐业废置、田园荒芜，沿海居民深受迁海之苦，广东巡抚王来任、广东总督周有德请求复界。据《新