然而，复界后起初迁回原居地的人不多，因此官府鼓励江西、福建以及惠州、梅州的客家人入迁香港地区。不过，由于较为理想的土地如元朗、粉岭已被迁界前已定居在此的新界原居民拥有。五大族以外，复界后回港的有迁界前已经居住屯门的陶姓、蒲岗的林姓、衙前围的吴姓、龙跃头的温姓、鹿颈的朱姓、大浪西湾的黎姓、石壁的徐姓和复界后回港的氏族有白沙澳的翁姓、大屿山的何姓、塔门的蓝姓。就在九龙定居生活的原居民而言，复界后的康熙末年能有自我保护的能力反而是安稳的因素。复界后数年的1676年，海盗攻陷彭莆围，杀戮林氏村民。海盗戮村前已外出的