正德十六年（1521年）爆发的屯门海战，才使佛朗机人撤出大屿山。至嘉靖年间，福建巡抚谭纶、总兵戚继光奏请设置水师城寨，此后广东设置六个水寨，其中广州地区的为南头寨，亦设在大澳一带位置。明朝在香港地区设防的目的，主要是为了防御南中国海一带的海盗、日本来的「倭寇」，以及后来的葡萄牙和荷兰的侵略者」。清朝初期清政府为对付明朝遗臣郑成功在台湾的郑氏王朝，遂于康熙元年（1662年）推出迁海令，下令从山东省至广东省沿海的所有居民内迁50里。及至康熙八年（1669年），方允许复界。此段期间大屿山住民锐减，后来迁回之村