郑成功军队接触，下令迁界禁海，新安县一度併入东莞县，后复界，新安县恢复。不过嘉庆二十四年（西元一八一九年）编撰的《新安县志》没有关于柴湾的记载，村庄名录也没有「柴湾」的记录，大概是因为当时人口相当稀少。道光八年（1842年）鸦片战争后签《南京条约》割让香港岛予英国，从此柴湾脱离新安县。根据1841年的人口普查资料，柴湾人口只有30人，到了1891年增至208人。当地居民以捕鱼及务农为生，亦有部分村民以烧灰为业。
英治初期.1843年英军曾于柴湾设立军营，其位置就是今天的天主教明