没有关于柴湾的记载，村庄名录也没有「柴湾」的记录，大概是因为当时人口相当稀少。道光八年（1842年）鸦片战争后签《南京条约》割让香港岛予英国，从此柴湾脱离新安县。根据1841年的人口普查资料，柴湾人口只有30人，到了1891年增至208人。当地居民以捕鱼及务农为生，亦有部分村民以烧灰为业。
英治初期.1843年英军曾于柴湾设立军营，其位置就是今天的天主教明德学校新旧校舍及柴湾警署所在的小山丘，但因军人纷纷感染热病，其后将军营迁至高地，即现时鲤鱼门公园及度假村之处，并于附近设立炮