湾一带相信早于宋朝时便有人聚居。当时来往广州、浙江和福建之间的船只，有时途经柴湾时到岸上取水。
明清时期.万历元年（1573年），于南头设立县治，取名新安，喻意「革新鼎安、转危为安」。清康熙元年（1662年），为防止沿海居民与郑成功军队接触，下令迁界禁海，新安县一度併入东莞县，后复界，新安县恢复。不过嘉庆二十四年（西元一八一九年）编撰的《新安县志》没有关于柴湾的记载，村庄名录也没有「柴湾」的记录，大概是因为当时人口相当稀少。道光八年（1842年）鸦片战争后签《南京条约》割让香港岛予