根据1841年的人口普查资料，柴湾人口只有30人，到了1891年增至208人。当地居民以捕鱼及务农为生，亦有部分村民以烧灰为业。
英治初期.1843年英军曾于柴湾设立军营，其位置就是今天的天主教明德学校新旧校舍及柴湾警署所在的小山丘，但因军人纷纷感染热病，其后将军营迁至高地，即现时鲤鱼门公园及度假村之处，并于附近设立炮台作为海防用途，即现时香港海防博物馆之处。1925年香港童军于现时属于柴湾公园范围的童军山兴建香港首个童军营地。由于19世纪的佔主导地位的军事力量主要是海军力量，