1843年英军曾于柴湾设立军营，其位置就是今天的天主教明德学校新旧校舍及柴湾警署所在的小山丘，但因军人纷纷感染热病，其后将军营迁至高地，即现时鲤鱼门公园及度假村之处，并于附近设立炮台作为海防用途，即现时香港海防博物馆之处。1925年香港童军于现时属于柴湾公园范围的童军山兴建香港首个童军营地。由于19世纪的佔主导地位的军事力量主要是海军力量，所以当时的殖民地政府选择了中西区及湾仔区建立维多利亚城，作爲政治、军事及商业中心，而柴湾位于香港岛东部边陲，临近广阔的蓝塘海崃，并置于鲤鱼门的后方，没有天然屏障包围