至高地，即现时鲤鱼门公园及度假村之处，并于附近设立炮台作为海防用途，即现时香港海防博物馆之处。1925年香港童军于现时属于柴湾公园范围的童军山兴建香港首个童军营地。由于19世纪的佔主导地位的军事力量主要是海军力量，所以当时的殖民地政府选择了中西区及湾仔区建立维多利亚城，作爲政治、军事及商业中心，而柴湾位于香港岛东部边陲，临近广阔的蓝塘海崃，并置于鲤鱼门的后方，没有天然屏障包围保护，容易有被海盗袭击的危险，无险可守，所以即使是20世纪上半叶，甚至直到沦陷时期，柴湾仍然长期处于发展滞后的境况，且被视为郊区一