第二高山柏架山，以及歌连臣山、砵甸乍山作为天然屏障，因此其天然深水良港的条件，适合船只避风。
地名.柴湾是一个位于鲤鱼门海崃的外湾，为香港岛最东的谷地。由于三面环山，加上水源充足，所以盛产大量木材。这些木材可作柴薪之用，所以这个海湾被命名为柴湾。另外「柴」在客家话中发音与粤语「西」音近，故此过去「柴湾」又名「西湾」，英文一度译成「」，而毗邻柴湾的社区亦有「小西湾」之称。1950年代港府开发柴湾时，有人认为「柴」字不吉利（粤语「拉柴」即死人），建议改为「翠湾」，因而有翠湾邨之称，