填海前，小西湾本名马塘（其南面为马塘山及马塘坳），是柴湾东边的一个小海湾，因接近柴湾而又称「小柴湾」（又名「柴湾仔」）。由于以前柴湾又名西湾，所以「小柴湾」便被称为「小西湾」。根据香港特别行政区政府法定图则及地区规划，小西湾是港岛规划区的第20区，与柴湾和杏花邨同属该规划区。
历史.小西湾原为英国的情报中心。1947年英国与美国、澳洲、加拿大和新西兰签署联合收集情报的五眼联盟协议，因此英军于小西湾兴建于远东规模最大的情报中心，以协助在台湾的中华民国政府监听中共政权的无线电通讯。