忌讳「四」字，政府便决定顺应民意，将街名改为高街，反映街道所处位置较高的意思。
有关「高街鬼屋」的传说.高街有一座建于1892年的精神病院。二次大战时，香港沦陷，日军以此建筑物作为刑场，而位于医院前面的佐治五世公园则曾经是一个乱葬岗，因此在这里不时会有一些灵异传闻。战后继续成为精神病院，因为当时医术没有今天那么先进，精神病人通常都是进院「等死」的，使这座建筑物变得更为可怕。现时已改建为西营盘社区综合大楼。