次大战时，香港沦陷，日军以此建筑物作为刑场，而位于医院前面的佐治五世公园则曾经是一个乱葬岗，因此在这里不时会有一些灵异传闻。战后继续成为精神病院，因为当时医术没有今天那么先进，精神病人通常都是进院「等死」的，使这座建筑物变得更为可怕。现时已改建为西营盘社区综合大楼。