时，香港政府认为需要另设地方供精神病人，于是在荷李活道和鸭巴甸街交界一间破屋改建为临时神经病院（现今地址是PMQ元创方）。至1884年，在西营盘东边街尽头兴建一所外籍人士精神病院（现戴麟趾康复中心的位置）。六年后（1891年），首间华人精神病院亦于隔邻近高街交界开设，病院楼高三层，以红砖及花岗石砌成，包括主楼及宿舍。1906年，香港立法局通过对待疯癫者的法例，将两院合併为域多利精神病院。1930年代末，随着域多利精神病院不敷应用，政府便征用附近的国家医院外籍护士宿舍（今西营盘社区综合大楼），作为女子精神病院