英军到港，在此成立「荔枝角军营」驻扎两年。20世纪初域多利监狱有人满之患，1924年当局将已停用的荔枝角军营稍作修缉改建成低设防的「荔枝角拘留营」，直到1937年赤柱监狱落成后才正式关闭。同年天花肆虐，香港成为疫埠，荔枝角拘留营经修缉增建，成为一所传染病医院兼疗养院。位于喜灵洲的痲疯病医院于1974年关闭，余下的病人被送到「荔枝角医院」继续疗养。及后痲疯病人数目日减，荔枝角医院便再被改变成一座供精神科长期病患者疗养的医院。在2000年初，医院管理局计划将住有400多名长期精神病患者的荔枝角医院，改变成一