1904年在此兴建临时的华工居所「屯舍」，俗称「猪仔馆」，及后因为英国政府禁止招聘华工，屯舍因而从1906年被荒废。1910年屯舍一度改为控制疫症蔓延的隔离站，直到1920年代又改为「荔枝角监狱」。1931年并加建中区和上区，设立香港的首个低设防女子监狱。1938年，荔枝角监狱修建成为「荔枝角传染病院」，专门负责医治麻风病人，1948年改名为「荔枝角医院」，其后曾成为天花、白喉、霍乱等疫病的隔离所，并于1965年加建化验室，以负责控制传染病在香港的扩散。到1975年，此医院由玛嘉烈医院（新荔枝角医院