Mines Labour Importation Agency」在此兴建屯舍供转运往南非的华工暂住，其后因华工不堪苦役而群起反抗，屯舍因英政府禁止招聘华工而被荒废。1904年一艘抵港的新加坡轮船爆发霍乱疫病，原位于昂船洲的疫症隔离所因兴建军营已关闭，时任港督卢吉要求英国政府购入弃置的屯舍用作疫症隔离站。当满清政府被推翻后，卢吉担心难民涌入，1912年英政府加派英军到港，在此成立「荔枝角军营」驻扎两年。20世纪初域多利监狱有人满之患，1924年当局将已停用的荔枝角军营稍作修缉改建成低设防的「荔枝角拘留营」，直