前身是荔枝角医院，原址多年来历尽变迁。远在1887年（光绪13年），粤海关设立九龙关分关，九龙关地界碑石现仍立于文化馆东边的山坡上。1899年英国与南非波耳人展开第二次波耳战争，1902年英方获胜并取得德兰士瓦区殖民地，因当地发现大规模的金矿，故大量华工经英资公司招募和贩运到南非当矿工，俗称「卖猪仔」。这批华工主要来自华中及华北地区，需在香港集合暂住，等待离港出洋，所以英国人于1904年在此兴建临时的华工居所「屯舍」，俗称「猪仔馆」，及后因为英国政府禁止招聘华工，屯舍因而从1906年被荒废。1910