41年12月18日晚上日军进攻香港岛时严重受损。随后即成为战俘营，关押该区的非华裔平民、以及在滩头堡、渣甸山和黄泥涌崃的战役里俘获的西旅先头部队。几个月后，英国皇家海军俘虏被送往到深水埗战俘营，只有加拿大人仍留在北角。1942年9月26日加拿大人转移到深水埗，此时战俘营被关掉。战俘营的环境挤迫，卫生恶劣。对俘虏的两大威胁分别是疾病和粮食短缺，后来证实很多人因此而丧生。今日的在原址的部分土地上，不过没有任何纪念碑。