战争爆发后广州沦陷，孤儿院停办，日军在邻近的镇东街同安坊设宪兵司令部。黄大仙祠成为一座空祠，不少青砖木料被人拆去变卖，成为废墟。1947年复办孤儿园至1949年政权易手。1958年，政府大搞反迷信运动，寺庙被封闭，建筑物被拆。1967年文化大革命期间，红卫兵再将剩余构筑物全部摧毁，普济坛变成耕地，相传当时尚存一块石碑，上书「赤松黄大仙祠」。文革后，广州包装制品厂在原址上建立，利用孤儿院原礼堂做仓库。直至1980年代中期，厂区内仍存有一些石刻对联、浮雕石柱、石门楣及斋堂等遗物，断碑残篆，依稀可辨。1995