喺文革嗰陣，由於受到破四舊嘅思想影響，呢間嘢就俾當局閂咗門，甚至俾人破壞都有，而屋頂之前有嘅「惠州會館」呢四個大字唔好彩，俾人剷咗，甚至連劉少奇寫嘅「中華全國總工會舊址紀念館」嚿牌都拆埋。