中共建政后，胡被指为「汉奸」，故永安堂被列为「敌产」充公，成为广东省总工会所在地。永安堂前的程璧光像遂被毁，换成今日见到的工人雕像；在1950至60年代，公园剩下的亭台楼阁建成了海珠花园餐厅，成为该餐厅的园林景观。1990年代初，时任广州市长的黎子流号令大拆广州城以兴建广州地铁。在这股风气下，当局又对原海珠公园的建筑进行清拆，但此后又无力开发一直丢空，曾有一面围墙将这些残桓断壁封闭多年。2000年，在长堤下水道改造工程中，意外发现深埋地下近七十载的海珠石。市政府曾规划将显露部分（30至60米）保