924年），广州市政府为开辟道路及筹集军费，将殿宇廊庑拆除改为民房，拍卖寺内大部分物品，仅保存五百罗汉堂、舍利塔等建筑物。1957年广州市人民政府维修了五百罗汉堂，1963年广州市人民委员会将华林寺为市级文物保护单位，1965年将星岩白石舍利塔移置广州兰圃，藏于塔内的佛舍利及套盒移交广州市园林局。文化大革命期间，华林寺被严重破坏，五百罗汉像被毁、阿育王塔不知去向，殿宇被改为厂房，宗教活动停止。直到1989年才恢复宗教活动，随后多位知名人士均为其题字作匾。1994年白石塔从兰圃移回华林寺，安放在寺院北