这时的大佛寺僧众稀少，香火零落。1956年，邮电工人子弟学校迁出，越秀区教育局占用大佛寺大堂作为惠新西街小学的课堂。在文化大革命中，因红卫兵按当局的意思“破四旧”而将三尊佛像及观音菩萨像“清出”大佛寺，肢解后送到西村南岸五金厂仓库，准备冶炼。后来因周恩来批示得到保留。1972年尼克松访华时因外交需要，六榕寺是其中一个景点，广州市革命委员会便将被肢解的铜像找出来，焊接复原后移供到了六榕寺。1982年再由政府出资修复原状，到1984年大雄宝殿落成后迁移进去，并由信徒捐资贴金。今天供奉在大佛寺的三尊大像，是仿