到咗1965年9月，廣州市政府批准咗以三元宮入面嘅鐘鼓樓嚟做界，將前半部分場地邊成文娛場所，喺1966年——1976年嘅文化大革命嗰陣，由於成個宮殿都俾人霸咗，入面啲神像同文物，甚至係上面寫嗰啲嘢都唔知去嗮邊；