成立后，广州穆斯林在1956年11月创立广州市伊斯兰教协会，先贤古墓自此交由协会属下的「清真寺民主管理委员会」负责管理。1965年，中华人民共和国国务院副总理陈毅亲自来到古墓视察，他指古墓是伊斯兰教的圣地，具有国际影响，应予保护。到了文化大革命时期，有红卫兵打着「破四旧、立四新」的旗号，扫荡先贤古墓等宗教场所，令古墓被铲去一半，「回教三忠墓」的墓碑亦被毁；广州市伊斯兰教协会停止活动，至1981年恢复。1985年，广东省人民政府把先贤古墓列入广东省文物保护单位，而广州市伊斯兰教协会亦拨款为古墓进行全面整修