7年反右派斗争扩大化，衡阳有六位宗教职业人士被划为右派。1958年，各教派的宗教活动被迫停止。1963-1965年，衡阳的宗教神职人员又在“四清”运动中被错误政审，一些人被判斗。在文革中，宗教人士被游斗，佛寺道观被砸毁，教堂被占用。如曾为衡阳八景之一的花药寺被拆毁，一名寺僧投井自杀。现今，衡阳市是全国宗教工作重点市，共有市级宗教团体5个，县级宗教团体11个；宗教院校1所（中国道教学院南岳坤道班）。全市信教群众56万人，全市宗教教职人员1002人，全市现有登记发证的宗教场所480处，国务院确定全国重点宗教