发生两起大规模教案，史称“衡州教案”。在第二次衡州教案中，范怀德、董哲西、安守仁等天主教神职人员遇难。1957年反右派斗争扩大化，衡阳有六位宗教职业人士被划为右派。1958年，各教派的宗教活动被迫停止。1963-1965年，衡阳的宗教神职人员又在“四清”运动中被错误政审，一些人被判斗。在文革中，宗教人士被游斗，佛寺道观被砸毁，教堂被占用。如曾为衡阳八景之一的花药寺被拆毁，一名寺僧投井自杀。现今，衡阳市是全国宗教工作重点市，共有市级宗教团体5个，县级宗教团体11个；宗教院校1所（中国道教学院南岳坤道班