教的伦敦会最早进入衡阳传教，旅居武汉的衡阳籍神父王廉卿，与长沙神父彭兰生，于1892年来到衡阳传教。1862年、1900年，衡阳发生两起大规模教案，史称“衡州教案”。在第二次衡州教案中，范怀德、董哲西、安守仁等天主教神职人员遇难。1957年反右派斗争扩大化，衡阳有六位宗教职业人士被划为右派。1958年，各教派的宗教活动被迫停止。1963-1965年，衡阳的宗教神职人员又在“四清”运动中被错误政审，一些人被判斗。在文革中，宗教人士被游斗，佛寺道观被砸毁，教堂被占用。如曾为衡阳八景之一的花药寺被拆毁，一