镇的“斋堂”一名便源于过去香客们到灵岳寺进香住在山脚下而得名，“斋堂”意思是香客们休息之处。灵岳寺西南方向有个村子名叫“马栏村”，东南方向有个村子名叫“火村”，据说马栏是灵岳寺养马之处，这些马为灵岳寺驮运柴粮，火村则是专为香客们提供伙食之处。中华人民共和国时期，灵岳寺被改作学校使用。后来随着灵岳寺村的衰落，灵岳寺内的学校也停办。20世纪末至21世纪初，一些影视剧摄制组纷纷来到灵岳寺拍摄。有的摄制组在用灵岳寺当做外景时，导致灵岳寺释迦佛殿内的部分墙皮剥落，并在墙上喷涂了效果色，从而破坏了文物风貌。