自然村（徐家村、宋家村、刘家村、李家村），统称“灵岳寺村”，受斋堂镇管辖。灵岳寺村围绕着灵岳寺，形成了村中有寺、寺中有村的局面。这4个自然村中，已有两个成为废墟，如今仅存徐家村、刘家村，位于灵岳寺的左、右两侧。灵岳寺村的衰落始于1980年代。由于有泥石流的威胁，加上自然资源缺乏，村民全靠种地为生，生活艰苦。村内有五口老井，但是仅够人畜饮用，干旱时村内曾断水。1985年，在地方政府的安排下，村民陆续迁至山下的斋堂镇，或者迁往其他村子。村落中的古民居为明末清初的风格，均是山地四合院及三合院。到21世纪初，由