如今仅存徐家村、刘家村，位于灵岳寺的左、右两侧。灵岳寺村的衰落始于1980年代。由于有泥石流的威胁，加上自然资源缺乏，村民全靠种地为生，生活艰苦。村内有五口老井，但是仅够人畜饮用，干旱时村内曾断水。1985年，在地方政府的安排下，村民陆续迁至山下的斋堂镇，或者迁往其他村子。村落中的古民居为明末清初的风格，均是山地四合院及三合院。到21世纪初，由于年久失修，到处都是残垣断壁，许多院落已无人居住，村中只有几户人家。2006年时，村中只有唯一一户在村内实际居住的村民，即54岁的徐殿义及其妻子。灵岳寺所在的