任五等人妖言惑众，谎称张李氏是菩萨转世，号“西峰老祖活佛”，诈骗钱财，于康熙五十二年（1713年）遭官府查获，西峰寺因此衰落。干隆年间，大学士三宝的寡媳乌佳氏捐款两万两白银，修缮西峰寺并且置办供器。光绪年间，西峰寺已成废寺。光绪年间，恭亲王奕䜣住在戒台寺“养疾避难”，将西峰寺选定为自己将来的陵寝，但其死后朝廷另赐墓地，故西峰寺的墓地未用上。宣统元年，奕䜣次子载滢死后，被其子溥伟、溥儒葬在西峰寺，兴建地宫，并将原来的茶棚院改建成阳宅。中华民国时期，溥儒携全家在戒台寺居住十余年，在西峰寺北沟留下多处题诗和刻