刘知远到开化寺焚香礼佛后，出资重修佛像和佛阁，留有苏禹珪所撰《重修蒙山开化寺庄严阁记》。北宋淳化元年（公元990年），开化寺中新修二座高二丈释迦如来舍利塔（即今开化寺连理塔）。元朝末年，开化寺毁废，只有僧房舍利塔尚在。通常认为，蒙山大佛在这时一齐被毁。明洪武十八年（公元1385年）晋恭王朱㭎重建开化寺，开化寺改名为法华寺。
重新发现.1980年至1983年间，参加地名普查的市政工作人员王剑霓重新发现了蒙山大佛。王剑霓1980年10月被抽调参加地名普查，其祖父王建屏是山西佛协会创始人