不空法师曾在此作密宗道场。清干隆、民国年间重建，后彻底毁于文化大革命时期。仍存有清凉石，为清凉寺镇寺之宝。后由香港黄惠卿女士等筹资重建。民间曾传说，清朝顺治皇帝最后在此出家。
流行文化.武侠小说《鹿鼎记》主人翁韦小宝曾在此处出家。