楚材的后代阿勒弥（另一说法为“阿里吉”）舍宅为寺，当时叫“碧云庵”。明朝正德九年（1514年），御马监于经看中此地的风水，出资扩建，并在后山上挖建墓穴；墓未挖好，他便在嘉靖初年因贪污事发而锒铛入狱，死于狱中。到明朝天启三年（1623年），大宦官魏忠贤又出资扩建碧云寺，并将于经未能使用的墓穴规模扩大，结果没有用成便因罪大恶极而在崇祯初年自缢后被戮尸。1644年，魏忠贤的党羽葛九思随清军进入北京，将魏忠贤的衣冠葬在墓中，成为魏忠贤衣冠冢。清朝康熙四十年（1704年），江南道监察御史张瑗奉命巡视