元二年（714年）一位俗名为冉虎茵、法名为释慧忠的诸暨（今浙江绍兴）僧人，云游至白崖山党子谷（今香严寺所在地），在此结庐为庵，开辟道场潜修四十余年。天宝十四年（755年）唐玄宗在慧忠的“戒行精专，佛法造诣高超，堪称一代大师”奏请之下，下诏书将慧忠接到长安龙兴寺；安史之乱暴发后，慧忠又回到这里。上元二年（761年）正月十六，内给事孙朝进带着唐肃宗的诏书，到白崖山将慧忠再次迎进长安。大历二年（767年）唐代宗恩准慧忠在他原修炼道场白崖山党子谷建寺，大历八年(773年)敕赐“长寿寺”（香严寺前身），奉