该寺第一世萨班·更尕尖参以一钵燃灯佛舍利子奠基兴建。该寺所藏文物和坎布拉阿琼南宗寺、西宁市大佛寺、平安县白马寺、循化县丹斗寺等不相上下。《洛多杰智合寺志》载，842年，吐蕃赞普朗达玛用暴力手段灭除佛教，杀害大批翻译家及佛学家，幸存者四处逃散。后来在藏传佛教史上被誉为“三贤哲”的玛尔释迦牟尼、肴格迥、藏饶赛，以及吐蕃赞普侍卫拉龙·贝吉多吉，为了保存佛法，来到如今的洛多杰密修，并将其射杀朗达玛的弓箭埋在此地，后来建成了万佛塔。根据现存实物及文献，洛多杰智合寺石窟早在格鲁派盛行前，便已经是藏传佛教其他各派