《洛多杰智合寺志》载，842年，吐蕃赞普朗达玛用暴力手段灭除佛教，杀害大批翻译家及佛学家，幸存者四处逃散。后来在藏传佛教史上被誉为“三贤哲”的玛尔释迦牟尼、肴格迥、藏饶赛，以及吐蕃赞普侍卫拉龙·贝吉多吉，为了保存佛法，来到如今的洛多杰密修，并将其射杀朗达玛的弓箭埋在此地，后来建成了万佛塔。根据现存实物及文献，洛多杰智合寺石窟早在格鲁派盛行前，便已经是藏传佛教其他各派高僧的密修之处，因此其年代早于西宁土楼石窟、平安县白马寺石窟。如今，该寺有古代建成的自然及人工殿堂二十八间（处），收藏的文物有北魏至中