赤尊（又译“蒙氏尺姜”）公主所建，原为一座小神殿。后来，该寺几经扩建，形成了如今紧密嵌在崖缝壁间的扎叶巴寺。该寺也是西藏四大隐修地之一。民间有谚语称，“西藏的灵地在拉萨，拉萨的灵地在叶巴；到拉萨不到叶巴，等于做件新衣忘做领。”扎叶巴先后有松赞干布、莲花生、帕当巴桑杰、拉隆贝吉多吉、阿底峡等人在此闭关静修。据说，格萨尔王曾在此地活动，并且在后山留下的射箭穿石等遗迹。传统上称这里有一百零八个修行洞，但实际上大概只有八十个左右，创建于不同年代。从山脚仰望，整座山形好像一尊度母。历史上，此处曾有一座噶当派寺