蔡巴联合与帕木竹巴为敌，到1349年前后，帕竹司徒·张曲坚赞（1302年－1364年）消灭了雅桑万户，将其辖地并入帕竹政权（帕竹政权于1354年取代萨迦政权，共传十三代法王。至1618年被藏巴汗创建的噶玛政权推翻，统治西藏264年），雅桑噶举自此衰落。格鲁派兴起后，在帕竹和雅桑两个地方势力的争斗中，格鲁派偏袒帕竹，排斥雅桑。雅桑地方势力衰落后，雅桑噶举的教法随之逐步失传。雅桑寺原来的主寺是布达拉宫的译仓（资料室），后奉林家族的拉章为寺。文化大革命时被毁，成为废墟，仅存若干破墙及个别殿堂。该寺收藏的《雅桑