萨迦、雅桑均被帕竹击败，蔡巴的辖地几乎全部被帕竹夺取，蔡巴的势力自此衰落。蔡巴·贡噶多吉之子格雷桑布曾受元朝的司徒封号，其子孙在明朝时仍拥有“都指挥使”的官衔，但已无多大势力。蔡巴噶举派随蔡巴领主的失势而衰落。蔡巴寺、贡塘寺在元朝末年改为桑浦寺的属寺；格鲁派兴起后又改宗格鲁派，蔡巴噶举派的传承自此断绝。 蔡巴寺后期被毁，如今的蔡巴寺是1950年代初重建。
建筑.蔡巴寺1950年代初重建后，规模比原来小得多，原来措钦大殿内有长柱4根、短柱36根，现存措钦大殿内有长柱4根、短柱8根