敕书都被收回，瞿昙寺遂衰落。智合仓活佛系统的活动中心由瞿昙寺转往塔尔寺，在塔尔寺兴建了自己的府邸，智合仓活佛成为塔尔寺的活佛。第二世智合仓活佛罗桑丹贝尼玛（1744年－1807年）是凉州乃亥央人，1793年任塔尔寺第三十六任法台。第三世智合仓活佛噶桑丹增嘉措（1810年－1873年，又作“罗桑旺秀噶桑嘉措”）是凉州达垅沟人，1851年任塔尔寺第五十六任法台。第四世智合仓活佛罗桑噶桑嘉措，1876年生于乐都县南山，1899年任塔尔寺第七十六任法台。1958年之前，瞿昙寺存有海喇嘛以及自班觉丹增到罗桑噶桑嘉