咸丰帝赏加“慧灵”名号，并赐用黄缰。在该时期，喜德寺也获得大规模扩建，并从此获得了“喜德嘎贝桑贝林”的名称。1855年3月，喜德寺扩建完工时，驻藏大臣谆龄代请咸丰帝恩赏匾额，不久咸丰帝赐予该寺“翌赞宗源”匾额。1862年，由于他为革退哲蚌寺堪布一事而同哲蚌寺发生严重冲突，哲蚌寺僧众联络甘丹寺僧众攻打其摄政府，使喜德寺遭到严重破坏。他携带摄政印信赴北京向清廷呈诉，但未果，清廷还革除了其“唿图克图”衔名。1863年，阿旺益西楚臣坚赞圆寂。圆寂后，其所有财产都被西藏噶厦收归热振寺。