特部首领固始汗应四世班禅和五世达赖的邀请，于1639年出兵康区，在德格土司的帮助下，花费了一年时间灭白利土司，擒杀顿月多吉，康区的苯教势力因而受到毁灭性打击。1728年（雍正六年），白利土司向清朝内附，以其地设置霍耳白利长官司。白利土司在1911年（宣统三年）被赵尔丰改土归流。不久以后辛亥革命爆发，赵尔丰被杀，白利土司恢复其地位。1930年，白利土司同大金寺争夺庙产，最终引发康藏边界纠纷。