脱脱任丞相后，放回了他。1351年，率军在金刚台大战徐寿辉，战败，儿子别帖木儿被俘。1352年，丢失武昌，被夺王印。湖广行省参知政事阿鲁辉收复武昌、汉阳，他于1354年还镇武昌。1356年，他和宣让王帖木儿不花领兵镇守怀庆路，后来率领水陆军和徐寿辉部将倪文俊激战，在汉川县兵败，投奔陕西。1365年，回大都，被李思齐阻止，受命屯田成州。