颜的作法越来越不满，便联合实际上亦对伯颜有所不满的脱脱，于1340年发动行动，将伯颜治罪降官至河南，同年再降至广东，后死于途中。
轶事.伯颜掌权期间专权枉法，且排斥汉族以及汉化，停办科举。为防止南人造反，禁止江南农家用铁禾钗。对汉人和南人祈神赛社、习学枪棒武术以至演唱戏剧等都横加禁止，以防他们聚众闹事。甚至曾提出杀光张、王、刘、李、赵五姓汉族民众的想法。《元史·顺帝纪》载：「伯颜请杀张、王、刘、李、赵五姓汉人，帝不从。」