初年，受旭烈兀派遣出使大都，并受到元世祖的赏识和信任，遂留仕于元朝，并娶了宰相安童之妹。1265年成为光禄大夫中书左丞相，1274年，元大举伐南宋，统帅史天泽因病辞退，伯颜遂成为征宋总帅，进展顺利，1276年2月4日宋军投降，进入临安，元军俘虏宋恭帝和谢太后以及很多南宋宗室和大臣，元朝改临安为两浙大都督府。后伯颜又统帅大军负责对窝阔台汗国海都汗的战争，元世祖忽必烈去世前，任命伯颜和不忽木等人为托孤大臣，1294年2月18日元世祖去世，1294年5月10日，伯颜和大臣们拥立元成宗铁穆耳登基称帝，元成宗登基