长，祖父阿剌黑曾任千户长兼断事官，从征西域有功，受封忽毡及附近地区为食邑。叔祖父是成吉思汗的名臣纳牙阿。父亲晓古台，曾随旭烈兀西征西亚，伯颜即在伊儿汗国生长，信奉景教。至元初年，受旭烈兀派遣出使大都，并受到元世祖的赏识和信任，遂留仕于元朝，并娶了宰相安童之妹。1265年成为光禄大夫中书左丞相，1274年，元大举伐南宋，统帅史天泽因病辞退，伯颜遂成为征宋总帅，进展顺利，1276年2月4日宋军投降，进入临安，元军俘虏宋恭帝和谢太后以及很多南宋宗室和大臣，元朝改临安为两浙大都督府。后伯颜又统帅大军负责对窝