居住在武平北折连川按答罕山，即是内蒙古赤峰一带，在辽朝末年离开位于热河的奚地，前往伏尔加河与乌拉尔河之间的玉里伯里山居住。其始祖曲年,高祖唆末纳，曾祖亦纳思曾包庇蔑儿乞人。其祖玉里伯里山钦察人忽鲁速蛮前往蒙古见元太宗。父班都察投降蒙哥，随忽必烈，征叛王阿里不哥有功，被任命为怯薛，土土哈随征，亦有功。马伽特曾经说，伯岳吾部离开奚地是金朝灭辽朝引起的。班都察死，土土哈袭官，长期征战于漠北，至元十四年，蒙哥子昔里吉，脱脱木等叛王发兵越阿尔泰山，漠北大帐被掠，当年在土拉河，土土哈败叛王，夺回大帐。忽必烈把大帐赐