答里的父亲是买住罕，被封为衮王。买住罕是按陈（成吉思汗的内弟）的裔孙，娶大长公主拜塔沙，速哥答里的姐姐必罕也是泰定帝的妃子。致和元年（1328年），泰定帝在上都驾崩，泰定帝与八不罕皇后之子阿速吉八即位，即元天顺帝。不久，大臣燕铁木儿在大都发动政变，拥立元武宗海山的次子怀王图贴睦尔为帝，是为元文宗，战争之后，天顺帝不知所终，速哥答里被安置在东安州。