旗辖地在唐虞时代属山戎、荤粥，夏商时期属鬼方、猃狁，春秋战国时期属林胡、楼烦，秦汉时属期雁门定襄郡之徼外地、匈奴中部单于庭，魏晋南北朝时期属鲜卑拓跋氏（南部为北魏抚冥镇辖区，北部为柔然族牧地），隋唐时期属东突厥，唐朝时期属振武军兼单于大都护府，辽朝时期属丰州，金大定十八年（1178年）在今旗境设立天山县，元朝时期天山县属净州路，明朝时期在净州废弃后属蒙古瓦剌部首领也先游牧地，北元时期属土默特万户（阴山北麓部分地区由土默特部首领阿剌坦汗统辖）。元太祖成吉思汗胞弟哈布图哈萨尔十五世孙脑音泰敖特根率部在唿伦贝