尔泰山周围为塞人等部族游牧之地。秦汉之际，唿揭人游牧于阿尔泰山一带。汉文帝前元四年（前176年），匈奴征服唿揭及其旁国，这里成为“匈奴右地”。西汉神爵二年（前60年），匈奴内乱，其日逐王先贤掸率部归汉，汉朝设西域都护府，今阿勒泰地区属西域都护府辖地。东汉初年，匈奴分裂为南北两部，北匈奴强部唿衍王的封地即在今阿勒泰地区境内。东汉永元三年（91年）后，北匈奴逐渐西迁，鲜卑人尽据匈奴故地，今阿勒泰地区归其控制，属鲜卑右地。东汉末年，鲜卑汗国衰落，原居于此的唿揭人乘机复国，汉文史籍称其为“唿得”。402年，柔然