郡与汉民杂居。南匈奴协助东汉与北匈奴作战。东汉三次北伐击败北匈奴后，北匈奴政权瓦解，余部西迁。汉顺帝时代，将西河郡、上郡、朔方郡三郡治所由今内蒙古、陕西交界一带内迁至汾水流域，匈奴人继续南迁。东汉末年，汉地农民起义频繁，边疆局势也很动荡。鄂尔多斯高原、额济纳河流域的羌人三次起义，东汉艰难地平息了叛乱。后来，匈奴、乌桓、羌、鲜卑等族多次起兵攻击东汉边境，东汉不得已迁移了西河郡、上郡、朔方郡的治所。张奂、李膺等人率领东汉军队几次平叛。然而，到汉献帝时内蒙古中、西部已经脱离汉朝控制，成为匈奴、鲜卑、乌桓、羌等部族