五原、云中等郡为卢芳所据。建武七年（31年），卢芳所置朔方太守田飒、云中太守乔扈降汉。十一年，省朔方刺史部入并州。二十六年，南匈奴内附，并、朔边郡居民迁回本土。自此南匈奴徙居于幽、并诸郡内，右贤王部屯戍朔方。其后，以西河郡大城县属朔方郡，又徙郡治于临戎。明帝永平中，多次征发囚犯至朔方、五原屯戍。永和五年（140年）之前，朔方郡领六县：临戎县、三封县、朔方县、沃野县、广牧县、大城县。修都、临河、唿遒、窳浑、渠搜五县当于东汉初省併。由于南匈奴内附，北匈奴对朔方等边郡的威胁大为降低，故“朔方以西障塞多不修复”