周代为雍州白翟的一部分，战国时为秦国上郡地。公元前221年秦统一六国，始皇分天下为三十六郡，上郡是其中一个。三国时，上郡、西河郡为匈奴领地，未设置行政区划。东晋时期，匈奴铁弗部赫连勃勃在统万城（今靖边统万城遗址）建立大夏国。公元427年，北魏灭掉大夏国，设统万镇，北魏太和十二年（公元488年）改设夏州。隋朝开皇三年（公元583年），设夏（治统万）、长（治长泽，今靖边境内）、绥（治龙泉、今绥德县城）、银（治儒林，今横山境内）四州；隋大业元年（公元605年）改绥州为上州，设立朔方、雕阴二郡。