改灵州设置灵武郡，将原新昌郡和普乐郡废去，下设回乐县、弘静县、怀远县、灵武县、鸣沙县、丰安县，管理宁夏中部和北部。隋文帝开皇三年（583年）废平高郡，复设原州（今宁夏固原），下辖平高郡、长城郡，管理宁夏中南部和甘肃东南部。从581年起，隋文帝、隋炀帝在今陕北和宁夏6次下令修筑长城以防卫突厥，现存隋长城长度的90%处于现宁夏境内。前后动用了128万人，607年在筑长城的过程中10天内就死了近60万人。611年，隋末民变爆发，隋朝以夏和灵州（今陕北和宁夏）一线为北方边界，而河套（今属内蒙）则被突厥占