“舜以冀州之北广大，分置并州。”相传禹治洪水，划分域内为九州。据《周礼》、《汉书·地理志上》记载， 并州为九州之一。
实际区划.汉武帝时，置并州刺史部，为十三刺史部之一，约当今山西省大部，河北省及内蒙古自治区的一部分地。东汉、曹魏、西晋以来，并州的治所就在太原郡晋阳县，晋末治台壁，后来仍治晋阳。并州包括今山西省大部，北朝以来并州辖境逐渐缩小，但仍以太原为中心。隋炀帝时改并州为太原郡，其地约当今山西省太原市、大同市和河北省保定市一带地区。李渊、李世民晋阳起兵之处便属于太原