武帝时，置并州刺史部，为十三刺史部之一，约当今山西省大部，河北省及内蒙古自治区的一部分地。东汉、曹魏、西晋以来，并州的治所就在太原郡晋阳县，晋末治台壁，后来仍治晋阳。并州包括今山西省大部，北朝以来并州辖境逐渐缩小，但仍以太原为中心。隋炀帝时改并州为太原郡，其地约当今山西省太原市、大同市和河北省保定市一带地区。李渊、李世民晋阳起兵之处便属于太原郡。唐高祖恢复并州之称，武则天的家乡就在并州的文水县。唐玄宗开元十一年（723年），并州改为太原府。北宋灭建都太原府的北汉，又改太原府为并州，旋即升为太原府。