国三十六郡之一，汉朝设并州，为全国十三州之一，太原也因此称为“并州”，西汉初曾将并州和雁门郡合并，设立代国，国都晋阳，汉文帝、汉景帝即位前均受封于代国。自此晋阳一直为并州的州府。西晋时，匈奴族刘渊在左国城(今吕梁市离石区)另立汉国，矛头指向晋阳，并州刺史刘琨为御强敌，展扩晋阳城，周二十七里，称为州城。十六国时期势力最大的前秦在淝水之战战败后，由苻丕为首的政权曾以此为都，后迁都长安。南北朝北魏后期，尔朱荣和高欢相继控制北魏朝政，在晋阳城内筑大丞相府，晋阳取代洛阳成为北魏实际政治中心。之后，晋阳为东魏和北齐