秦在淝水之战战败后，由苻丕为首的政权曾以此为都，后迁都长安。南北朝北魏后期，尔朱荣和高欢相继控制北魏朝政，在晋阳城内筑大丞相府，晋阳取代洛阳成为北魏实际政治中心。之后，晋阳为东魏和北齐的别都，始终保持着“霸府”的地位，其实际地位甚至高于国都邺城。北齐河清四年（565年），改晋阳县为龙山县，移晋阳县于汾东。东魏孝静帝时，权臣高欢在晋阳筑规模宏大的晋阳宫，在天龙山始凿石窟，建避暑宫。
隋唐时期.隋朝时，太原城成为仅次于长安和洛阳的全国第三大城市。开皇九年（590年），晋王杨广扩建晋