自此晋阳一直为并州的州府。西晋时，匈奴族刘渊在左国城(今吕梁市离石区)另立汉国，矛头指向晋阳，并州刺史刘琨为御强敌，展扩晋阳城，周二十七里，称为州城。十六国时期势力最大的前秦在淝水之战战败后，由苻丕为首的政权曾以此为都，后迁都长安。南北朝北魏后期，尔朱荣和高欢相继控制北魏朝政，在晋阳城内筑大丞相府，晋阳取代洛阳成为北魏实际政治中心。之后，晋阳为东魏和北齐的别都，始终保持着“霸府”的地位，其实际地位甚至高于国都邺城。北齐河清四年（565年），改晋阳县为龙山县，移晋阳县于汾东。东魏孝静帝时，权臣高欢在晋阳筑