前秦的苻坚、王勐率部灭前燕，而后几年内逐步统一中国北方，上党郡入前秦。但鼎盛期后，其领地渐渐缩小。最终于东晋太元十九年（394年）被后秦和西秦所灭。太元十一年（386年），西燕皇族河东王慕容永率众鲜卑贵族从关中东归，占据长子（今长子县以西）称帝，上党郡归西燕；同年，前燕贵族慕容垂定都中山（今河北定州），称帝，史称“后燕”，并与同为宗室的西燕争夺燕国的领导权。太元十九年（394年），后燕慕容垂杀死慕容永及其公卿大将三十多人，灭西燕，上党郡归后燕。北魏太延二年（436年），北魏（386年拓跋珪建国称帝，建都