渊起兵反晋，建国号为“汉”，上党郡归其管辖。东晋大兴二年（319年），前赵羯族将领石勒与刘曜决裂，自立政权，后灭掉“前赵”，建立“后赵”，上党郡归之。东晋永和六年（350年），石虎（石勒之侄）养孙冉闵乘后赵内乱尽杀石氏子孙及羯胡，自立为帝，改国号魏，史称冉魏，上党郡归于冉魏。永和八年（352年），前燕慕容俊杀死冉闵并称帝，前燕版图扩大，收上党郡。东晋太和五年（370年），前秦的苻坚、王勐率部灭前燕，而后几年内逐步统一中国北方，上党郡入前秦。但鼎盛期后，其领地渐渐缩小。最终于东晋太元十九年（394年）被后秦和