汉沿用秦制，上党郡属并州。汉建安十八年（213年），上党郡入冀州。三国时期，魏黄初元年（220年），上党郡复归并州。西晋永兴元年（汉元熙三年，304年），匈奴人刘渊起兵反晋，建国号为“汉”，上党郡归其管辖。东晋大兴二年（319年），前赵羯族将领石勒与刘曜决裂，自立政权，后灭掉“前赵”，建立“后赵”，上党郡归之。东晋永和六年（350年），石虎（石勒之侄）养孙冉闵乘后赵内乱尽杀石氏子孙及羯胡，自立为帝，改国号魏，史称冉魏，上党郡归于冉魏。永和八年（352年），前燕慕容俊杀死冉闵并称帝，前燕版图扩大，收上党郡