秦王政二十六年（前221年），秦始皇统一中国，实行郡县制，上党郡为开国36郡之一。西汉、东汉沿用秦制，上党郡属并州。汉建安十八年（213年），上党郡入冀州。三国时期，魏黄初元年（220年），上党郡复归并州。西晋永兴元年（汉元熙三年，304年），匈奴人刘渊起兵反晋，建国号为“汉”，上党郡归其管辖。东晋大兴二年（319年），前赵羯族将领石勒与刘曜决裂，自立政权，后灭掉“前赵”，建立“后赵”，上党郡归之。东晋永和六年（350年），石虎（石勒之侄）养孙冉闵乘后赵内乱尽杀石氏子孙及羯胡，自立为帝，改国号魏，史称冉