设上党郡，后又归于赵国。东汉刘熙《释名》曰：“党，所也。在山上，其所最高，故曰上也。”秦王政二十六年（前221年），秦始皇统一中国，实行郡县制，上党郡为开国36郡之一。西汉、东汉沿用秦制，上党郡属并州。汉建安十八年（213年），上党郡入冀州。三国时期，魏黄初元年（220年），上党郡复归并州。西晋永兴元年（汉元熙三年，304年），匈奴人刘渊起兵反晋，建国号为“汉”，上党郡归其管辖。东晋大兴二年（319年），前赵羯族将领石勒与刘曜决裂，自立政权，后灭掉“前赵”，建立“后赵”，上党郡归之。东晋永和六年（350