汉灭亡后，为鲜卑拓跋部所据，后赵赵王石勒三年（321年）自鲜卑拓跋部取得西河郡故地，在此地设置永石郡，领离石（郡治，今山西吕梁市离石区）、隰城（今山西汾阳市）、界休（今山西介休市东）3县。前秦复改为西河郡。北魏置西河郡，治隰城（今山西省汾阳市），属介州。隋因之。唐时，以西河郡置汾州。天宝元年（742年），改汾州为西河郡。下辖隰城县、孝义县、介休县、平遥县、灵石县，干元元年（758年），复西河郡为汾州。