46年）设太原郡后，遂属太原郡境，设有大陵、兹氏等县。一直延续至汉朝初年。汉武帝元朔四年（前125年） 分设西河郡后，吕梁分属西河郡、太原郡、司隶部三部。大陵、平陶、兹氏为太原郡辖县；蔺、皋狼、中阳、离石、土军、隰成、临水为西河郡辖县；蒲子、狐讘属司隶校尉直接管辖。王莽代汉后，蔺改为讨貉，兹氏县改兹同，大陵县改大宁，平陶县改多穰，临水县改监水。东汉始立后各县遂复旧名。东汉初，吕梁属于西河、太原、河东三郡。离石、蔺、 皋狼、临水、中阳、平周为西河郡辖县，蒲子县属河东郡。永和五年（140年）秋，匈奴单于句龙