吕梁，最早可追溯到春秋时期。当时吕梁有屈邑、平陵邑、中阳邑及瓜衍县等。前376年，韩、赵、魏“三家分晋”以后，吕梁为赵国境域，境内设有中阳、兹氏、大陵等。秦庄襄王四年（前246年）设太原郡后，遂属太原郡境，设有大陵、兹氏等县。一直延续至汉朝初年。汉武帝元朔四年（前125年） 分设西河郡后，吕梁分属西河郡、太原郡、司隶部三部。大陵、平陶、兹氏为太原郡辖县；蔺、皋狼、中阳、离石、土军、隰成、临水为西河郡辖县；蒲子、狐讘属司隶校尉直接管辖。王莽代汉后，蔺改为讨貉，兹氏县改兹同，大陵县改大宁，平陶县改多穰，临