初，吕梁属于西河、太原、河东三郡。离石、蔺、 皋狼、临水、中阳、平周为西河郡辖县，蒲子县属河东郡。永和五年（140年）秋，匈奴单于句龙王车纽率乌桓，羌戎及诸胡等数万人来寇，“乃徙西河治离石”。同年，临水县併入离石。中平年间美稷县“南徙于兹氏县界，寻废”。建安二十一年（218年）“南匈奴内附”，左部居于兹氏，中部居于大陵。三国时，当为魏国境域。黄初二年（221年）设置西河郡，治兹氏县，辖离石、中阳等县；大陵、平陶二县仍属太原郡，蒲子县仍为平阳郡辖县。西晋。全境各县分属于西河国和太原国，属县未变，仅兹氏