周置晋州总管府。隋朝开皇初年，废总管府。大业三年（607年），设置临汾郡，治所在临汾县（今山西省临汾市）。下隶七县：临汾县、襄陵县、冀氏县、杨县、霍邑县、汾西县、岳阳县（原称安泽县）。辖区包括今山西省临汾、汾西县之间的汾河流域和浮山县、安泽县等地。隋恭帝义宁二年（618年），临汾郡改名平阳郡。唐朝建立后，平阳郡改为晋州。