周置晋州总管府。隋朝开皇初年，总管府废。又置临汾郡，下隶七县：临汾县、襄陵县、冀氏县、杨县、霍邑县、汾西县、岳阳县（原称安泽县）。隋恭帝义宁二年（618年），临汾郡改名平阳郡。唐朝武德元年（618年）又以平阳郡改置晋州，治所在临汾县（今临汾市西南）。天宝元年（742年）复为平阳郡，干元元年（758年）又为晋州。五代移治今临汾市。北宋政和六年（1116年）升为平阳府。唐朝时，晋州的辖境约当今山西省临汾、霍州、汾西、洪洞、浮山、安泽等市县地。产矾。唐置矾官，宋有炼矾务。