义元年（528年）以唐州改置，治所在白马城（今山西省临汾市）。北齐后废。北周置晋州总管府。隋朝开皇初年，总管府废。又置临汾郡，下隶七县：临汾县、襄陵县、冀氏县、杨县、霍邑县、汾西县、岳阳县（原称安泽县）。隋恭帝义宁二年（618年），临汾郡改名平阳郡。唐朝武德元年（618年）又以平阳郡改置晋州，治所在临汾县（今临汾市西南）。天宝元年（742年）复为平阳郡，干元元年（758年）又为晋州。五代移治今临汾市。北宋政和六年（1116年）升为平阳府。唐朝时，晋州的辖境约当今山西省临汾、霍州、汾西、洪洞、浮山、安