郡的治所在秦置的平阳县（故址在今山西省临汾市尧都区），以此为中心，平阳郡包括了今天山西省西南部黄河以东汾河流域的十二个县，大致与临汾市辖区相仿。平阳之名此后被长期使用，除隋朝时曾短暂称临汾外，基本被各代沿用。隋恭帝义宁二年（618年），临汾郡改名平阳郡。唐朝武德元年（618年）以平阳郡改置晋州，治所在临汾县（今临汾市西南）。天宝元年（742年）再改为平阳郡，下辖临汾县（今山西省临汾市）、洪洞县、岳阳县（今山西省古县）、冀氏县、神山县（今山西省浮山县张庄乡古县村）、霍邑县、赵城县（今山西省洪洞县赵城镇）、汾西