属太原府。后废元帅府，汾州属太原路。至元二年（1265年），小灵石县併入介休县，太原路介休、平遥二县属汾州。至元三年（1266年），废温泉县，辖区分属孝义县、晋宁路隰州隰川县。至此，汾州领四县：西河、孝义、介休、平遥。大德九年（1305年），改太原路为冀宁路，汾州仍属之。明朝洪武二年（1369年），佔领冀宁路，改为太原府，汾州仍属之，省附郭西河县入本州。洪武九年（1376年），汾州直隶于山西等处承宣布政使司。万历二十三年（1595年），升汾州为汾州府。