1072年），孝义县併入介休县。元祐元年（1086年），复置孝义县。至此，汾州领五县：西河、孝义、介休、平遥、灵石。
金元明.金朝天会四年（1126年），佔领汾州。天会七年（1129年），升汾州为节镇，军名为汾阳军，隶河东北路。贞祐三年（1215年），灵石县改属霍州。贞祐四年（1216年），霍州灵石县、石州温泉县改属汾州。至此，汾州领六县：西河、孝义、介休、平遥、灵石、温泉。兴定二年（1218年），汾州陷于大蒙古国。大蒙古国时期，置汾州元帅府，分灵石县置小灵石县，灵石县改属平阳