宋绍兴六年（1136年），废连山县为镇，绍兴十八年复设县，改称程山县（元初又复名连山县）。南宋庆元元年（1195年），英州升为英德府，据说宋宁宗赵扩登基之前受封为英国公，相应的州是其“潜邸”之故，这是府重于州之始。
元、明、清.元至元十五年（1278年），英德府改为英德路总管府，属广东道，不久，又降为州，并浛洸、真阳二县入英州。明洪武二年（1369年），英德州降格为英德县，属岭南道韶州府。十四年，连州及其所领的阳山和连山县改属广州府。清雍正七年（1729年），连州改为直隶州