东部的直河乡设置英山县。1275年，英山县归顺元朝，1278年开始英山县属于河南江北行省庐州路六安州，同年，英山县筑起土城。元末，红巾军曾活动于英山一带，明朝初年，属南直隶。1639年，英山县县治迁往章山，1643年又迁往添楼乡。清朝建立后英山县属于江南布政使司庐州府，1662年，改属安徽布政使司六泗道。1724年属于六安州。1853年，太平军攻入英山县，次年清军击败驻守英山县城的太平军，夺回英山县。此后的十年间，太平军与清军几次争夺英山。1911年10月10日，武昌起义，11月安徽省宣告独立，英山县知