以砀山县、单父县、虞城县、曹州之成武县表置辉州。后唐，砀山县属单州。宋朝，属单州。金朝兴定元年（1217年），砀山县改属归德府（府城在今河南省商丘市）。兴定五年（1222年），永城县升为永州，辖下邑、砀山、郏三县，芒砀山一带又属砀山县辖 。宋理宗绍定年间（1228—1233年）砀山县城为洪水荡没，迁治保安镇。元宪宗七年（1257年），复置砀山县，还旧地，属东平路。至元二年（1265年），降永州为永城县，芒砀山一带再属永城县。是年，砀山县并入单父县，三年，复置砀山县，属济州，八年，属济宁路。