北齐（555年）废砀郡、砀县，併入安阳县。隋开皇十八年（598年），改安阳县为砀山县。大业六年（610年），割彭城县、雎阳县之地置永城县，芒砀山以北为砀山县辖区。唐朝，砀山县属宋州（雎阳郡）。光化二年（899年），朱全忠以砀山县、单父县、虞城县、曹州之成武县表置辉州。后唐，砀山县属单州。宋朝，属单州。金朝兴定元年（1217年），砀山县改属归德府（府城在今河南省商丘市）。兴定五年（1222年），永城县升为永州，辖下邑、砀山、郏三县，芒砀山一带又属砀山县辖 。宋理宗绍定年间（1228—123