初治谯，后多次移治）梁郡之郡治。青龙四年（236年），夏邑县兼梁国国都，后又废梁国为梁郡。西晋武帝泰始元年（265年），复置梁国，砀县并入下邑县。南朝宋时，复置砀县。南齐时（479年）废。北魏孝昌二年（526年）复置砀郡，辖砀县、安阳县。北齐（555年）废砀郡、砀县，併入安阳县。隋开皇十八年（598年），改安阳县为砀山县。大业六年（610年），割彭城县、雎阳县之地置永城县，芒砀山以北为砀山县辖区。唐朝，砀山县属宋州（雎阳郡）。光化二年（899年），朱全忠以砀山县、单父县、虞城县、曹州