有砀山（今芒砀山）而得名。郡治在砀县（今河南省永城市芒山镇）。汉高帝五年（前202年），封彭越为梁王，以砀郡置梁国，其地在今河南省东部、山东省西南部与安徽省北一带。国都为定陶县。高帝十一年（前196年）彭越谋反，改封皇子刘恢为梁王，领砀郡、东郡，都睢阳。文帝元年梁国除为郡。三国魏时改梁国为梁郡。北魏孝昌二年（526年）复置砀郡，郡治为下邑县（县城在今安徽宿州砀山县东）。北齐天保七年（556年）废。