汉高祖五年（前202）改为梁国，属豫州。隋开皇初梁郡废，开皇十六年（596年）置宋州，大业三年（607年）复置梁郡。五代唐庄宗同光元年（923年）改为归德军。北宋景德三年（1006年）为应天府，属京东西路，大中祥符七年（1014年）诏升为南京。金太宗天会八年（1130年）更名为归德府，属南京路。明太祖洪武元年（1368年）降府为州，属开封府。清嘉靖二十四年（1545年）升州为府，仍为归德府，属河南省。民国2年（1913年）裁归德府，所属各县划归豫东道。1997年6月1日国务院批复，设立梁园区和雎