太和十九年（495年），置下蔡郡。辖境相当今安徽省蒙城、颍上以东，蕲县西南，蒙城、凤台二县及怀远县西北郊地区。景明中（500年－503年），废南兖州。正始四年（507年），复置南兖州，治陈留郡小黄县谯城（今安徽省亳州市谯城区）。辖境相当今河南省鹿邑、睢县以东，安徽省涡阳西北的涡河及西淝河流域。延昌中（512年－515年），分梁郡置沛郡。正光五年（524年），马头、沛二郡陷于南梁。孝昌元年（525年），置临涣郡。孝昌二年（526年），分梁郡置砀郡。孝昌中（525年－528年），置北梁郡，下蔡郡陷于南梁