正光五年（524年），马头、沛二郡陷于南梁。孝昌元年（525年），置临涣郡。孝昌二年（526年），分梁郡置砀郡。孝昌中（525年－528年），置北梁郡，下蔡郡陷于南梁。太昌元年（532年），谯郡陷于南梁。至此，南兖州领五郡：陈留郡、梁郡、临涣郡、北梁郡、砀郡。东魏时，割砀郡属徐州。天平中（534年－537年），收复马头、沛二郡。兴和中（539年－542年），收复下蔡郡，併临涣郡入马头郡。武定中（543年－550年），收复谯郡。至此，南兖州领七郡：陈留郡、梁郡、北梁郡、马头郡、沛郡、谯郡、下蔡郡。北齐