陈留郡、梁郡、临涣郡、北梁郡、砀郡。东魏时，割砀郡属徐州。天平中（534年－537年），收复马头、沛二郡。兴和中（539年－542年），收复下蔡郡，併临涣郡入马头郡。武定中（543年－550年），收复谯郡。至此，南兖州领七郡：陈留郡、梁郡、北梁郡、马头郡、沛郡、谯郡、下蔡郡。北齐天保七年（556年），废谯郡，地属仁州；废北梁郡为城安县，属西兖州济阴郡；废下蔡郡为下蔡县，属谯州南谯郡；併马头、沛二郡入梁郡。至此，南兖州领二郡：陈留郡、梁郡。北周宣政元年（578年），改南兖州为亳州。