州分江而治，辖境相当于今天江苏省江淮之间和安徽省天长市等地。后併南齐、南平原、济岷、雁门四郡入南东平郡。元嘉二十八年（451年），南兖州徙治盱眙。元嘉三十年（453年），南兖州併入南徐州。同年，复置南兖州，还治广陵。至此，南兖州领八郡：广陵郡、海陵郡、山阳郡、盱眙郡、南沛郡、钟离郡、秦郡、南东平郡。大明五年（461年），併南东平郡入广陵郡。泰始中，徐州诸郡陷于北魏，遂于广陵侨置新平、北淮阳、北济阴、北下邳、东莞五郡。元徽元年（473年），割钟离郡属徐州。至此，南兖州领十一郡：广陵郡、海陵郡、山阳郡、盱眙