阳平郡置临潼郡。孝文帝时，割宿豫郡置南徐州。太和十五年（491年），併建昌郡入彭城郡。太和十八年（494年），割梁、谯二郡属南兖州。正光五年（524年），淮阳郡陷于南梁。孝昌元年（525年），割下邳、东海二郡置东徐州。孝昌三年（527年），分彭城郡置蕃郡；临潼、阳平、南济阴三郡陷于南梁，分别改属潼州、西豫州、睢州，遂侨置南阳平郡（治沛南界，后寄治彭城）。永安二年（529年），割琅邪郡置北徐州。至此，徐州领六郡：彭城郡、南阳平郡、蕃郡、沛郡、兰陵郡、北济阴郡。东魏初，省兰陵郡。后割南兖州之砀郡属徐州。