彭城郡置蕃郡；临潼、阳平、南济阴三郡陷于南梁，分别改属潼州、西豫州、睢州，遂侨置南阳平郡（治沛南界，后寄治彭城）。永安二年（529年），割琅邪郡置北徐州。至此，徐州领六郡：彭城郡、南阳平郡、蕃郡、沛郡、兰陵郡、北济阴郡。东魏初，省兰陵郡。后割南兖州之砀郡属徐州。武定五年（547年），复置兰陵郡。北齐天保七年（556年），併蕃、砀二郡入彭城郡，改北济阴郡为永昌郡。北周时，併南阳平、沛二郡入彭城郡。至此，徐州领三郡：彭城郡、兰陵郡、永昌郡。
隋朝.隋朝开皇三年（583年）废郡，徐州