永安二年（529年），割琅邪郡置北徐州。至此，徐州领六郡：彭城郡、南阳平郡、蕃郡、沛郡、兰陵郡、北济阴郡。东魏初，省兰陵郡。后割南兖州之砀郡属徐州。武定五年（547年），复置兰陵郡。北齐天保七年（556年），併蕃、砀二郡入彭城郡，改北济阴郡为永昌郡。北周时，併南阳平、沛二郡入彭城郡。至此，徐州领三郡：彭城郡、兰陵郡、永昌郡。
隋朝.隋朝开皇三年（583年）废郡，徐州三郡领县直属于州，故永昌郡所领成武县改属曹州；废睢州为符离县，属徐州。至此，徐州领八县：彭城、沛、承高、龙城、丰、