初，省兰陵郡。后割南兖州之砀郡属徐州。武定五年（547年），复置兰陵郡。北齐天保七年（556年），併蕃、砀二郡入彭城郡，改北济阴郡为永昌郡。北周时，併南阳平、沛二郡入彭城郡。至此，徐州领三郡：彭城郡、兰陵郡、永昌郡。
隋朝.隋朝开皇三年（583年）废郡，徐州三郡领县直属于州，故永昌郡所领成武县改属曹州；废睢州为符离县，属徐州。至此，徐州领八县：彭城、沛、承高、龙城、丰、蕃、承、符离。开皇六年（586年），併龙城县入承高县，改为龙城县。开皇十六年（596年），改蕃县为滕县，分沛县