永兴元年（304年），分临淮郡置堂邑郡。至此，徐州领三郡八国：彭城国、广陵国、下邳国、临淮郡、淮陵国、堂邑郡、东海国、兰陵国、琅邪国、东莞郡、东安国。
晋宋.东晋时期，徐州北部诸郡屡陷屡复，治所也频繁迁徙，或治广陵郡广陵县（今江苏省扬州市邗江区西），或治下邳郡下邳县（今江苏省邳州市南），或寄治扬州晋陵郡丹徒县京口（今江苏省镇江市）。永昌元年（322年），琅邪国陷于后赵。太宁二年（324年），彭城、下邳、东海、兰陵、东莞、东安六郡国陷于后赵。咸和元年（326年），临淮、淮陵二郡陷于后