.西晋永嘉之乱后，兖州流民南迁至长江两岸。东晋初，兖州曾寄治合肥。太宁三年（325年），兖州全境陷于后赵，遂于徐州广陵郡广陵县（今江苏省扬州市邗江区西之蜀冈上）侨置兖州，无实土。此后，兖州治所迁徙频繁，曾寄治于丹徒县京口、盱眙县、山阳县、下邳县、淮阴县，或单独而治，或与徐州共治一地，或与青州共治一地。晋末，兖州定治广陵。
宋齐.南朝宋永初元年（420年），改兖州为南兖州，北兖州为兖州。至此，南兖州领十四侨郡：南高平郡、南平昌郡、南济阴郡、南濮阳郡、南泰山郡、济阳郡、南鲁郡、东