郡置东燕国。至永嘉中（307年－313年），兖州领四郡六国：陈留国、济阳郡、濮阳郡、东燕郡、东平国（公国）、任城国、泰山郡、济北国（侯国）、高平国（公国）、济阴国。建兴三年（315年），濮阳、东燕二郡陷于石勒。
东晋十六国.东晋永昌元年（322年），陈留、泰山二郡陷于后赵。太宁三年（325年），兖州全境陷于后赵，遂于徐州广陵郡侨置兖州。后赵时，兖州徙治濮阳郡鄄城县（今山东省鄄城县北）。建武元年（335年），割陈留、东燕二郡置洛州。至此，兖州领七郡：济阳郡、濮阳郡、东平郡、泰山郡