永昌元年（322年），陈留、泰山二郡陷于后赵。太宁三年（325年），兖州全境陷于后赵，遂于徐州广陵郡侨置兖州。后赵时，兖州徙治濮阳郡鄄城县（今山东省鄄城县北）。建武元年（335年），割陈留、东燕二郡置洛州。至此，兖州领七郡：济阳郡、濮阳郡、东平郡、泰山郡、济北郡、高平郡、济阴郡。冉魏永兴二年（351年），兖州大部陷于东晋。前燕元玺二年（353年），佔领后赵司州之阳平郡，置兖州，治馆陶（今河北省馆陶县）。元玺四年（355年），佔领东晋兖州之济北郡。光寿元年（357年），阳平郡还属司州，兖州徙治济北郡卢