东晋兖州之陈留郡，仍置兖州，治小黄县仓垣城（今河南省开封市祥符区北）。
南北朝.北魏皇始三年（398年），佔领后燕濮阳郡。天兴二年（399年），佔领南燕东燕郡，改为东郡。遂以二郡置兖州，治东郡白马县滑台城（今河南省滑县东）。东晋义熙五年（409年），佔领南燕兖州之泰山郡。义熙六年（410年），佔领南燕并州之东平、济北二郡，属兖州。义熙十二年（416年），佔领后秦兖州之陈留郡与北魏兖州之东郡、濮阳二郡。至此，以兖州旧土置北兖州，仍治滑台城，领九郡：东郡、陈留郡、濮阳郡、鲁郡、泰山