东晋兖州之泰山、东平、济北三郡，以泰山郡置兖州，治梁父县（今山东省泰安市岱岳区东南），以东平、济北二郡置并州。后秦弘始元年（399年），佔领东晋兖州之陈留郡，仍置兖州，治小黄县仓垣城（今河南省开封市祥符区北）。
南北朝.北魏皇始三年（398年），佔领后燕濮阳郡。天兴二年（399年），佔领南燕东燕郡，改为东郡。遂以二郡置兖州，治东郡白马县滑台城（今河南省滑县东）。东晋义熙五年（409年），佔领南燕兖州之泰山郡。义熙六年（410年），佔领南燕并州之东平、济北二郡，属兖州。义熙十