前秦建元六年（370年），佔领前燕兖州，徙治陈留郡小黄县仓垣城（今河南省开封市祥符区北），割梁郡属南兖州，併任城郡入高平郡。建元十五年（379年），兖州徙治高平郡湖陆县（今山东省鱼台县东南）。至此，兖州领十郡：陈留郡、济阳郡、濮阳郡、东燕郡、东平郡、泰山郡、济北郡、高平郡、济阴郡、鲁郡。东晋太元九年（384年），收复兖州。太元十一年（386年），泰山郡陷于翟魏。太元十二年（387年），陈留、东燕、济阴、高平四郡陷于翟魏；济北郡陷于后燕，改属青州。太元十五年（390年），收复泰山、高平二郡。太元十九年（