南朝宋兖州，仍治滑台。泰常八年（423年），割东平、济北二郡置济州。神䴥三年（430年），兖州济水以东陷于南朝宋。至此，兖州领四郡：东郡、陈留郡、濮阳郡、济阴郡。皇兴元年（467年）后，为区别于东兖州，又称兖州为西兖州。太和十一年（487年），割濮阳郡属济州。太和十八年（494年），併陈留郡入东郡，割东郡属司州，割济阴郡属东兖州。北魏皇兴元年（467年），佔领南朝宋兖州大部，改为东兖州，改阳平郡为东阳平郡，以东兖州之济北郡併入济州之济北郡。皇兴二年（468年），佔领兖州全境。皇兴三年（469年），分泰山