北魏皇兴元年（467年），佔领南朝宋兖州大部，改为东兖州，改阳平郡为东阳平郡，以东兖州之济北郡併入济州之济北郡。皇兴二年（468年），佔领兖州全境。皇兴三年（469年），分泰山郡置东泰山郡。太和十八年（494年），改东兖州为兖州，割西兖州之济阴郡属兖州。神龟元年（518年），分高平郡复置任城郡。孝昌三年（527年），割济阴郡属西兖州。永安二年（529年），割东泰山郡属北徐州。至此，兖州领六郡：鲁郡、泰山郡、高平郡、任城郡、东平郡、东阳平郡。北齐天保七年（556年），併鲁、任城二郡为任城郡，泰山、东平、东