兴三年（469年），分泰山郡置东泰山郡。太和十八年（494年），改东兖州为兖州，割西兖州之济阴郡属兖州。神龟元年（518年），分高平郡复置任城郡。孝昌三年（527年），割济阴郡属西兖州。永安二年（529年），割东泰山郡属北徐州。至此，兖州领六郡：鲁郡、泰山郡、高平郡、任城郡、东平郡、东阳平郡。北齐天保七年（556年），併鲁、任城二郡为任城郡，泰山、东平、东阳平三郡为东平郡。至此，兖州领三郡：任城郡、东平郡、高平郡。
隋朝.隋朝开皇三年（583年）废郡，兖州三郡领县直属于州，併岱