辖境主要包括今山东省西南部与河南省东北部，东晋十六国时期辖境变动频繁，北魏时辖境逐渐缩小，北朝后期以后辖境仅限于今山东省济宁市一带。
沿革.
汉魏西晋.西汉元封五年（前106年），设立十三刺史部。其中，兖州刺史部地处今山东省西南部与河南省东北部。但此时的兖州刺史部只是监察区，非真正意义上的行政区。东汉中平五年（188年）后，州成为正式的一级行政区域。兖州治山阳郡昌邑县（今山东省鉅野县东南），领五郡三国：陈留郡、东郡、东平国、任城国、泰山郡、济北国、山阳郡、