封五年（前106年），设立十三刺史部。其中，兖州刺史部地处今山东省西南部与河南省东北部。但此时的兖州刺史部只是监察区，非真正意义上的行政区。东汉中平五年（188年）后，州成为正式的一级行政区域。兖州治山阳郡昌邑县（今山东省鉅野县东南），领五郡三国：陈留郡、东郡、东平国、任城国、泰山郡、济北国、山阳郡、济阴郡。初平三年（192年），兖州徙治济阴郡鄄城县（今山东省鄄城县北）。后又徙治东郡廪丘县（今山东省郓城县西北）西晋泰始元年（265年），改山阳郡为高平国。咸宁三年（277年），改东郡为濮阳国。太康十年