北周宣政元年（578年）时，以西兖州改置，治所在左城县（隋朝改济阴县，今曹县西北）；取古曹国为名。隋朝大业初年，改为济阴郡。唐朝武德初年复为曹州，曾改济阴郡。户十万三百五十二，口七十一万六千八百四十八。下辖六县：济阴县、考城县、宛句县、乘氏县、南华县、成武县。辖境约当今山东省菏泽、曹县、成武、东明及河南省兰考、民权等地。北宋崇宁初年，升为兴仁府。金朝天会八年（1130年）复为曹州；大定八年（1168年）移治乘氏县（后改济阴县，即今菏泽市）。明朝洪武元年（1368年），移治安陵城（今曹县西北），二年移治盘