魏永平元年（617年），改济阴郡为曹州。隋炀帝大业十四年（618年），复为济阴郡。不久，济阴郡即属宇文化及之许。郑开明元年（619年），复改为曹州。唐玄宗天宝元年（742年），复改为济阴郡，领六县：济阴县、考城县、冤句县、乘氏县、南华县、成武县。燕光烈帝圣武元年（756年），复改为曹州。唐肃宗至德二载（757年），复改为济阴郡。干元元年（758年），复改为曹州。燕昭武帝顺天元年（759年），复改为济阴郡。唐肃宗上元二年（761年），复改为曹州，济阴郡之名不再作为行政区划名称。