和二年（540年），分济阴郡置沛郡，考城、己氏二县改属沛郡。至此，济阴郡领四县：定陶、离狐、冤句、乘氏。北齐文宣帝天保七年（556年），废北梁郡，其所领城安县併入考阳县，改称城安县，改属济阴郡。至此，济阴郡领五县：定陶、离狐、冤句、乘氏、城安。周武帝宣政元年（578年），改西兖州为曹州，济阴郡仍属之。
隋唐.隋文帝开皇三年（583年），废济阴郡，领县直属曹州。隋炀帝大业三年（607年），改曹州为济阴郡，治济阴县左城（今山东省曹县西北），领九县：济阴、外黄、济阳、成武、冤句、