嘉初，济阴郡定陶、冤句、城阳、句阳、乘氏、离狐、己氏七县为北魏所取，仅余单父、成武二县，併入邻郡。宋孝武帝孝建元年（454年），以单父（改为侨县离狐）、成武二县置北济阴郡。北魏夺取济阴郡后，移治定陶县左城（今山东省曹县西北），省併句阳县，城阳县改属濮阳郡。北魏孝明帝孝昌三年（527年），分兖州、济州置西兖州，济阴郡改属西兖州，分己氏县置考城县。东魏孝静帝兴和二年（540年），分济阴郡置沛郡，考城、己氏二县改属沛郡。至此，济阴郡领四县：定陶、离狐、冤句、乘氏。北齐文宣帝天保七年（556年），废北梁郡，