帝隆安二年（398年），东晋再次收复济阴郡。。
南北朝.宋文帝元嘉初，济阴郡定陶、冤句、城阳、句阳、乘氏、离狐、己氏七县为北魏所取，仅余单父、成武二县，併入邻郡。宋孝武帝孝建元年（454年），以单父（改为侨县离狐）、成武二县置北济阴郡。北魏夺取济阴郡后，移治定陶县左城（今山东省曹县西北），省併句阳县，城阳县改属濮阳郡。北魏孝明帝孝昌三年（527年），分兖州、济州置西兖州，济阴郡改属西兖州，分己氏县置考城县。东魏孝静帝兴和二年（540年），分济阴郡置沛郡，考城、己氏二县改属沛郡。