都王司马衍为济阴王，复置济阴国。永嘉之乱后，国除为济阴郡。十六国时期，济阴郡先后为后赵（325年－351年）、东晋（351年－359年）、前燕（359年－370年）、前秦（370年－384年）、东晋（384年－387年）、翟魏（387年－392年）、后燕（392年－398年）所有。晋安帝隆安二年（398年），东晋再次收复济阴郡。。
南北朝.宋文帝元嘉初，济阴郡定陶、冤句、城阳、句阳、乘氏、离狐、己氏七县为北魏所取，仅余单父、成武二县，併入邻郡。宋孝武帝孝建元年（454年），以单