帝永和七年（351年），收复兰陵郡，永和十一年（355年）又为前燕所取，后又收复。前秦建元十五年（379年），攻取东晋兰陵郡。晋孝武帝太元九年（384年），收复兰陵郡。至刘宋时，兰陵郡仅余昌虑、承、合乡三县。宋明帝泰始三年（467年），兰陵郡入北魏。东魏初，废兰陵郡。东魏孝静帝武定五年（547年），复置兰陵郡，治承城，领昌虑、承、合乡、兰陵四县。北齐文宣帝天保七年（556年），昌虑、合乡、兰陵三县併入承县。隋文帝开皇三年（583年），废兰陵郡，承县直属徐州。