取东晋兰陵郡。晋孝武帝太元九年（384年），收复兰陵郡。至刘宋时，兰陵郡仅余昌虑、承、合乡三县。宋明帝泰始三年（467年），兰陵郡入北魏。东魏初，废兰陵郡。东魏孝静帝武定五年（547年），复置兰陵郡，治承城，领昌虑、承、合乡、兰陵四县。北齐文宣帝天保七年（556年），昌虑、合乡、兰陵三县併入承县。隋文帝开皇三年（583年），废兰陵郡，承县直属徐州。