永嘉中，徙封兰陵公于江夏郡，东海王司马越增封兰陵郡。后赵六年（324年），攻取东晋兰陵郡。赵武帝时，改兰陵郡为武兴郡。晋穆帝永和七年（351年），收复兰陵郡，永和十一年（355年）又为前燕所取，后又收复。前秦建元十五年（379年），攻取东晋兰陵郡。晋孝武帝太元九年（384年），收复兰陵郡。至刘宋时，兰陵郡仅余昌虑、承、合乡三县。宋明帝泰始三年（467年），兰陵郡入北魏。东魏初，废兰陵郡。东魏孝静帝武定五年（547年），复置兰陵郡，治承城，领昌虑、承、合乡、兰陵四县。北齐文宣帝天保七年（556年）