燕攻陷高平郡。太和四年（369年），东晋收复高平郡。晋孝武帝太元十二年（387年），翟魏攻陷高平郡，收复后又一度为前秦所占领。太元十九年（394年），后燕攻陷高平郡。晋安帝义熙五年（409年），刘裕北伐南燕，收复高平郡，为了区别于侨郡而改为北高平郡。东晋时，高平郡移治高平县，省昌邑、湖陆二县，改南平阳县为平阳县，任城郡之任城、亢父二县併入高平郡。
南北朝.宋武帝永初元年（420年），改北高平郡为高平郡。宋文帝元嘉二十年（443年），省兖州，高平郡改属徐州。元嘉三十年（453年）