。永嘉之乱后，后赵改高平国为高平郡，后为东晋所收复。晋废帝太和元年（366年），前燕攻陷高平郡。太和四年（369年），东晋收复高平郡。晋孝武帝太元十二年（387年），翟魏攻陷高平郡，收复后又一度为前秦所占领。太元十九年（394年），后燕攻陷高平郡。晋安帝义熙五年（409年），刘裕北伐南燕，收复高平郡，为了区别于侨郡而改为北高平郡。东晋时，高平郡移治高平县，省昌邑、湖陆二县，改南平阳县为平阳县，任城郡之任城、亢父二县併入高平郡。
南北朝.宋武帝永初元年（420年），改北高平郡