（394年），后燕攻陷高平郡。晋安帝义熙五年（409年），刘裕北伐南燕，收复高平郡，为了区别于侨郡而改为北高平郡。东晋时，高平郡移治高平县，省昌邑、湖陆二县，改南平阳县为平阳县，任城郡之任城、亢父二县併入高平郡。
南北朝.宋武帝永初元年（420年），改北高平郡为高平郡。宋文帝元嘉二十年（443年），省兖州，高平郡改属徐州。元嘉三十年（453年），复立兖州，高平郡还属兖州。南朝宋时，移治高平县（今邹城市西南），省任城县。此时，高平郡领高平、方与、金乡、鉅野、平阳、亢父六县。宋明帝