武帝永初元年（420年），改北高平郡为高平郡。宋文帝元嘉二十年（443年），省兖州，高平郡改属徐州。元嘉三十年（453年），复立兖州，高平郡还属兖州。南朝宋时，移治高平县（今邹城市西南），省任城县。此时，高平郡领高平、方与、金乡、鉅野、平阳、亢父六县。宋明帝泰始二年（466年）十二月，宋失淮北四州，北魏攻陷高平郡。北魏时，复置任城县，分高平郡之任城、亢父、鉅野三县置任城郡，高平郡仅余四县。北齐时，高平郡移治任城县（今济宁市任城区）。北周武帝建德六年（577年），灭北齐，高平郡由齐入周。隋文帝开皇三年（5