577年），灭北齐，高平郡由齐入周。隋文帝开皇三年（583年），废高平郡，其地属兖州。
侨郡（一）.东晋时，在扬州境内侨立高平郡，以安置流民，领金乡、湖陆、高平、鉅野、昌邑五县。宋武帝永初元年（420年），改高平郡为南高平郡。宋文帝元嘉十八年（441年），鉅野县併入高平县，昌邑县亦省併。
侨郡（二）.宋明帝泰始二年（466年）十二月，失淮北四州，北魏攻陷高平郡。泰始五年（469年），在淮南郡当涂县境内侨立高平郡，以安置流民，领高平、金乡二县，同年又立睢陵县