嘉三十年（453年），复立兖州，鲁郡还属兖州。宋孝武帝大明元年（457年），析置阳平县，后又析置新阳县。宋明帝泰始二年（466年），复置卞县。此时，鲁郡领邹、汶阳、鲁、阳平、新阳、卞六县。同年十二月，宋失淮北四州，北魏攻陷鲁郡。北魏时，鲁郡还治鲁县。北齐时，鲁郡併入任城郡。北周武帝建德六年（577年），灭北齐，任城郡由齐入周。
隋唐.隋文帝开皇三年（583年），废任城郡，其地属兖州。隋炀帝大业三年（607年），改兖州为鲁郡，治所在瑕丘县（今山东省济宁市兖州区），辖境相当于今山东