北魏时，鲁郡还治鲁县。北齐时，鲁郡併入任城郡。北周武帝建德六年（577年），灭北齐，任城郡由齐入周。
隋唐.隋文帝开皇三年（583年），废任城郡，其地属兖州。隋炀帝大业三年（607年），改兖州为鲁郡，治所在瑕丘县（今山东省济宁市兖州区），辖境相当于今山东省泰山以南、南阳湖以北、泗水县以西及汶上县以东地。鲁郡领十县：瑕丘、任城、邹、曲阜、泗水、平陆、龚丘、梁父、博城、嬴。唐高祖武德五年（622年），平徐圆朗，改鲁郡为兖州。唐玄宗天宝元年（742年），改兖州为鲁郡。鲁郡领十县：