邯郸王曹温为鲁王，改鲁郡为鲁国。咸宁三年（277年），沛国之公丘县改属鲁国。西晋后期，蕃、薛二县改属彭城国，鲁国仅余五县。永嘉之乱后，改鲁国为鲁郡。十六国时期，鲁郡先后为前赵、后赵、前燕、前秦、后燕、南燕的领土，移治邹山，省卞、公丘二县，改属兖州。晋安帝义熙四年（408年），攻克邹山，收复鲁郡，为了区别于侨郡而改为北鲁郡。宋武帝永初元年（420年），改北鲁郡为鲁郡。宋文帝元嘉二十年（443年），省兖州，鲁郡改属徐州。元嘉二十七年（450年），邹山为北魏所攻陷，后又收复。元嘉三十年（453年），复立兖