皇四年（584年），改鲁县为汶阳县。开皇六年（586年），改奉高县为岱山县。开皇十年（590年），割须昌县属郓州。开皇十三年（593年），分邹、汶阳、平原三县置瑕丘县，瑕丘城由汶阳县移属瑕丘县。开皇十六年（596年），改汶阳县为曲阜县，乐平县为平陆县，平原县为龚丘县，博县为汶阳县；分嬴县置牟城县，汶阳县置泗水县；割汶阳、岱山二县置泰州。至此，兖州领十一县：瑕丘、邹、曲阜、泗水、平陆、龚丘、任城、高平、梁父、嬴、牟城。大业二年（606年），改兖州为鲁州，併牟城县入嬴县，併高平县入邹县；废泰州为博城县，属鲁