地置始新县，南乡地置新定县，西乡地置黎阳、休阳县，加黟、歙共六县建新都郡。西晋太康元年（公元280年）灭吴国，改新都郡为新安郡。南北朝时期，新安郡归属南朝。
隋唐至清末.隋朝重新统一中国后，开皇九年（589年），改新安郡为歙州。大业三年（公元607年），复改歙州为新安郡。隋末动乱，大业十二年，歙县人汪华起兵占据歙州及宣、杭、睦、婺、饶共6州，号称吴王。唐武德四年（公元621年），汪华归附唐朝，被封为越国公。复改新安郡为歙州，州治歙县。此后，经多次析置调整，至唐大历五年（公元770年