主要为古越人，先后归属于吴、越、楚等国。秦王统一中国后，在新安江上游一带设立了黝（宋以后称黟）、歙二县，属鄣郡。西汉初期，二县相继属楚国、吴国、江都国，后属丹阳郡。三国时期，当地的越人土着和一些避入山林的汉人，“依山阻险，不纳王租”，被称为“山越”。建安十三年（公元208年）。吴主孙权派遣威武中郎将贺齐征服歙县金奇、毛甘，黟县陈仆、祖山等山越部落后，分歙县东乡地置始新县，南乡地置新定县，西乡地置黎阳、休阳县，加黟、歙共六县建新都郡。西晋太康元年（公元280年）灭吴国，改新都郡为新安郡。南北朝时期，新安郡