先秦时代，黄山市区域内的居民主要为古越人，先后归属于吴、越、楚等国。秦王统一中国后，在新安江上游一带设立了黝（宋以后称黟）、歙二县，属鄣郡。西汉初期，二县相继属楚国、吴国、江都国，后属丹阳郡。