黄山市文明的源头可以追溯到距今5000多年前。从歙县、祁门等地出土的文物表明,今黄山市一带早在旧石器时期就已有先民生活。而在新石器时代,那里的先民们已创造原始土著文化。
春秋战国时期,这片地域先属吴,吴亡属越,越亡属楚。直至秦王嬴政二十四年(公元前223年)灭楚。但这些都只是地域上的归属,并非实质性的管辖。当时仍属于相对独立的古越土著的势力范围。
秦始皇二十六年(公元前221年)统一中国,秦始皇推行郡县制,这一带隶属于会稽郡。秦始皇三十七年(公元前210年)正月,始皇帝嬴政东巡至会稽(今浙江绍兴一带),为加强对东南地区的统治,将原越国的百姓迁徙至新安江上游一带,设立黝(宋以后称黟)、歙二县,属鄣郡。这是黄山市地域最早的行政区划建置,距今已有2218年。“黝”、“歙”二县的县名,来自于古越语地名的发音。当时的黝、歙两县辖地很广。歙县地包括歙县、休宁、屯溪区、徽州区、绩溪,浙江的淳安及江西婺源的一部分。黝县地包括黟县、祁门、石台、广德和黄山区的一部分。
西汉初期,黝、歙二县相继属楚国、荆国、吴国、江都国,后属丹阳郡。鸿嘉二年(公元前19年)改黝县为广德王国,广德王城在今黟县城东五里。歙县属丹阳郡。第二年废广德王国,复设黝县。汉平帝元始二年(公元2年)又设广德王国。王莽篡权,建立新朝,于始建国二年(公元10年),贬广德王为公,改黝县为愬虏。东汉末年,三国鼎立。黝、歙二县属东吴领地。当时,这里的越人土著和一些避入山林的汉人,“依山阻险,不纳王租”,被称为“山越”,势力日益强大,对东吴的统治构成严重威胁。汉建安十三年(公元208年)。吴主孙权派遣“威武中郎将”贺齐征服歙县金奇、毛甘,黟县陈仆、祖山等山越部落后,分歙县东乡地置始新县,南乡地置新定县,西乡地置黎阳、休阳县,加黟、歙共六县建新都郡。治所始新(故城在今浙江淳安县西)。这是黄山市地域州郡一级行政设置的开始,从此这里成为相对独立的行政区划。
三国吴永安元年(公元258年),避吴主孙休名讳,改休阳县为海阳县。
西晋武帝太康元年(公元280年)灭吴国,改新都郡为新安郡,所属新定县改为遂安县,海阳县为海宁县。新安郡辖始新、黝、歙、遂安、黎阳、海宁县,郡治在始新县。郡名新安,一说以祁门县新安山为名,一说取其安定之意。
南北朝时期,南朝宋大明八年(公元464年),并黎阳县入海宁县。梁普通三年(公