先秦时期，周天子曾分封皖国，地域位于现在的安庆市潜山市，这也是安徽简称“皖”的由来。春秋时市境地属桐、皖二国。皖、桐先后为楚灭，属楚国。后属吴国。战国时，复属楚国。秦汉时期，江北重镇皖城位于今潜山。秦统一后，属九江郡。西汉初，改九江郡为淮南国。文帝前元十六年（前164年），分淮南国，立淮南、衡山、庐江3国，属衡山国。后衡山国除，为庐江郡。武帝分全国为13刺史部（州），隶属扬州刺史部庐江郡舒县、皖县，直到东汉。三国时期，曹魏和东吴在此多次交兵。初属魏，后属吴。舒县废，属吴庐江郡皖县（郡治）。魏晋