属楚国。秦汉时期，江北重镇皖城位于今潜山。秦统一后，属九江郡。西汉初，改九江郡为淮南国。文帝前元十六年（前164年），分淮南国，立淮南、衡山、庐江3国，属衡山国。后衡山国除，为庐江郡。武帝分全国为13刺史部（州），隶属扬州刺史部庐江郡舒县、皖县，直到东汉。三国时期，曹魏和东吴在此多次交兵。初属魏，后属吴。舒县废，属吴庐江郡皖县（郡治）。魏晋南北朝时期，在今天的安庆市区和怀宁县山口镇（现已划归安庆市）附近，曾先后修筑了吕蒙城和皖口城，是长江北岸的军事要塞。后在战争结束后被废弃。西晋平吴，复置舒县，