十六年（前164年），分淮南国，立淮南、衡山、庐江3国，属衡山国。后衡山国除，为庐江郡。武帝分全国为13刺史部（州），隶属扬州刺史部庐江郡舒县、皖县，直到东汉。三国时期，曹魏和东吴在此多次交兵。初属魏，后属吴。舒县废，属吴庐江郡皖县（郡治）。魏晋南北朝时期，在今天的安庆市区和怀宁县山口镇（现已划归安庆市）附近，曾先后修筑了吕蒙城和皖口城，是长江北岸的军事要塞。后在战争结束后被废弃。西晋平吴，复置舒县，属庐江郡舒县及皖县。永嘉末（313年），皖县废。东晋义熙年间（405－418年），于皖县旧地立怀宁县