废衡山国为庐江郡，属庐江郡，隶扬州；武帝元封五年（公元前106年），设枞阳郡，后为庐江郡，皖、枞两县分领；王莽新朝时，归属如故。东汉沿前制，属扬州刺史部庐江郡之舒、皖县地。建武初年（公元25年），皖县复为侯国，后复为县；元和二年（公元85年），改属六安国；章和二年（公元88年），复属庐江郡。三国仍为庐江郡。舒、皖二县地为魏、吴兵争之地，建安十九年（公元214年）前属魏，后属吴。
两晋、南北朝.西晋复汉制，属庐江郡舒、皖及龙舒县地；永嘉乱后，皖县废。东晋安帝义熙年间（公元